Il pilota funziona.
Ed è un risultato importante.
L’AI svolge davvero il compito per cui è stata provata. Forse lo fa velocemente, con una qualità sufficiente, e rende visibile un’utilità che prima esisteva soltanto in una demo, in una promessa del fornitore o in un’ipotesi interna.
Se la domanda del pilota era: «questa tecnologia riesce a fare questo lavoro, con questi dati e in queste condizioni?», abbiamo ottenuto una risposta.
Proprio per questo il passo successivo diventa più difficile.
Un pilota riuscito invita naturalmente ad allargare l’uso: più operazioni, più persone, più dati, più processi.
Ma in quel passaggio rischiamo di mettere insieme affermazioni diverse:
- l’AI è capace di svolgere il compito;
- grazie a questa capacità è avvenuto il cambiamento che volevamo;
- il processo complessivo crea abbastanza valore, considerando anche il suo costo reale;
- ha senso estenderlo.
Non c’è un passaggio automatico fra queste quattro frasi.
Un pilota può dimostrare molto bene la prima e dire ancora poco sull’ultima.
Il pilota ha dimostrato una capacità. Quale, esattamente?
Non vorrei svalutare il successo tecnico.
A volte si parla di valore dell’AI come se un pilota che funziona non significasse nulla finché non esiste un calcolo economico sofisticato. Sarebbe l’eccesso opposto.
Se una tecnologia svolge in modo stabile un compito che prima era soltanto un’ipotesi, abbiamo imparato qualcosa di importante. Non stiamo più discutendo di ciò che «l’AI potrebbe fare» in generale: abbiamo una situazione concreta, dati, un risultato e condizioni osservate.
Ma la capacità di eseguire un’azione non descrive ancora l’effetto di quell’azione sul lavoro.
Supponiamo che il sistema prepari un materiale molto più velocemente.
Che cosa è migliorato davvero?
Si è ridotto il tempo necessario per produrlo?
Una persona si è liberata per fare altro?
Possiamo produrne di più?
Il costo complessivo è sceso?
La qualità è aumentata?
È diminuita la dipendenza da uno specialista specifico?
Sono risultati diversi.
Nella pagina L’AI può aiutare. Ma dove conviene davvero? questo problema appare già in forma generale: prima di scegliere il passo successivo bisogna capire quale decisione stiamo prendendo e quale lavoro dovrebbe cambiare.
Dopo un pilota riuscito, però, il rischio di saltare questa domanda aumenta. La tecnologia ha già mostrato di saper fare qualcosa di utile e il successo tecnico tende a diventare, quasi senza accorgercene, la misura di tutto il resto.
Il pilota risponde:
«Con l’AI questo si può fare.»
La domanda di valore è un’altra:
«Che cosa doveva diventare diverso, grazie al fatto che ora questo si può fare con l’AI?»
In un caso il valore sarà produrre più volume. In un altro ridurre la presenza umana. In un altro ancora velocizzare un passaggio, migliorare la qualità o rendere possibile un lavoro che prima non veniva svolto affatto.
Finché non distinguiamo questi esiti, il buon funzionamento del modello non basta a dirci quanto vale il processo.
Il risultato dell’AI non è l’unico lavoro che stiamo pagando
Un pilota ha un vantaggio evidente: il risultato si vede.
Il documento c’è. La classificazione è stata fatta. L’analisi è comparsa. Un’azione è stata eseguita.
Molto meno visibile è il lavoro necessario per rendere quel risultato affidabile e utilizzabile.
Nella mia esperienza con agenti e sistemi AI mi è capitato che un messaggio di «lavoro completato» non corrispondesse a ciò che trovavo verificando il risultato fuori dall’interfaccia. Da quell’episodio ho iniziato a distinguere molto più nettamente fra risultato, percorso con cui viene prodotto e traccia che permette di capire che cosa sia successo.
Qui non mi interessa riprendere tutta quella questione. Mi basta una conseguenza pratica.
Se un risultato affidabile richiede controllo umano, correzione o una decisione professionale finale, quel lavoro fa parte del costo del processo tanto quanto l’esecuzione dell’AI.
Lo stesso vale per la velocità.
L’AI può produrre una prima versione in pochi minuti, e questo guadagno è reale. Ma se un professionista deve poi controllare, correggere, confrontare o ricostruire parti importanti, la velocità della prima generazione non coincide con il tempo necessario per arrivare a un risultato utilizzabile.
Questo non significa che il pilota non convenga.
Può darsi che creare più velocemente e verificare dopo sia comunque molto più efficiente che fare tutto a mano.
La domanda utile è più precisa:
quanto lavoro serve, nel complesso, per trasformare il risultato prodotto dall’AI in qualcosa che possiamo davvero usare?
E quel lavoro aumenta, diminuisce o resta stabile quando aumenta il volume?
Un sistema continua a esistere anche dopo la prova
Il primo buon risultato tende a concentrare l’attenzione sul momento della produzione.
Ma un sistema che entra nel lavoro non finisce con il pilota.
I processi cambiano. Le integrazioni vanno aggiornate. I dati cambiano. Le regole interne possono evolvere. Le persone imparano a usare il sistema in modi non previsti. Un fornitore cambia un modello o una funzione. Un accesso viene modificato. Un controllo che all’inizio era semplice diventa più difficile con l’aumento del volume.
Non significa che ogni pilota AI generi inevitabilmente debito tecnico o amministrativo.
Significa soltanto che una soluzione ha almeno due costi distinti:
- il costo di farla funzionare;
- il costo di farla continuare a funzionare dentro un sistema che cambia.
Una piccola automazione può togliere tre attività manuali oggi e richiedere, fra sei mesi, una nuova integrazione, un aggiornamento dei permessi o una revisione del processo.
Oppure può continuare a funzionare quasi senza interventi.
Non possiamo sapere quale delle due cose accadrà soltanto guardando la demo iniziale.
Per questo, dopo il pilota, non guarderei soltanto l’operazione che l’AI ha iniziato a svolgere.
Guarderei anche il lavoro che resta attorno al sistema: verifica, gestione delle eccezioni, manutenzione, aggiornamento e responsabilità.
Che cosa succede se la qualità dipende dal giudizio umano?
C’è poi una differenza che può cambiare completamente il valore di un pilota: come sappiamo che il risultato è buono?
Prendiamo due sistemi che funzionano entrambi.
Nel primo, la correttezza può essere verificata attraverso un criterio abbastanza esterno e stabile: un’azione è stata eseguita oppure no; i dati corrispondono a una regola; un campo è stato classificato nel modo previsto.
Nel secondo, ogni risultato deve essere valutato da una persona esperta: è abbastanza preciso? Ha perso un elemento importante? È adeguato a questo cliente? Può essere usato in questo contesto?
In entrambi i casi l’AI può essere tecnicamente molto capace.
Ma l’economia del processo cambia.
Se ogni nuovo risultato richiede giudizio professionale, aumentare la capacità produttiva dell’AI non significa necessariamente aumentare nella stessa misura la capacità produttiva dell’intero sistema.
Può comunque essere molto utile. Correggere o valutare una buona prima versione può essere molto più veloce che produrla da zero.
Ma il punto è proprio questo: il valore non appartiene soltanto al modello.
Appartiene alla combinazione di compito, dati, criterio di qualità, persona e modalità di controllo.
Il pilota ci ha già detto che il modello sa fare il compito.
Ora dobbiamo capire che cosa serve perché il risultato continui a essere abbastanza buono senza trasformare il controllo umano nel nuovo collo di bottiglia.
Che cosa stiamo davvero cercando di estendere?
L’idea di «portare il pilota su scala» può far sembrare il problema più semplice di quanto sia.
Come se bastasse prendere un buon pilota e farne di più.
Ma quando cresce il volume non cresce soltanto il numero di operazioni svolte dall’AI.
Possono crescere anche:
- i risultati da verificare;
- le eccezioni;
- le persone che usano il sistema;
- i dati a cui il sistema accede;
- le integrazioni da mantenere;
- la necessità di capire che cosa succede quando qualcosa non funziona come previsto.
Nella mia stessa organizzazione del lavoro ho visto uno scarto molto semplice: la capacità di affidare più attività all’AI cresceva più rapidamente della mia capacità di controllare, integrare e mantenere tutto quel lavoro con lo stesso livello di attenzione.
È un’osservazione sulla mia situazione, non una legge generale.
Mi serve però come promemoria: il successo di un pilota non ci dice ancora come cambierà il costo complessivo quando aumentiamo la scala.
Prima di chiedermi «lo estendiamo?», tornerei quindi alla domanda che spesso viene saltata proprio perché il pilota è andato bene:
che cosa è migliorato davvero?
Se l’obiettivo era aumentare il volume, è aumentato il volume del lavoro che crea valore?
Se l’obiettivo era ridurre il coinvolgimento umano, quale lavoro è davvero scomparso e quale è rimasto nella verifica, nella supervisione o nella manutenzione?
Se volevamo abbassare il costo, stiamo contando solo il costo del modello o anche il lavoro necessario per rendere affidabile il risultato?
Se la qualità richiede giudizio esperto, che cosa succede a quel giudizio quando il numero dei risultati cresce?
E soprattutto: quali condizioni che rendono buono il pilota oggi devono restare vere anche domani?
Un pilota riuscito può portare anche alla decisione di non estendere
Un buon esperimento non deve per forza concludersi con un’estensione.
Può mostrarci che l’AI è utile in un punto preciso e non oltre.
Può dirci che conviene mantenere un uso circoscritto.
Può rendere evidente che il beneficio esiste, ma soltanto con una certa quantità di controllo umano.
Può far emergere un valore diverso da quello previsto all’inizio.
Oppure può confermare che ci sono davvero le condizioni per andare avanti.
La qualità di un pilota, per me, non si misura quindi dalla capacità di giustificare l’investimento successivo.
Si misura dalla qualità della decisione che permette di prendere.
Un pilota ha fatto bene il proprio lavoro quando ci permette di dire con più precisione:
- che cosa l’AI sa fare qui;
- quale cambiamento produce davvero;
- che lavoro umano resta necessario;
- quale costo continua nel tempo;
- quali condizioni devono restare valide;
- dove l’estensione avrebbe senso e dove no.
A quel punto l’estensione non è più la continuazione automatica di una prova riuscita.
Diventa una nuova decisione, basata su ciò che il pilota ha effettivamente dimostrato.
Continua / nel sistema