A IA acabou. O trabalho está bem feito?

Há uma parte de trabalhar com IA que me interessa cada vez mais: o momento em que ela diz que acabou.

Temos um relatório, uma análise, uma apresentação. Está organizado, lê-se bem, tem um ar convincente. Mas ainda precisamos de perceber se serve para aquilo que queríamos fazer.

E acho que esta capacidade de avaliar vai ser uma parte cada vez maior do nosso trabalho.

Quando ensino pessoas a trabalhar com agentes de IA, passo bastante tempo a falar sobre como explicar uma tarefa. Dar contexto, indicar onde estão os documentos, dizer o que queremos receber. Só que há uma pergunta que convém fazer logo aí: como é que vamos saber que ficou bem feito?

Às vezes, nós próprios ainda não sabemos responder.

Pedimos uma análise, mas não explicamos que decisões queremos tomar com ela. Pedimos um relatório, mas não dizemos que informação tem de lá estar. Pedimos uma apresentação, mas deixamos por esclarecer quem a vai ver e o que precisa de perceber.

Depois recebemos qualquer coisa e começamos: falta isto, aquele ponto não interessa, esta comparação precisava de outro critério.

Isso faz parte do processo. Eu também descubro muitas vezes o que quero quando vejo uma primeira tentativa. Mas vale a pena aproveitar essa descoberta para orientar o trabalho seguinte.

Conseguir dizer o que falta

Uma das capacidades mais úteis aqui é conseguir explicar por que razão uma resposta ainda não serve.

“Não gostei” dá pouca orientação. “Falta comparar estas duas opções usando os mesmos critérios” já permite avançar. “Este parágrafo mistura o que está nos documentos com uma conclusão tua; separa as duas coisas” também.

É preciso olhar para o resultado e perceber onde está o problema. Falta informação? A pergunta foi mal interpretada? A conclusão está pouco sustentada? Ou o trabalho até está correto, mas tem um nível de detalhe que ninguém vai ter tempo para ler?

Quanto melhor conseguimos identificar isso, mais útil se torna a conversa com a IA.

E é aqui que o conhecimento de quem faz o trabalho conta muito. Uma pessoa que conhece o assunto consegue reparar numa ausência, numa comparação estranha ou numa conclusão que precisa de ser explicada. Consegue fazer perguntas melhores sobre aquilo que recebeu.

Verificar sem fazer tudo outra vez

Há uma dúvida legítima: se tenho de rever o trabalho todo, o que é que ganhei?

Para mim, esta é uma pergunta que temos mesmo de fazer quando experimentamos usar IA numa tarefa.

O esforço de explicar, acompanhar e rever faz parte do trabalho. Convém contar com ele quando avaliamos se aquela utilização compensa.

Também podemos pedir entregas que sejam mais fáceis de verificar. Numa comparação de documentos, pedir que cada conclusão venha acompanhada da passagem que a sustenta. Numa análise de números, pedir os cálculos e os pressupostos. Num trabalho maior, rever primeiro a estrutura e uma pequena parte antes de mandar fazer o resto.

Isso dá-nos pontos concretos onde pegar. E permite corrigir a direção enquanto ainda é fácil fazê-lo.

Perguntar à IA se tem a certeza pode ajudar a abrir a discussão. Mas continuo a querer perceber em que é que a resposta se apoia. Uma segunda confirmação, por si só, acrescenta pouco.

A correção devia ficar para a próxima

Se tenho de pedir sempre a mesma correção, interessa-me perceber como a posso incorporar nas instruções.

Faltou uma fonte? Passamos a pedi-la. Foi usado um critério que não fazia sentido? Explicamos qual usar. Houve uma parte do trabalho que precisou de uma revisão mais cuidada? Podemos incluir essa verificação no processo.

É assim que uma experiência vai dando origem a uma maneira de trabalhar que conseguimos repetir e melhorar.

E também é assim que o julgamento de uma pessoa pode ajudar os colegas. As correções deixam de ficar perdidas numa conversa e passam a fazer parte do método.

O que eu quero ensinar é essa capacidade de continuar a orientar o trabalho depois do primeiro pedido. Perceber o que recebemos, dizer o que falta e decidir quando já está suficientemente bom para ser usado.

Porque “a IA acabou” é uma informação sobre o estado da tarefa. Saber se o trabalho está bem feito continua a exigir o nosso julgamento.