O cliente responde ao seu resumo em dez minutos, perguntando de onde veio a informação "lançamento adiado para o dia 14", porque ninguém concordou com isso.
Você vai verificar. Uma ferramenta de IA escreveu o rascunho, você deu uma olhada rápida, parecia bom, mas no final estava errado.
Acontece. Acontece até com as maiores empresas globais. A Deloitte Austrália entregou um relatório governamental de cerca de US$ 290.000 (A$ 440.000) que acabou incluindo referências a artigos de pesquisa que não existem e uma citação inventada de uma decisão judicial. A Deloitte divulgou que usou o Azure OpenAI, corrigiu o relatório e reembolsou o pagamento final.
A IA é precisa?
Ela é precisa na linguagem e não confiável em fatos que não possui. Gramática, estrutura e tom são pontos onde os modelos modernos raramente falham. Fatos específicos (uma data, um orçamento, o nome de um cliente, quem é o dono de quê) são diferentes, porque um modelo não pode saber o que não lhe foi dito, e nem sempre vai avisar isso.
Testes independentes comprovam isso. Quando jornalistas de 22 emissoras de serviço público verificaram mais de 3.000 respostas a perguntas de notícias feitas por quatro grandes assistentes de IA, 45% apresentaram pelo menos um problema significativo e 20% tiveram grandes problemas de precisão, como detalhes alucinados ou informações desatualizadas.
As ferramentas que buscam informações em um conjunto de documentos de origem antes de responder se saem melhor, embora não perfeitamente. Pesquisadores de Stanford testaram as principais ferramentas de pesquisa jurídica de IA, várias delas comercializadas como quase livres de alucinações, e descobriram que elas ainda alucinaram em 17% a 33% das consultas. O GPT-4 sozinho se saiu pior, com 43%.
Então, a IA é precisa? Frequentemente. Precisa o suficiente para enviar a um cliente sem verificar? Não.
Por que um modelo parece seguro quando está adivinhando
Uma resposta errada da IA não parece errada. Ela chega no mesmo tom calmo e confiante de todo o resto.
Parte disso se deve à forma como os modelos são treinados e pontuados. Os pesquisadores da OpenAI comparam isso a um exame de múltipla escolha: deixe uma pergunta em branco e você ganha zero; adivinhe e você pode ter sorte. Avalie os modelos apenas pela quantidade de respostas corretas e eles aprenderão a adivinhar em vez de dizer "não sei". O artigo deles, agora revisado por pares e publicado na Nature, argumenta que essa é uma das grandes razões pelas quais as alucinações persistem. O próprio resumo da OpenAI é uma leitura mais fácil.
Pesquisadores do CSAIL do MIT encontraram o mesmo padrão sob uma perspectiva diferente. O treinamento padrão para modelos de raciocínio recompensa as respostas certas e não dá nada por expressar dúvida, o que torna os modelos "mais capazes e mais excessivamente confiantes ao mesmo tempo".
Em abril de 2025, a OpenAI reverteu uma atualização do ChatGPT que o tornava excessivamente bajulador e complacente. Uma ferramenta que está ansiosa para agradar você não é a que você deseja para verificar seu resumo.
Muitos erros no trabalho de clientes começam com algo que nunca foi dito à IA
O guia de biblioteca para IA da Universidade de Maryland lista adivinhar para cobrir lacunas de informação como uma das maneiras pelas quais ela falha. No trabalho de agência, esse é o grande problema. Alguns exemplos que vão parecer familiares:
O prazo - A chamada terminou com "vamos focar no meio do mês". O rascunho diz "lançamento no dia 14"
O orçamento - Ninguém falou um valor, então o modelo pegou emprestado um que parecia plausível
A reversão - O escopo foi reduzido na chamada de terça-feira. O modelo só viu as notas de segunda-feira
O cliente errado - Duas contas, nomes semelhantes, uma transcrição colada a mais
Valerie Dennis Craven se deparou com isso em um whitepaper de cliente nesta primavera, ao pedir ao Claude um esboço e um brief usando apenas a entrevista com o SME e as informações que ela forneceu.
"Ele deduziu informações incorretamente, mesmo quando pedi para levantar questões ou deixar espaços reservados para um humano encontrar a informação… Ele errou um conceito e fez sua própria suposição de como funcionava a tecnologia que o whitepaper incluía… o SME e eu não precisávamos discutir isso, pois ele, eu e o redator sabíamos disso fundamentalmente."
Valerie Dennis Craven, Diretora e Estrategista, True North Content
Em cada um desses casos, o modelo fez o que foi projetado para fazer: preencher o espaço vazio com algo que pareça correto. Quanto menos ele sabe sobre a conta, mais espaço há para preencher, e é por isso que vale a pena manter o contexto da própria agência (chamadas e decisões anteriores) em algum lugar onde possa ser encontrado.
O que muda quando a IA participa da reunião
Se as lacunas causam muitos desses erros, a solução é ter menos lacunas. O artigo da Nature lista a recuperação e o uso de ferramentas entre as mitigações que funcionam. Em termos simples, dê ao modelo o material de origem em vez de pedir para ele lembrar ou adivinhar.
No trabalho de agência, a maior parte do material de origem é a conversa. O que o cliente pediu, o que você concordou, o que mudou desde então. Quando a IA que escreve o seu resumo tem as notas daquela chamada, além das reuniões e documentos anteriores do projeto, ela está trabalhando com base no que foi dito. É assim também que você evita o problema de reversão mencionado anteriormente. Se a IA tiver todas as chamadas do projeto, ela poderá ver que a chamada de terça-feira cortou o que foi acordado na chamada de segunda-feira.
"Para nós, raramente é o modelo enlouquecendo. Geralmente é um erro na etapa de pesquisa. A IA encontra informações precisas sobre a coisa errada, como uma empresa ou uma cidade com nome semelhante, ou trabalha com base em algo desatualizado porque a versão mais recente está em outro lugar e ela nunca a leu. Então ela escreve com confiança a partir disso, e o rascunho parece ótimo."
Jens Rhoades, Proprietário, Floodlight SEO
O Supernormal foi desenvolvido para ter esse contexto. Seu notetaker de reuniões faz anotações de suas chamadas em segundo plano, sem a necessidade de um bot participar. O Supernormal então usa essas notas junto com seu e-mail e documentos quando você solicita um relatório de status ou um acompanhamento. Se algo não foi definido na chamada, como um responsável ou uma data, peça para sinalizar a lacuna em vez de preenchê-la, e ainda assim verifique se foi feito. O modelo de relatório de status semanal do cliente é um bom ponto de partida, e o guia de relatórios de status do cliente aborda o que deve ser incluído.
O contexto reduz os erros. Não vai reduzi-los a zero. As ferramentas jurídicas de Stanford tinham documentos de origem e ainda assim erraram. As transcrições entendem nomes errados. Alguém diz "sexta-feira" querendo dizer a próxima sexta-feira. Um rascunho baseado na chamada é um ponto de partida muito mais seguro, e ainda precisa de uma pessoa para lê-lo.
Você pode confiar na IA para o trabalho com clientes?
Para muitas agências, a maior preocupação é se elas podem assumir a responsabilidade pelo que a IA escreveu e explicar isso quando o cliente perguntar.
Em uma pesquisa do primeiro trimestre de 2026 com 250 agências realizada pela Digital Applied, a alucinação ficou em sétimo lugar entre os impedimentos para a implementação de IA, citada por 18%. A confiança do cliente e a explicabilidade ficaram em segundo lugar, com 37%. É uma pesquisa de uma empresa que vende serviços de IA e a amostra tendeu a agências já interessadas em IA, portanto, considere os números exatos com certa flexibilidade. A tendência, no entanto, faz sentido. Os clientes querem saber de onde veio uma afirmação.
Esse é o caso prático para rascunhos criados a partir de suas próprias chamadas. Se cada linha de um resumo puder ser rastreada até algo dito em uma reunião, você poderá responder "de onde veio isso?" em segundos.
Cinco verificações antes de enviar qualquer coisa para o cliente
"Eu verifico o trabalho assistido por IA de duas maneiras. Uma habilidade 'stop slop' elimina frases que parecem geradas por IA, e uma habilidade de conselho de controle de qualidade detecta quaisquer erros flagrantes… Depois, eu reviso manualmente o tom e a precisão antes de enviar para o cliente."
Jenn Feldmann, Estrategista Sênior de SEO, VisualFizz
As verificações abaixo são para essa última revisão manual. Elas levam apenas alguns minutos.
Nomes, datas e números - Verifique cada um em relação à transcrição ou ao documento. É aqui que se esconde o plausível, mas incorreto
Compromissos - Cada "nós vamos" e "você vai" deve ser rastreado até que alguém tenha concordado com isso
Qualquer coisa sem fonte - Se você não puder apontar de onde veio uma linha, delete-a ou confirme-a
A versão mais recente - Certifique-se de que uma chamada posterior não tenha desfeito o que foi decidido nesta
O que deve permanecer interno - Chat da equipe, discussões sobre preços e opiniões sobre o cliente não entram no e-mail
Se a sua equipe envia atualizações de clientes toda semana, inclua essas verificações no SOP para essa atualização para que todos revisem as mesmas coisas.
O cliente que percebeu aquela data errada estava lendo com atenção. Comece com um rascunho que sabe o que foi dito e faça as cinco verificações antes de enviar. Experimente o notetaker de reuniões Supernormal na sua próxima chamada de cliente.
