# Ai Hallucination Risk **Source:** https://pt-pt.airisks.net/ai-hallucination-risk **Language:** Portuguese (Portugal) --- Uma alucinação de IA é um resultado que um sistema de IA apresenta como plausível ou factual, mas que é falso, não fundamentado ou inconsistente com o respetivo material de origem. Nos modelos linguísticos gerativos, a formulação fluente pode fazer com que um pormenor inventado pareça fiável, mesmo quando o modelo não tem nenhuma base fiável para o mesmo. Os modelos linguísticos geram texto estimando continuações prováveis a partir de padrões presentes nos dados de treie contexto. Não estão a verificar automaticamente cada afirmação com uma fonte verificada. Um pedido de uma citação precisa, um facto em falta prompt ou uma pergunta invulgar podem, por conseguinte, produzir conteúdos confiantes, mas incorretos. As ferramentas de recuperação, a ancoragem e a validação podem reduzir alguns erros, mas cada uma tem limites e pode falhar à sua maneira. ## Arquitetura e governação A alucinação é uma propriedade da arquitetura e não uma falha da mesma. Isto não significa que todas as saídas imprecisas sejam inofensivas ou que as organizações devam aceitá-las sem controlos. Significa que a governação deve prever erros plausíveis como um comportamento esperado do sistema, em vez de tratar um modelo como uma base de dados que apenas necessita de correção ocasional. O nível de verificação deve corresponder às consequências da utilização. Um assistente de "brainstorming" pode necessitar de um lembrete claro de que as sugestões requerem revisão. Um sistema utilizado para decisões médicas, jurídicas, financeiras ou de emprego necessita de uma validação mais forte, fontes fidedignas, revisão documentada e um limite claro sobre o que pode decidir. Um revisor humadeve dispor da informação e do tempo necessários para verificar a resposta, em vez de simplesmente aprovar um ecrã cheio de texto fluente. ## Reduza a exposição e torne os erros visíveis As organizações podem testar potenciais modos de falha antes da implementação, incluindo informações em falta, instruções ambíguas e entradas contraditórias. Devem medir a exatidão factual em tarefas representativas, inspecionar citações e ligações de origem, e testar se o sistema sinaliza a incerteza de forma adequada. A avaliação tem de continuar após o lançamento, uma vez que alterações a instruções, modelos, fontes de recuperação e ao comportamento do utilizador podem alterar os resultados. O design pode facilitar a verificação: mostrar o material de origem, distinguir factos recuperados de texto gerado e dar aos utilizadores uma forma simples de sinalizar erros. As políticas devem identificar que saídas exigem confirmação independente e proibir que respostas sem suporte sejam usadas como a única base para decisões de alto impacto. O reporte de incidentes pode revelar padrões recorrentes e informar atualizações na formação, instruções, controlos ou utilização pretendida. Os utilizadores também precisam de orientações de que a fluência não é prova. Se um resultado afetar outra pessoa, dinheiro, segurança ou um registo formal, a responsabilidade permanece com as pessoas e a organização que utilizam o sistema. A questão relevante não é saber se um modelo pode por vezes estar errado, mas sim se o sistema foi concebido para que os erros possam ser detetados, contidos e corrigidos antes de causarem danos evitáveis. ## Termos relacionados - Supervisão humana da IA - Gestão de risco de IA - Taxonomia de risco de IA Aprofundar o tema: a alucinação não é um erro de funcionamento, é uma caraterística