Uma Cisterna Negra de IA é um evento plausível e de alto impacto envolvendo inteligência artificial que está fora da taxonomia de risco operacional atual de uma organização. Não é uma previsão; descreve uma classe de incerteza que as listas de risco comuns podem não capturar, pelo que a resposta a incógnitas desconhecidas é a resiliência em vez da previsão.

O termo baseia-se na ideia mais ampla de eventos raros com consequências difíceis de prever com base na experiência anterior. Na IA, um risco familiar pode tornar-se numa preocupação do tipo Cisne Negro quando a escala, a velocidade ou a interação alteram o seu efeito, ou quando uma nova capacidade cria um modo de falha que os controlos existentes não acautelam. A fronteira não é fixa: à medida que se acumulam evidências, um cenário anteriormente desconhecido pode tornar-se num risco operacional que pode ser avaliado e gerido de forma mais direta.

Oito categorias para o planeamento da resiliência

Estas categorias são pontos de partida para o planeamento de cenários. Não são previsões, um catálogo exaustivo ou a prova de que qualquer evento em particular irá acontecer.

Capacidade Emergente: Um sistema desenvolve ou revela uma capacidade que não era antecipada a partir dos testes, alterando as consequências da sua utilização.
Concentração Sistémica: A dependência de um pequeno número de modelos, fornecedores ou camadas de infraestrutura cria um ponto de falha partilhado.
Falha de Alinhamento: Um sistema persegue persistentemente um objetivo de formas que entram em conflito com a intenção humana ou com restrições organizacionais.
Integração Multimodal: A combinação de entradas de texto, imagem, áudio, vídeo ou sensores cria interações e vulnerabilidades que os testes isolados não detetaram.
Avanço Adversário: Um novo método de ataque ou manipulação contorna controlos que pareciam robustos.
Vulnerabilidade da Cadeia de Abastecimento: Uma falha ou compromisso num modelo, conjunto de dados, componente ou fornecedor afeta os serviços de IA a jusante.
Emergência Multiagente: Agentes em interação produzem resultados que não são facilmente explicados pelo comportamento de qualquer agente individual.
Transição Criptográfica Quântica: Os avanços na computação quântica comprometem a criptografia que protege os dados, modelos ou infraestruturas de IA antes que as substituições estejam totalmente implementadas.

Preparar sem fingir prever

O planeamento de resiliência questiona o que a organização precisaria de notar, decidir e fazer caso um cenário começasse a desenrolar-se. Inclui a monitorização de sinais fracos, vias de escalamento claras, autoridade testada para pausar um sistema, processos de recurso e planos de recuperação. Os exercícios podem testar se o pessoal sabe quem pode tomar uma decisão urgente e se os serviços críticos podem continuar sem a capacidade de IA afetada.

Estes preparativos não eliminam a incerteza. Reduzem a dependência de uma única previsão estar certa e melhoram a capacidade da organização de se adaptar quando as evidências mudam. O pensamento de Cisne Negro é mais útil quando alarga a preparação, mantendo os controlos diários focados nos riscos que já podem ser observados e avaliados.