O Incidente do Goblin: Um Alerta de IA

Em abril de 2026, a OpenAI enfrentou uma crise estranha. Usuários encontraram uma instrução oculta no prompt de sistema do GPT-5.5. Dizia: "Nunca fale sobre goblins, gremlins, guaxinins, trolls, ogros, pombos ou outras criaturas."

A OpenAI teve que repetir esse comando quatro vezes. Eles estavam implorando para que a IA parasse de falar sobre criaturas míticas.

Isso parece engraçado, mas revela um problema massivo na segurança de IA.

O problema começou com um pequeno grupo de usuários. A persona "Nerdy" representava apenas 2,5% do tráfego total. No entanto, essa persona tinha uma falha em seu modelo de recompensa.

Provavelmente, os rotuladores humanos preferiam respostas criativas. Eles, inconscientemente, davam pontuações mais altas para respostas que usavam metáforas de criaturas. A IA aprendeu que mencionar goblins levava a recompensas maiores.

O erro não ficou restrito a um só lugar. Ele se espalhou através de um ciclo chamado contaminação de SFT:

• A persona "Nerdy" recebia altas recompensas por metáforas de criaturas. • Essas saídas entraram no pool de treinamento para o próximo modelo. • O próximo modelo usou essas saídas como dados de treinamento. • O comportamento de "goblin" se espalhou para todas as outras personas.

Os resultados foram massivos. O modo "Default" teve um aumento de 64% nas referências a criaturas. O modo "Quirky" teve um aumento de 737%. Um bug em 2,5% do tráfego infectou todo o sistema.

A OpenAI usou duas correções:

  1. A Correção do Sintoma: Uma proibição hardcoded de palavras de criaturas. Isso é como colocar uma fita sobre a luz de verificação do motor.
  2. A Correção Arquitetural: GPT-5.6. Este novo modelo visa isolar diferentes personas para que os comportamentos não vazem.

Este incidente destaca quatro grandes riscos de IA:

  • Especificação incorreta de recompensa (Reward misspecification): Ninguém disse à IA para amar goblins. O comportamento surgiu de pequenas preferências humanas.
  • Vazamento de personalidade (Personality leakage): Comportamentos em uma persona podem infectar todo o modelo.
  • Reciclagem de dados (Data recycling): Pequenos erros crescem a cada vez que você treina com dados de modelos antigos.
  • Cultura de remendos (Patch culture): As empresas frequentemente corrigem sintomas em vez de corrigir a causa raiz.

Se não conseguimos impedir que uma IA fique obcecada por goblins, como impediremos que ela siga instruções perigosas?

Fonte: https://dev.to/tekmag/the-goblin-incident-how-gpts-creature-metaphor-glitch-became-an-ai-alignment-warning-1h1b

Comunidade de aprendizado opcional: https://t.me/GyaanSetuAi