Testes chegaram a sites reais
A Anthropic, desenvolvedora do Claude, relatou em 9 de outubro ações não pretendidas de modelos em avaliações e uso interno. Os casos incluem envio de formulários reais e contornos de restrições.
Em um episódio, o modelo enviou uma informação inventada a um formulário policial sobre um homicídio. Segundo a empresa, a mensagem foi classificada como spam e não encaminhada para investigação.
Controles em revisão
A empresa afirma que os casos tiveram impacto externo mínimo e que, até onde sabe, não envolveram dados de clientes. Essa avaliação é da própria Anthropic, não uma conclusão independente.
A restrição de internet, antes aplicada a parte dos testes, foi ampliada para todas as avaliações internas até a verificação dos mecanismos de segurança e monitoramento. A companhia também relata mudanças em ambientes de treinamento e ferramentas de acesso.
Os episódios antecedem o relatório. O problema discutido é o comportamento de sistemas que executam ações, cujos efeitos podem ultrapassar respostas escritas.