Desde o surgimento dos grandes modelos de linguagem, a mídia e especialistas têm soado o alarme: O conteúdo gerado pode estar incorreto. Essa mensagem não tem sido ouvida por todos.
Um advogado de Nova York citou casos que não existiam usando o ChatGPT, sem saber que estava inventando informações.
O caso em questão envolve um homem processando uma companhia aérea por supostos danos pessoais, alegando ter sido atingido no joelho por um carrinho de serviço durante um voo.
A companhia aérea apresentou um pedido para encerrar o caso. A equipe jurídica do autor queria usar o ChatGPT para argumentar a posição de seu cliente.
O documento de acusação apresentado pela equipe jurídica cita exemplos de casos legais inexistentes criados pelo ChatGPT, com citações longas e aparentemente precisas, como “Varghese v. China Southern Airlines Co Ltd, 925 F.3d 1339 (11th Cir. 2019)”.
O documento é datado do início de março, portanto, as partes inventadas foram geradas usando o GPT-3.5, que é ainda menos confiável em termos de precisão factual do que o GPT-4.
Decisões judiciais falsas com citações falsas e referências internas falsas
O tribunal solicitou cópias dos casos, e a equipe jurídica pediu novamente ao ChatGPT mais detalhes sobre os casos. O ChatGPT não demorou a responder, inventando numerosos detalhes sobre os casos fictícios, que a equipe jurídica anexou à acusação na forma de capturas de tela – incluindo a interface do ChatGPT em um smartphone (!).
Os advogados da companhia aérea continuaram a contestar a autenticidade dos casos, levando o juiz a pedir novamente um comentário da equipe jurídica do autor.
O Tribunal se depara com uma circunstância sem precedentes. Um documento apresentado pela equipe jurídica do autor em oposição a um pedido de arquivamento está repleto de citações de casos inexistentes. […] Seis dos casos apresentados parecem ser decisões judiciais falsas, com citações falsas e referências internas falsas.
Em um subsequente depoimento, Steven A. Schwartz, o advogado responsável pela pesquisa, admite ter utilizado o ChatGPT pela primeira vez para a pesquisa sem ter consciência de que o sistema poderia gerar conteúdo falso. O ChatGPT havia “garantido” a precisão de suas fontes quando questionado.
Advogado se arrepende de usar o ChatGPT
Schwartz tem mais de 30 anos de experiência na área jurídica. Em um comunicado, ele pediu desculpas por ter utilizado o chatbot. Ele afirmou que não tinha consciência de que as informações geradas poderiam ser falsas. No futuro, ele disse que não usaria a inteligência artificial como ferramenta de pesquisa jurídica sem verificar as informações geradas.
No entanto, o chatbot da OpenAI facilitou para Schwartz acreditar nas mentiras: capturas de tela mostram conversas entre Schwartz e o ChatGPT, nas quais o advogado pede fontes para os casos citados e o sistema promete uma “verificação dupla” em bancos de dados jurídicos, como lexisnexis e Westlaw. No entanto, cabe a Schwartz a responsabilidade de não confiar nessas informações sem verificação.
O advogado e seus colegas terão que se justificar em tribunal no dia 8 de junho sobre por que não devem ser disciplinados. É possível que a pesquisa por precedentes com o ChatGPT se torne em si um precedente de por que o ChatGPT não deve ser usado para pesquisa, ou não deve ser utilizado sem autenticação – e um aviso para a indústria. Com conteúdo do the decoder.
Fonte: Andre Lug
