OpenAI cria equipe para enfrentar o desafio do alinhamento da superinteligência

Uma nova equipe da OpenAI está enfrentando o desafio do alinhamento da superinteligência para garantir que os futuros sistemas de IA, que serão muito mais inteligentes do que os humanos, sigam a intenção humana.

A equipe, co-liderada por Ilya Sutskever e Jan Leike, está dedicada a encontrar avanços científicos e técnicos para garantir o controle seguro dos sistemas de IA, que podem trazer um progresso sem precedentes, mas também podem representar perigos ao potencialmente causar consequências indesejadas para a humanidade.

O objetivo ambicioso dessa nova equipe é criar “o primeiro pesquisador de alinhamento automatizado” com capacidades equivalentes às humanas. A equipe espera “alinhavar iterativamente a superinteligência” utilizando “vastas quantidades de processamento” e, em apenas quatro anos, resolver os desafios técnicos centrais do alinhamento da superinteligência. A OpenAI está dedicando 20% da capacidade de processamento garantida atualmente para esse objetivo.

O alinhamento da superinteligência é fundamentalmente um problema de aprendizado de máquina, e acreditamos que grandes especialistas em aprendizado de máquina, mesmo que não estejam atualmente trabalhando em alinhamento, serão essenciais para resolvê-lo.

OpenAI

Recentemente, tem havido uma crescente crítica de que as distopias de extinção por uma superinteligência artificial são projetadas para distrair dos perigos atuais da IA.

“Um objetivo incrivelmente ambicioso”

Para alcançar esse “objetivo incrivelmente ambicioso”, a equipe planeja desenvolver um método de treinamento escalável, validar o modelo resultante e realizar testes rigorosos em seu processo de alinhamento.

Eles pretendem focar em monitoramento e generalização escaláveis, que podem ajudar a fornecer um sinal de treinamento para tarefas difíceis de serem avaliadas pelos humanos. Além disso, planejam automatizar a busca por comportamentos problemáticos e processos internos problemáticos para validar o alinhamento do sistema, e avaliar todo o processo usando testes adversários.

Embora reconheçam que suas prioridades de pesquisa possam mudar, a equipe pretende aprender mais sobre o problema e incorporar potencialmente novas áreas de pesquisa em sua abordagem. A OpenAI promete “compartilhar amplamente os resultados desse esforço” e está em busca de pesquisadores e engenheiros para se juntarem à iniciativa.

O trabalho da nova equipe complementará os projetos em andamento na OpenAI voltados para melhorar a segurança dos modelos atuais e compreender e mitigar outros riscos relacionados à IA, como mau uso, interrupção econômica, desinformação, viés e discriminação, além de vícios e dependência.