Sam Altman diz que a estratégia de pesquisa que deu origem ao ChatGPT é jogada fora e avanços futuros em inteligência artificial exigirão novas idéias.
OS RECURSOS IMPRESSIONANTES do ChatGPT, o chatbot da startup OpenAI, desencadearam uma onda de novos interesses e investimentos em inteligência artificial. Mas no final da semana passada, o CEO da OpenAI alertou que a estratégia de pesquisa que deu origem ao bot está em andamento. Não está claro exatamente de onde virão os avanços futuros.
A OpenAI entregou uma série de avanços impressionantes em IA que funciona com linguagem nos últimos anos, pegando algoritmos de aprendizado de máquina existentes e dimensionando-os para um tamanho anteriormente inimaginável. O GPT-4, o mais recente desses projetos, provavelmente foi treinado usando trilhões de palavras de texto e muitos milhares de poderosos chips de computador. O processo custou mais de US $ 100 milhões.
Mas o CEO da empresa, Sam Altman, diz que mais progressos não virão de tornar os modelos maiores. “Acho que estamos no fim da era em que serão esses modelos gigantes”, disse ele a uma plateia em um evento realizado no MIT no final da semana passada. “Vamos torná-los melhores de outras maneiras.”
A declaração de Altman sugere uma reviravolta inesperada na corrida para desenvolver e implantar novos algoritmos de IA. Desde que a OpenAI lançou o ChatGPT em novembro, a Microsoft usou a tecnologia subjacente para adicionar um chatbot ao seu mecanismo de pesquisa Bing, e o Google lançou um chatbot rival chamado Bard. Muitas pessoas se apressaram em experimentar o uso da nova geração de chatbots para ajudar no trabalho ou em tarefas pessoais.
Enquanto isso, inúmeras startups bem financiadas, incluindo Anthropic, AI21, Cohere e Character.AI, estão investindo enormes recursos na construção de algoritmos cada vez maiores, em um esforço para alcançar a tecnologia da OpenAI. A versão inicial do ChatGPT foi baseada em uma versão ligeiramente atualizada do GPT-3, mas os usuários agora também podem acessar uma versão alimentada pelo GPT-4 mais capaz.
A declaração de Altman sugere que o GPT-4 poderia ser o último grande avanço a emergir da estratégia da OpenAI de tornar os modelos maiores e alimentá-los com mais dados. Ele não disse que tipo de estratégias ou técnicas de pesquisa poderiam tomar seu lugar. No artigo que descreve o GPT-4, a OpenAI diz que suas estimativas sugerem retornos decrescentes na ampliação do tamanho do modelo. Altman disse que também há limites físicos para quantos data centers a empresa pode construir e com que rapidez pode construí-los.
Nick Frosst, cofundador da Cohere que já trabalhou com IA no Google, diz que o sentimento de Altman de que crescer não funcionará indefinidamente é verdade. Ele também acredita que o progresso nos transformadores, o tipo de modelo de aprendizado de máquina no coração do GPT-4 e seus rivais, está além do dimensionamento. “Há muitas maneiras de tornar os transformadores melhores e mais úteis, e muitas delas não envolvem a adição de parâmetros ao modelo”, diz ele. Frosst diz que novos projetos de modelos de IA, ou arquiteturas, e ajustes adicionais com base no feedback humano são direções promissoras que muitos pesquisadores já estão explorando.
Cada versão da influente família de algoritmos de linguagem da OpenAI consiste em uma rede neural artificial, software vagamente inspirado na maneira como os neurônios trabalham juntos, que é treinado para prever as palavras que devem seguir uma determinada sequência de texto.
O primeiro desses modelos de linguagem, GPT-2, foi anunciado em 2019. Em sua maior forma, tinha 1,5 bilhão de parâmetros, uma medida do número de conexões ajustáveis entre seus neurônios artificiais brutos.
Na época, isso era extremamente grande em comparação com os sistemas anteriores, graças em parte aos pesquisadores da OpenAI que descobriram que a ampliação tornava o modelo mais coerente. E a empresa fez o sucessor do GPT-2, o GPT-3, anunciado em 2020, ainda maior, com 175 bilhões de parâmetros. As amplas habilidades desse sistema para gerar poemas, e-mails e outros textos ajudaram a convencer outras empresas e instituições de pesquisa a empurrar seus próprios modelos de IA para tamanhos semelhantes e até maiores.
Depois que o ChatGPT estreou em novembro, criador de memes e especialistas em tecnologia especularam que o GPT-4, quando chegasse, seria um modelo de tamanho e complexidade indutores de vertigem. No entanto, quando a OpenAI finalmente anunciou o novo modelo de inteligência artificial, a empresa não revelou quão grande ele é – talvez porque o tamanho não é mais tudo o que importa. No evento do MIT, Altman foi perguntado se o treinamento GPT-4 custou US $ 100 milhões; ele respondeu: “É mais do que isso”.
Embora a OpenAI esteja mantendo o tamanho e o funcionamento interno do GPT-4 em segredo, é provável que parte de sua inteligência já venha de olhar além da escala. Na possibilidade é que ele usou um método chamado aprendizado de reforço com feedback humano, que foi usado para melhorar o ChatGPT. Envolve fazer com que os seres humanos julguem a qualidade das respostas do modelo para orientá-lo no sentido de fornecer respostas com maior probabilidade de serem julgadas como de alta qualidade.
As notáveis capacidades do GPT-4 surpreenderam alguns especialistas e provocaram debates sobre o potencial da IA para transformar a economia, mas também espalhar desinformação e eliminar empregos. Alguns especialistas em IA, empresários de tecnologia, incluindo Elon Musk, e cientistas escreveram recentemente uma carta aberta pedindo uma pausa de seis meses no desenvolvimento de algo mais poderoso do que o GPT-4.
No MIT na semana passada, Altman confirmou que sua empresa não está atualmente desenvolvendo GPT-5. “Uma versão anterior da carta afirmava que a OpenAI está treinando GPT-5 agora”, disse ele. “Nós não somos, e não vamos por algum tempo.”
Fonte: Andre Lug
