Com o seu novo modelo de linguagem de grande porte, o Llama 2, a Meta se posiciona como uma alternativa de código aberto à OpenAI. A Microsoft está a bordo como parceira.
O Llama 2 agora está disponível gratuitamente para fins de pesquisa e uso comercial, com até 700 milhões de usuários ativos por mês. O modelo vem em três tamanhos, com 7, 13 e 70 bilhões de parâmetros, e foi treinado com 40% mais dados do que o Llama v1, de acordo com a Meta.
O comprimento do contexto, que é a quantidade máxima de dados disponíveis na memória de curto prazo da IA que o modelo pode processar de uma só vez, é de 4096 tokens, o dobro de seu antecessor e equivalente ao ChatGPT usando GPT-3.5.
Em comparação com o Llama v1 e outros modelos de código aberto, o Llama 2 apresenta melhor desempenho em todos os benchmarks. Especialmente no importante benchmark de Compreensão de Linguagem Multi-Tarefa em Massa (MMLU), o Llama claramente supera seu antecessor e a competição de código aberto.
Em comparação com modelos de código fechado, como GPT-4 e PaLM-2, a Meta fala de “uma grande diferença de desempenho”. No entanto, espera-se que o Llama-2 alcance o nível do ChatGPT com o GPT-3.5 na maioria dos casos.
Para tarefas de codificação, o GPT-4 com intérprete de código ou modelos especializados como o Starcoder devem estar à frente de acordo com os benchmarks.
Esses modelos [Llama 2] têm demonstrado sua competitividade com os modelos de chat de código aberto existentes, bem como competência equivalente a alguns modelos proprietários em conjuntos de avaliação que examinamos, embora ainda estejam atrás de outros modelos como o GPT-4.
Do Artigo
De acordo com a Meta, o Llama 2 foi treinado utilizando fontes de dados disponíveis publicamente online. O modelo de chat ajustado, Llama-2-chat, utiliza conjuntos de dados de treinamento disponíveis publicamente e mais de um milhão de anotações humanas. Utilizando o mesmo método, Aprendizado por Reforço a partir do Feedback Humano (RLHF), a OpenAI também otimizou o ChatGPT.
A Meta disponibiliza os modelos para download gratuito no site do Llama após você preencher um formulário de registro. Cada download vem com o código do modelo, pesos, manual do usuário, guia de uso responsável, diretrizes de uso aceitável, cartão do modelo e licença.
Uma versão de demonstração gratuita do modelo de chat com 7 e 13 bilhões de parâmetros está disponível neste site.
Meta faz parceria com a Microsoft
De forma um tanto surpreendente, a Meta apresenta o modelo Llama em parceria com a Microsoft, o maior investidor na OpenAI. Aparentemente, a Microsoft deseja posicionar-se tanto no espaço de código fechado quanto no de código aberto, tornando os modelos disponíveis para empresas por meio de sua infraestrutura Azure. A Meta também oferece o Llama por meio dos serviços da Amazon Web Services, Hugging Face e outros provedores.
As duas empresas têm uma história compartilhada de criação de ecossistemas de IA abertos e apoio ao PyTorch – uma estrutura de IA co-desenvolvida pela Meta – no Microsoft Azure, de acordo com o anúncio do modelo.
A colaboração também visa possibilitar experiências imersivas para o futuro do trabalho e dos jogos no metaverso. No outono passado, a Microsoft anunciou pela primeira vez o software Office para os dispositivos de realidade virtual da Meta.
Além disso, a Meta enfatiza a importância do uso responsável da IA e fornece recursos como exercícios de red-teaming, um esquema de transparência, um guia de uso responsável e uma política de uso aceitável para garantir o uso justo e responsável do Llama 2.
A Meta também está protegendo suas apostas em código aberto com uma série de endossos de especialistas que apoiam o lançamento do modelo, apesar dos riscos. “Inovação responsável e aberta nos dá a todos um interesse no processo de desenvolvimento de IA, trazendo visibilidade, escrutínio e confiança a essas tecnologias. A abertura dos modelos Llama de hoje permitirá que todos se beneficiem dessa tecnologia”, diz o comunicado.
Yann LeCun, chefe de IA da Meta e um dos pesquisadores mais renomados no campo da inteligência artificial, celebra o lançamento do Llama 2 no Twitter, dizendo: “Isso vai mudar o cenário do mercado de LLM.”
O lançamento confirma alguns rumores das últimas semanas, incluindo que o Llama v2 é comercialmente viável e espera-se que reduza o crescimento da OpenAI. A própria Meta poderia se colocar em uma posição estrategicamente interessante ao aproveitar o movimento de código aberto para o seu ecossistema de IA.
Fonte: Andre Lug
