A empresa britânica de IA Stability AI é conhecida por sua imagem AI Stable Diffusion. Com o StableLM, agora está lançando uma série de modelos de linguagem de código aberto.
O StableLM-Alpha está disponível agora em dois tamanhos com 3 e 7 bilhões de parâmetros. Modelos maiores com 15 a 65 bilhões de parâmetros devem seguir.
Os modelos são licenciados sob a licença Creative Commons CC BY-SA-4.0 e podem, portanto, ser usados comercialmente, desde que a IA de estabilidade seja referenciada. Os modelos são liberados para fins de pesquisa de qualquer maneira.
O StableLM, como muitos outros modelos de linguagem de código aberto, é baseado no conjunto de dados “The Pile” da EleutherAI, mas em uma versão “experimental” que a Stability AI diz ser três vezes maior do que antes, com 1,5 trilhão de tokens. A startup quer fornecer detalhes sobre o conjunto de dados “no devido tempo”.
A Stability AI está atualmente em uma batalha legal com a Getty Images sobre a Stable Diffusion, para a qual raspou imagens do banco de dados da Getty Images sem permissão explícita – talvez essa seja uma razão para sua relutância em ser transparente sobre o conjunto de dados, ou talvez o ambiente competitivo atual. A IA de estabilidade supostamente busca novos financiamentos.
Poucos parâmetros, mas bons dados
Apesar do pequeno número de parâmetros (3 e 7 bilhões), o StableLM-Alpha mostra “desempenho surpreendentemente bom”, escreve a Stability AI. A qualidade do modelo de linguagem resulta da “riqueza do conjunto de dados”, acrescenta, mas não publica nenhum benchmark.
A janela de contexto do StableLM-Alpha, ou seja, quantos componentes de frase e palavra (tokens) o modelo de linguagem pode considerar simultaneamente para uma resposta, é 4096 tokens, que está no nível de um ChatGPT baseado em GPT-3.
Os modelos alfa StableLM com 3 e 7 bilhões de tokens estão agora disponíveis no Github. Modelos com 15, 30 e 65 bilhões de parâmetros devem seguir, juntamente com documentação técnica e parâmetros de treinamento. Um modelo de tamanho GPT-3 com 175 bilhões de parâmetros está planejado.
Como complemento ao StableLM-Alpha, o Stability AI lança modelos de instrução que são ajustados de acordo com a fórmula da Alpaca. A IA de estabilidade usa uma combinação dos cinco conjuntos de dados por trás da Alpaca, GPT4All, Dolly, ShareGPT e HH.
Esses modelos devem ser lançados como “StableLM-Tuned-Alpha”, mas são destinados apenas para fins de pesquisa e não podem ser usados comercialmente (CC BY-NC-SA 4.0). Uma demonstração do modelo 7B-Tuned está disponível no HuggingFace.
A Stability AI também anuncia um programa para um conjunto de dados de código aberto baseado em RLHF especificamente para assistentes de IA, no qual planeja trabalhar com parceiros como a comunidade OpenAssistant. Com esse conjunto de dados, ele poderia potencialmente ajustar os modelos StableLM-Alpha para torná-los viáveis para uso comercial. Atualmente, este não é o caso porque o processo de treinamento para StableLM-Tuned-Alpha usa texto gerado pelo ChatGPT. O uso comercial violaria os termos e condições da OpenAI.
Embora o Stable Diffusion tenha sido e seja um marco para a IA de código aberto geradora de imagens, o Stability AI pode ter uma batalha difícil para alcançar sucesso semelhante com modelos de linguagem: agora existem inúmeras ofertas de código aberto e a qualidade está melhorando constantemente – o OpenAssistant recentemente lançado, por exemplo, define novos padrões de qualidade para modelos de linguagem de código aberto orientados a diálogos e está sendo constantemente melhorado.
Fonte: Andre Lug
