Os melhores modelos atuais de linguagem grande que você pode instalar em seus computadores são GPT4ALL e os modelos de código aberto Cerebus.
Existem vários vídeos que guiam você através da instalação dos modelos.
Alguns dos modelos de IA de código aberto têm todo o código em um só lugar e outros exigem que você coloque as peças (modelo, código, dados de peso) juntas.
gpt4all: um ecossistema de chatbots de código aberto treinados em uma enorme coleção de dados de assistentes limpos, incluindo código, histórias e diálogo.
O ajuste fino dos modelos requer a obtenção de uma GPU ou FPGA de alta qualidade.
A Nomic AI está promovendo a missão LLM de código aberto e criou o GPT4ALL. O GPT4ALL é treinado usando a mesma técnica que o Alpaca, que é um modelo de linguagem grande de estilo assistente com ~800k GPT-3.5-Turbo Generations baseado em LLaMa. Funciona melhor que a alpaca e é rápido. É como ter o ChatGPT 3.5 no seu computador local. A IA Nômica inclui os pesos além do modelo quantizado.
Fonte: andrelug