A AMD anunciou hoje um novo aplicativo de código aberto chamado GAIA, projetado para fazer com que modelos de linguagem grande (LLMs) sejam executados com mais eficiência no lado local. Atualmente disponível para a plataforma Windows, o GAIA é um aplicativo de IA generativa projetado para permitir que os usuários implementem computação privada localizada de LLMs em PCs com Windows e foi otimizado para processadores da série Ryzen AI 300. O aplicativo aprimora o desempenho das tarefas de IA, aproveitando as unidades de processamento de rede neural (NPUs) e oferece suporte à implantação híbrida de LLMs quantizados.

É relatado que o GAIA é desenvolvido com base no Lemonade SDK do ONNX TurnkeyML e usa a tecnologia Retrieval Enhanced Generation (RAG), que pode suportar modelos convencionais, incluindo Llama e Phi. Existem quatro módulos funcionais principais: chatbot Chaty, especialista em pesquisa de vídeo Clip, gerador de piadas do Coringa e ferramenta de teste Simple Prompt.

O projeto GAIA consiste em quatro módulos funcionais, cada um otimizado para um cenário de aplicação específico:

A AMD oferece opções de instalação padrão e híbrida para GAIA. A versão regular é compatível com qualquer dispositivo Windows, o que significa que não importa que tipo de computador você esteja usando, você pode facilmente instalar e usar o GAIA. A versão híbrida é otimizada para a série Ryzen AI 300, que pode aproveitar ao máximo o poder de computação AI dos processadores AMD para oferecer melhor desempenho e experiência.

Uma característica importante do GAIA é o processo de localização. Todos os dados são processados em dispositivos locais e não precisam ser carregados em um servidor de computação em nuvem. Isso não apenas garante a privacidade dos dados do usuário, mas também reduz muito a latência de resposta. A latência de resposta do GAIA é reduzida para milissegundos, permitindo que os usuários desfrutem de uma experiência de IA instantânea e suave. Além disso, o GAIA suporta a execução offline, que funciona mesmo quando não há conexão de rede.

O projeto GAIA é licenciado sob a licença de código aberto do MIT, o que significa que qualquer pessoa pode usar, modificar e distribuir o código do programa GAIA gratuitamente. Este modelo aberto ajudará a atrair mais desenvolvedores para participar do desenvolvimento do GAIA e promover conjuntamente o desenvolvimento do GAIA. No futuro, a equipe do GAIA planeja expandir o GAIA para suporte multiplataforma, para que mais usuários possam experimentar a conveniência e a inteligência do GAIA.