Kora, sistema operacional da ex-Playtron, divide modelos de IA entre CPU, GPU e NPU

A Kora Systems Inc., antiga Playtron, apresentou o Kora, seu primeiro produto, um sistema operacional Linux para PCs que executa modelos de IA localmente por padrão e recorre a modelos em nuvem quando necessário. A previsão da empresa é que o sistema chegue aos computadores em 2027. A informação foi detalhada pelo Tom's Hardware, que conversou com o desenvolvedor.

O núcleo do sistema é o Cortex, descrito pela empresa como um "mecanismo de inferência híbrido". Segundo o desenvolvedor, o Cortex consegue distribuir cargas de IA entre CPU, GPU e NPU, além de outros equipamentos da rede local. A tecnologia não é de código aberto e foi otimizada para modelos locais. Nos testes com o Snapdragon X2 Elite, a NPU Hexagon, que a Qualcomm informa ter 80 TOPS, é a única suportada hoje.

Na prática, a máquina de inferência usada pelo Kora, chamada Lemma, é construída sobre llama.cpp, whisper.cpp, stable-diffusion.cpp e ONNX. Segundo McMaster, o Lemma "pode dividir camadas do modelo entre processadores conforme necessário", e o runtime escolhido depende dos requisitos de cada modelo. O desenvolvedor diz que o sistema usa predominantemente o formato GGUF, do llama.cpp. Ou seja, a Kora não usa o QAIRT/QNN da Qualcomm para chegar à NPU. Ela aciona o backend Hexagon do llama.cpp e o driver FastRPC presente no kernel principal do Linux.

Números no Snapdragon X2 Elite

O modelo usado nos testes é o Gemma 4 26B, do Google, que a empresa lista como Gemma 4 26B A4B. Segundo McMaster, no X2 Elite o modelo chega a 25 tokens por segundo na decodificação e a 550 tokens por segundo no preenchimento de contexto, com janela de 32K, executando inteiramente na NPU Hexagon. O desenvolvedor afirma que um modelo denso, em vez de mistura de especialistas, seria bem mais lento. A fonte não informa a configuração de memória RAM nem o modelo exato do X2 Elite usado no teste.

A exigência de memória é um ponto de atenção. Segundo a estimativa do Google, o peso do modelo em quantização de 4 bits (Q4_0) ocupa cerca de 14,4 GB, sem contar a janela de contexto. Listagens de terceiros indicam que o arquivo Q4_K_M usado pela Kora tem entre 16 e 17 GB. O modelo ativa cerca de 4 bilhões dos seus 26 bilhões de parâmetros por token, mas precisa estar inteiro na memória. McMaster recomenda 64 GB, porque isso dá acesso a modelos melhores, mas diz que não é requisito obrigatório.

Intel e AMD ainda sem NPU para LLMs

O suporte a NPUs de outros fabricantes está na fila, mas sem data. McMaster disse que há "conversas em andamento" com a Intel, e que a empresa trabalha em suporte para AMD e Intel. Ele também afirmou que nenhuma das duas NPUs deve rodar LLMs, já que as GPUs seriam "melhores para cargas de LLM em x64". No caso da AMD, a Kora deve usar a NPU para modelos de embedding e de reconhecimento de voz, via ONNX. A fonte não identifica nenhum chip Intel ou AMD suportado nem apresenta números de velocidade para essas plataformas.

Há um detalhe de infraestrutura por trás disso. Cada fabricante de NPU tem seu próprio runtime e pede modelos compilados no seu formato: a Qualcomm usa QAIRT/QNN, a Intel usa OpenVINO e a AMD usa o software Ryzen AI. No llama.cpp, existe um backend Hexagon para Snapdragon e um backend OpenVINO para CPUs, GPUs e NPUs da Intel, este último ainda marcado como "In Progress". Não há backend de NPU da AMD no projeto. Em testes anteriores no Windows, o Tom's Hardware já tinha visto um padrão parecido: o Snapdragon acessava a NPU pelo provedor QNN do ONNX Runtime, enquanto a Intel rodava pelo IPEX, sua extensão para PyTorch, na GPU, por ser mais rápida que a NPU.

Empresarial primeiro

O primeiro lançamento será o Humain OS, variante empresarial desenvolvida com a Humain, empresa saudita de IA. Segundo a Kora, ele estará "disponível comercialmente em 2027", em PCs OEM com Snapdragon X2 Elite. A versão para o público geral virá depois, "mais adiante em 2027". McMaster afirmou que o sistema será publicado no site da empresa para download, com uma lista de configurações recomendadas, e que deve ser instalável "na maioria dos PCs modernos". Preço e modelo de negócio ficam para mais perto da data de lançamento.

Para quem projeta ou administra estações de trabalho, o recado é de cautela no planejamento. Antes de aprovar hardware com NPU para rodar modelos locais, vale checar três coisas: se o runtime do fabricante é o que a aplicação exige, se o modelo cabe na memória com a janela de contexto desejada e se o desempenho medido vem de uma plataforma específica. Hoje, os números publicados pela Kora valem só para o Snapdragon X2 Elite.