Como funciona um modelo de linguagem como o ChatGPT: guia para o profissional de tecnologia

Um modelo de linguagem como o ChatGPT funciona prevendo qual é o próximo fragmento de texto (chamado token) a partir de tudo o que veio antes. Não há uma base de frases prontas consultada a cada pergunta. O que existe é uma rede neural com muitos parâmetros, ajustada durante o treinamento para dar probabilidades coerentes a essas continuações. A resposta que o usuário lê é gerada repetindo essa previsão até o texto terminar.

Da entrada à previsão

Antes de qualquer cálculo, o texto é quebrado em tokens, que podem ser palavras inteiras, partes de palavras ou sinais de pontuação. Cada token é convertido em um vetor numérico, um conjunto de números que representa o seu significado em relação aos outros tokens. Esses vetores passam por camadas de transformadores, a arquitetura que usa mecanismos de atenção para decidir quais partes do contexto pesam mais em cada posição.

Ao final, o modelo produz uma distribuição de probabilidade sobre todo o vocabulário. Um token é escolhido a partir dessa distribuição, acrescentado ao texto e o processo recomeça. Por isso a mesma pergunta pode gerar respostas diferentes: a escolha entre os tokens prováveis tem um componente de amostragem, que costuma ser controlado por parâmetros como a temperatura.

Como o modelo aprende

O treinamento inicial, chamado pré-treinamento, consiste em mostrar ao modelo grandes volumes de texto e ajustar seus parâmetros para reduzir o erro na previsão do próximo token. Esse ajuste é feito por otimização numérica, com retropropagação do erro pelas camadas da rede. Depois, uma etapa de ajuste fino com exemplos de perguntas e respostas e, em muitos casos, com avaliações humanas ensina o modelo a seguir instruções e a responder de forma útil e segura.

Vale separar as duas coisas. O modelo base aprende padrões da língua e de muitos assuntos. O comportamento de assistente vem de etapas posteriores. Quando a resposta parece segura de si, isso não é garantia de que o conteúdo esteja certo, porque a previsão privilegia o que é plausível no texto e não o que foi verificado.

Limitações que o profissional precisa conhecer

O modelo não consulta um banco de fatos por conta própria. Ele pode produzir afirmações falsas com aparência correta, o que é chamado de alucinação. Ele também não tem acesso a dados de uma empresa, a menos que esses dados sejam fornecidos no contexto da conversa ou por sistemas conectados a ele, como buscadores ou bancos de documentos. Para cálculos, normas técnicas e decisões de engenharia, a saída deve ser conferida em fonte primária.

Custo, desempenho e limites de contexto mudam com frequência entre versões e fornecedores, então o número exato deve ser checado diretamente na documentação do fabricante do serviço. Quem avalia a adoção em uma indústria deve testar o modelo com os próprios documentos e casos de uso, e não apenas com exemplos de demonstração.

Perguntas frequentes

O ChatGPT busca respostas na internet toda vez que responde?

Não necessariamente. Quando a versão usada não tem acesso a busca, a resposta vem da previsão feita a partir do treinamento e do texto da conversa. Recursos de navegação, quando existem, são ativados à parte e dependem da configuração do serviço.

Um modelo de linguagem entende o que está escrevendo?

Essa é uma questão aberta e debatida. O que se pode afirmar com segurança é que o modelo aprende representações estatísticas muito ricas da linguagem, o que lhe permite resolver muitas tarefas, mas isso não equivale a compreensão humana nem garante acerto.

Posso usar a resposta do modelo em um relatório técnico sem revisão?

Não é recomendável. A resposta pode conter erros de fato, de cálculo ou de referência. Todo conteúdo técnico gerado com apoio de IA deve ser revisado por um profissional habilitado antes do uso.

Por que a mesma pergunta gera respostas diferentes?

Porque, a cada token, o sistema escolhe entre opções prováveis e essa escolha pode variar. Configurações de aleatoriedade influenciam o grau dessa variação, e o resultado pode mudar mesmo com o mesmo texto de entrada.