Para interagir eficazmente com o ChatGPT, a primeira regra é esquecer a ideia de que ele "lê" como um ser humano. A IA não processa palavras, frases ou parágrafos. Em vez disso, decompõe todo o texto em unidades fundamentais chamadas tokenss. Um token pode ser uma palavra inteira, parte de uma palavra, um sinal de pontuação ou até mesmo um espaço.

Por exemplo, a frase "Apartamento T3 com vista para o rio" pode ser dividida em tokens como:

|Apar|tamento| |T|3| |com| |vista| |para| |o| |rio|

Repare que "Apartamento" pode ser dividido em duas partes, enquanto palavras mais curtas como "com" e "rio" podem ser um único token. Cada um destes pedaços é o que o modelo realmente processa. Compreender isto é o primeiro passo para dominar a ferramenta, porque tudo no ChatGPT, desde o custo ao seu desempenho, é medido em tokens.

Se os tokens são os tijolos, a Janela de Contexto é a memória de trabalho do arquiteto. Pense nela como a memória RAM do ChatGPT: é o espaço limitado que o modelo tem para armazenar e processar informações durante uma única conversa. Tudo o que escreve (entrada) e tudo o que ele responde (saída) ocupa espaço nesta janela.

Os modelos mais recentes, como o GPT-4 e o GPT-4o, têm janelas de contexto muito grandes, normalmente de 128.000 tokens. Parece imenso, mas numa conversa longa ou ao analisar documentos extensos, este limite pode ser atingido rapidamente. Quando a janela de contexto fica cheia, o modelo começa a "esquecer". Não é um esquecimento aleatório; ele descarta as informações mais antigas — o início da conversa — para dar espaço às mais recentes. É como tentar encher um copo que já está cheio: a água nova que entra força a água antiga a sair.

Entender o funcionamento dos tokens e da janela de contexto é crucial para evitar erros e respostas genéricas. Vejamos alguns cenários práticos.

Imagine que inicia uma conversa com o ChatGPT para encontrar imóveis para um cliente. Logo no início, o cliente especifica: "Procuro um T3, obrigatoriamente num andar alto, com garagem e exposição solar a sul."

A conversa continua. Analisam dez imóveis, discutem os prós e contras de cada bairro, e a troca de mensagens torna-se bastante longa. No final, pede ao ChatGPT: "Resume os critérios essenciais deste cliente."

Se a conversa excedeu a janela de contexto, o modelo pode ter "esquecido" os critérios iniciais. A resposta poderá ser algo vago como "O cliente procura um T3", omitindo os detalhes cruciais de "andar alto", "garagem" e "exposição solar a sul", que foram empurrados para fora da sua memória ativa.

Utiliza uma automação para enviar o histórico completo de um lead do seu CRM para o ChatGPT, pedindo-lhe para identificar o momento ideal para um novo contacto. O histórico inclui anos de emails, notas de chamadas e visitas a imóveis. Este texto pode facilmente ultrapassar os 10.000 ou 20.000 tokens.

O que acontece? O ChatGPT apenas analisará os últimos 128.000 tokens de informação que lhe forneceu. Se os dados mais importantes — como uma mudança recente na situação financeira do lead ou o motivo pelo qual ele rejeitou um imóvel há dois anos — estiverem no início do documento, serão completamente ignorados. O resultado será uma análise superficial, baseada apenas nos dados mais recentes, levando a uma recomendação potencialmente errada.

A chave é ser consciente desta limitação. Para conversas longas, resuma periodicamente os pontos importantes para os manter "frescos" na memória do modelo. Ao analisar documentos extensos, não envie o ficheiro inteiro de uma só vez. Em vez disso, divida-o em partes ou crie primeiro um resumo dos pontos mais antigos e envie esse resumo juntamente com os dados mais recentes. Desta forma, garante que o contexto completo é sempre considerado.

Gerir a memória do ChatGPT é como gerir a sua própria comunicação: o que é mais importante deve ser mantido em primeiro plano.