No history yet

Arquitetura e Tokens

Como um LLM 'Pensa'?

Ao contrário da perceção popular, o ChatGPT e outros Modelos de Linguagem de Grande Escala (LLMs) não 'pensam' ou 'compreendem' como os humanos. O seu processo é puramente matemático e preditivo. A sua principal função é prever a próxima unidade de texto, ou token, com base nos padrões estatísticos que aprendeu a partir de um vasto conjunto de dados de treino.

Pense nisso como um autocompletar extremamente sofisticado. Quando lhe pede para escrever uma descrição de um imóvel, ele não 'visualiza' a casa. Em vez disso, calcula a sequência de palavras mais provável que se seguiria ao seu pedido, com base em milhões de descrições de imóveis que processou.

token

noun

A unidade fundamental de texto que um LLM processa. Um token não é necessariamente uma palavra inteira; pode ser uma palavra, parte de uma palavra (como 'imo' e 'biliário') ou um sinal de pontuação. Em média, para o português, 100 tokens equivalem a cerca de 75 palavras.

A gestão de tokens é crucial no setor imobiliário. Contratos de arrendamento longos, históricos de conversas com clientes ou relatórios de avaliação de mercado podem facilmente exceder o limite de tokens do modelo. Quando isto acontece, o modelo 'esquece' o início do texto. Por isso, ser conciso e preciso nos seus prompts não é apenas uma questão de clareza; é uma necessidade técnica para garantir que o modelo considera toda a informação relevante para gerar uma análise precisa de um contrato ou um resumo de um email.

A Arquitetura Transformer

A magia por trás desta capacidade preditiva reside na , introduzida em 2017. Antes dos Transformers, os modelos processavam o texto sequencialmente, palavra por palavra. Este método tornava difícil manter o contexto em textos longos. Os Transformers, no entanto, podem processar todas as palavras de uma frase simultaneamente.

Lesson image

O componente chave do Transformer é o mecanismo de Atenção (Attention). Este mecanismo permite ao modelo pesar a importância de diferentes palavras na sua entrada ao gerar a saída. Funciona como um agente imobiliário experiente a ouvir um cliente: quando o cliente diz "Quero uma moradia de três quartos com jardim e boa exposição solar, perto de escolas", o agente sabe que "três quartos" está ligado a "moradia", "exposição solar" a "jardim" e "escolas" a "perto de".

Da mesma forma, o mecanismo de Atenção calcula uma pontuação de relevância entre todas as palavras no seu prompt. Isto permite que o modelo compreenda que, numa descrição de imóvel, o adjetivo "espaçosa" se refere provavelmente à "sala de estar" e não à "casa de banho de serviço", mesmo que as palavras estejam distantes na frase.

A Janela de Contexto

A arquitetura Transformer, apesar de poderosa, tem uma limitação fundamental: a (context window). Esta é a quantidade máxima de tokens que o modelo pode 'ver' de uma só vez, funcionando como a sua memória de curto prazo. Se uma conversa ou um documento exceder este limite, a informação mais antiga é descartada.

Isto tem implicações diretas no setor imobiliário. Ao analisar uma longa cadeia de emails com um cliente para resumir as suas preferências, se a conversa for demasiado longa, o ChatGPT pode 'esquecer-se' dos primeiros requisitos mencionados. Da mesma forma, ao pedir para encontrar cláusulas específicas num contrato de 50 páginas, é essencial dividi-lo em secções mais pequenas para garantir que nenhuma informação fica fora da janela de contexto.

Agora que entende a mecânica subjacente, vamos testar os seus conhecimentos.

Quiz Questions 1/4

Qual é a função principal de um Modelo de Linguagem de Grande Escala (LLM) como o ChatGPT?

Quiz Questions 2/4

O que acontece quando um prompt excede a 'janela de contexto' de um LLM?

Compreender estes conceitos fundamentais permite-lhe usar o ChatGPT de forma mais estratégica, antecipando as suas limitações e maximizando a sua precisão para tarefas imobiliárias complexas.