Архитектура Transformer, представленная в 2017 году в статье «Attention Is All You Need», стала стандартом для большинства современных моделей обработки естественного языка. В отличие от рекуррентных нейронных сетей (RNN), которые обрабатывают текст последовательно, слово за словом, Transformer обрабатывает все токены одновременно. Это стало возможным благодаря механизму внимания, который позволяет модели взвешивать важность каждого слова в последовательности относительно любого другого.

Давайте погрузимся в ключевые компоненты, которые делают эту архитектуру такой мощной.

В основе механизма внимания лежит операция, называемая Scaled Dot-Product Attention. Для каждого токена во входной последовательности мы создаем три вектора: Query (Запрос), Key (Ключ) и Value (Значение). Представьте себе поиск информации в базе данных. Вектор Query — это ваш запрос. Векторы Key всех токенов в последовательности — это своего рода «индексы» или «метки» для поиска. Векторы Value содержат фактическую информацию, связанную с каждым токеном.

Затем эти оценки масштабируются, проходят через функцию softmax для нормализации и используются как веса для суммирования векторов Value. В результате получается выходной вектор, который представляет собой взвешенную сумму значений, где веса определяют, на какие части входной последовательности следует «обратить внимание».

Одной «головы» внимания часто недостаточно. Модели нужно уметь одновременно фокусироваться на разных аспектах информации. Например, при обработке предложения «Робот взял красный мяч» одна голова внимания может сфокусироваться на связи «взял» -> «мяч» (что было взято), а другая — на связи «красный» -> «мяч» (какой это был мяч).

Механизм Multi-Head Attention решает эту задачу. Вместо одного набора векторов Q, K, V, мы используем несколько. Входные векторы линейно проецируются $h$ раз с разными, обучаемыми весовыми матрицами. Каждая из этих проекций («голова») выполняет операцию внимания параллельно. Затем их результаты конкатенируются и снова проходят через линейный слой. Это позволяет модели совместно учитывать информацию из разных подпространств представлений в разных позициях.

Поскольку Transformer обрабатывает все токены параллельно, он по своей природе не имеет информации о порядке слов. Для него предложения «собака укусила человека» и «человека укусила собака» изначально выглядят одинаково. Чтобы решить эту проблему, в модель необходимо добавить информацию о позиции каждого токена.

Изначально для этого использовались синусоидальные и косинусоидальные функции (Positional Encoding). Однако современные модели, такие как Llama и GPT-NeoX, используют более продвинутый метод — Rotary Positional Embeddings (RoPE). Вместо добавления позиционных векторов к эмбеддингам токенов, RoPE вращает векторы Query и Key в зависимости от их абсолютной позиции. Скалярное произведение между двумя повернутыми векторами зависит только от их относительного смещения, что позволяет модели лучше улавливать относительные позиционные зависимости.

Существует три основных типа архитектур на базе Transformer, каждая из которых оптимизирована для своих задач.

В дополнение к вниманию, каждый блок энкодера и декодера содержит полносвязную нейронную сеть (Feed-Forward Network) и слои нормализации (LayerNorm). LayerNorm играет критическую роль в стабилизации процесса обучения глубоких моделей. Современные архитектуры часто используют более эффективные функции активации, такие как GeLU (Gaussian Error Linear Unit) или SwiGLU, вместо стандартной ReLU.

При генерации текста в моделях типа decoder-only (как GPT) на каждом шаге добавляется только один новый токен. Пересчитывать всю матрицу внимания для уже обработанных токенов было бы крайне неэффективно. Здесь на помощь приходит KV-кэширование (KV Caching).

Идея заключается в том, чтобы сохранять вычисленные векторы Key и Value для всех предыдущих токенов в кэше. На следующем шаге генерации модели нужно вычислить Q, K, V только для нового токена, а затем использовать сохраненные K и V из кэша для расчета внимания. Это превращает процесс генерации из квадратичного по сложности ($O(n^2)$) в линейный ($O(n)$) на каждом шаге, что делает возможной быструю генерацию длинных текстов.

Понимание этих компонентов — от математики внимания до архитектурных различий и оптимизаций — является ключом к пониманию того, как работают и развиваются современные большие языковые модели.