Коли модель машинного навчання приймає рішення, ми часто хочемо знати, чому. Існує два основних підходи до розуміння логіки моделі. Перший — це інтерпретованість за своєю природою (intrinsic interpretability). Такі моделі, як-от лінійні регресії чи дерева рішень, є прозорими за своєю структурою. Ми можемо зазирнути всередину і побачити механізм їхньої роботи, ніби розглядаючи двигун через скляний капот.

Другий підхід — це апостеріорна інтерпретованість (post-hoc). Він застосовується до моделей, які є чорними скриньками, наприклад, до складних нейронних мереж. Ми не можемо прямо зрозуміти їхню внутрішню логіку. Замість цього ми аналізуємо їхню поведінку ззовні, подаючи різні вхідні дані та спостерігаючи за результатами, щоб зробити висновки про те, як вони працюють. Ця стаття зосереджена на першому, вбудованому підході.

Лінійні моделі — класичний приклад вбудованої інтерпретованості. Їхня сила полягає в простоті. Зв'язок між ознаками та цільовою змінною описується прямим рівнянням.

Кожен коефіцієнт $\beta$ показує, як зміниться прогнозоване значення $Y$ при зміні відповідної ознаки $X$ на одну одиницю, за умови, що всі інші ознаки залишаються незмінними. Позитивний коефіцієнт означає прямий зв'язок, а негативний — обернений. Величина коефіцієнта вказує на силу цього впливу.

Однак сам по собі коефіцієнт не говорить, чи є цей зв'язок статистично значущим, чи він виник випадково. Для цього ми використовуємо p-значення. Якщо p-значення для коефіцієнта дуже мале (зазвичай менше 0.05), ми можемо бути впевнені, що ця ознака дійсно має значущий вплив на результат.

Дерева рішень є ще одним потужним інструментом з високою інтерпретованістю. Вони приймають рішення, розбиваючи дані на менші групи на основі значень ознак, створюючи набір правил «якщо-то». Шлях від кореня дерева до будь-якого листка можна прочитати як зрозуміле правило.

Крім зрозумілих правил, дерева надають метрику важливості ознак (feature importance). Ознаки, які використовуються для розбиття ближче до кореня дерева, зазвичай є найважливішими. Більш формально, важливість ознаки розраховується на основі того, наскільки вона зменшує «нечистоту» або домішку Джині у вузлах. Чим більше ознака допомагає створювати однорідні групи, тим вона важливіша.

Лінійні моделі прості, але припускають лінійний зв'язок. Дерева гнучкі, але можуть стати нестабільними. Узагальнені адитивні моделі (GAMs) пропонують золоту середину. Вони розширюють лінійні моделі, замінюючи прості коефіцієнти на гнучкі функції.

Головна перевага GAMs полягає в тому, що ми можемо візуалізувати кожну функцію $f_i(X_i)$ окремо. Це дозволяє нам побачити, як саме кожна ознака впливає на результат, включно з нелінійними ефектами. Наприклад, ми можемо виявити, що вплив температури на продажі морозива зростає до певної точки, а потім виходить на плато. Лінійна модель ніколи б цього не показала.

Навіть у світі складних глибоких нейронних мереж є елементи вбудованої інтерпретованості. Яскравий приклад — механізми уваги (attention mechanisms) в архітектурі Трансформерів. Увага дозволяє моделі динамічно зважувати важливість різних частин вхідних даних (наприклад, слів у реченні) під час генерації виходу.

Ці ваги уваги можна візуалізувати у вигляді теплової карти, яка показує, на які вхідні токени модель «дивилася» найбільше при створенні кожного вихідного токена. Це не дає повного пояснення, але надає цінну інтуїцію щодо того, як модель пов'язує різні частини інформації.

Розуміння того, як працюють моделі, є ключовим для їхнього відповідального застосування. Моделі з вбудованою інтерпретованістю надають нам прямий доступ до їхньої логіки, роблячи процес прийняття рішень прозорим і надійним.