No history yet

Лінійна та логістична регресія

Геометрія лінійних моделей

В основі лінійних моделей лежить проста ідея: ми можемо описати зв'язок між змінними за допомогою прямих ліній або площин. Для лінійної регресії, яка прогнозує числові значення, ми шукаємо лінію (або гіперплощину у багатовимірному просторі), що найкраще проходить крізь хмару точок даних. Уявіть, що ви намагаєтесь провести одну пряму, яка б мінімізувала загальну відстань до всіх точок на графіку розсіювання.

У логістичній регресії, яка використовується для класифікації (наприклад, «так» або «ні»), ми також шукаємо гіперплощину. Але тут її роль інша: вона не проходить крізь дані, а розділяє їх. Всі точки одного класу повинні опинитися з одного боку площини, а точки іншого класу — з іншого. Ця розділяюча межа і є нашим класифікатором.

Ціна помилки: функції втрат

Щоб знайти «найкращу» лінію або гіперплощину, нам потрібен спосіб виміряти, наскільки добре модель працює. Цю міру називають функцією втрат. Чим більші втрати, тим гірша модель.

Для лінійної регресії зазвичай використовують середньоквадратичну помилку (Mean Squared Error, MSE). Вона обчислює середнє значення квадратів відстаней від кожної реальної точки до прогнозованої лінією.

MSE=1n∑i=1n(yi−y^i)2\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2

Для логістичної регресії MSE не підходить. Замість неї використовують крос-ентропію, яку також називають Log-Loss. Вона вимірює, наскільки прогнозовані ймовірності відрізняються від фактичних класів (0 або 1). Якщо модель впевнено прогнозує правильний клас, втрати близькі до нуля. Якщо ж вона впевнено помиляється, втрати стрімко зростають.

Log-Loss=−1n∑i=1n[yilog⁡(p^i)+(1−yi)log⁡(1−p^i)]\text{Log-Loss} = -\frac{1}{n} \sum_{i=1}^{n} [y_i \log(\hat{p}_i) + (1 - y_i) \log(1 - \hat{p}_i)]

Оптимізація та боротьба з перенавчанням

Мета навчання моделі — знайти такі параметри (ваги), які мінімізують функцію втрат. Найпопулярніший метод для цього — градієнтний спуск (Gradient Descent). Уявіть, що ви стоїте на схилі гори (поверхня функції втрат) і хочете спуститися в долину (мінімум втрат). Ви робите невеликі кроки в напрямку найкрутішого схилу вниз. Цей напрямок вказує градієнт функції втрат.

Однак, якщо дозволити моделі занадто точно підлаштуватися під навчальні дані, вона може отримати дуже великі ваги. Така модель буде погано узагальнювати на нових, небачених даних. Це називається перенавчанням. Щоб боротися з цим, використовують регуляризацію — техніку, що додає до функції втрат «штраф» за великі ваги.

Регуляризація допомагає знайти баланс між точністю на навчальних даних і здатністю моделі до узагальнення.

Існують два популярних види регуляризації:

  1. L2 (Ridge): Додає до втрат суму квадратів ваг. Вона «заохочує» модель мати багато маленьких ваг замість кількох великих. Це робить модель більш стабільною.
  2. : Додає суму модулів ваг. Цей метод може «обнулити» деякі ваги, фактично виконуючи відбір найважливіших ознак. Це корисно, коли у вас багато ознак, і ви підозрюєте, що не всі з них є важливими.
Ridge Loss=MSE+λ∑j=1pwj2Lasso Loss=MSE+λ∑j=1p∣wj∣\begin{aligned} \text{Ridge Loss} &= \text{MSE} + \lambda \sum_{j=1}^{p} w_j^2 \\ \text{Lasso Loss} &= \text{MSE} + \lambda \sum_{j=1}^{p} |w_j| \end{aligned}

Ці курси дадуть слухачам міцну основу в лінійно-алгебраїчній обробці регресійного моделювання, що значно розширить загальне розуміння регресійних моделей прикладними фахівцями з аналізу даних.

Тепер, коли ми розглянули основи, перевіримо, як ви засвоїли матеріал.

Quiz Questions 1/6

Яка основна відмінність у використанні гіперплощини між лінійною та логістичною регресією?

Quiz Questions 2/6

Яку функцію втрат зазвичай використовують для логістичної регресії?

Лінійні моделі є потужним і інтерпретованим інструментом, що слугує відправною точкою для багатьох складніших алгоритмів у машинному навчанні.