Де застосовується метод найменших квадратів
Метод найменших квадратів (МНК) дозволяє оцінювати різні величини, використовуючи результати безлічі вимірів, що містять випадкові помилки.
характеристика МНК
Основна ідея даного методу полягає в тому, що в якості критерію точності рішення задачі розглядається сума квадратів помилок, яку прагнуть звести до мінімуму. При використанні цього методу можна застосовувати як чисельний, так і аналітичний підхід.
Зокрема, в якості чисельної реалізації метод найменших квадратів передбачає проведення якомога більшої кількості вимірів невідомою випадкової величини. Причому, чим більше обчислень, тим точніше буде рішення. На цій множині обчислень (вихідних даних) отримують інше безліч передбачуваних рішень, з якого потім вибирається найкращий. Якщо безліч рішень параметризованих, то метод найменших квадратів зведеться до пошуку оптимального значення параметрів.
Як аналітичного підходу до реалізації МНК на безлічі вихідних даних (вимірювань) і передбачуваний безлічі рішень визначається деяка функціональна залежність (функціонал), яка вміщується у формулу, одержуваної як деякої гіпотези, яка потребує підтвердження. У цьому випадку метод найменших квадратів зводиться до знаходження мінімуму цього функціоналу на множині квадратів помилок вихідних даних.
Зауважте, що ні самі помилки, а саме квадрати помилок. Чому? Справа в тому, що найчастіше відхилення вимірювань від точного значення бувають як позитивними, так і негативними. При визначенні середньої похибки вимірювань просте підсумовування може привести до невірного висновку про якість оцінки, оскільки взаємне знищення позитивних і негативних значень знизить потужність вибірки безлічі вимірів. А, отже, і точність оцінки.
Для того щоб цього не сталося, і підсумовують квадрати відхилень. Навіть більше того, щоб вирівняти розмірність вимірюваної величини і підсумкової оцінки, з суми квадратів похибок витягають квадратний корінь.
Деякі додатки МНК
МНК широко використовується в різних областях. Наприклад, в теорії ймовірностей і математичній статистиці метод використовується для визначення такої характеристики випадкової величини, як середньоквадратичне відхилення, що визначає ширину діапазону значень випадкової величини.
В математичному аналізі і різних областях фізики, які використовують для виведення або підтвердження гіпотез даний апарат, МНК застосовують, зокрема, для оцінки наближеного представлення функцій, визначених на числових множинах, простішими функціями, допускають аналітичні перетворення.
Ще одне застосування цього методу - відділення корисного сигналу від накладеного на нього шуму в завданнях фільтрації.
Відео: Метод найменших квадратів. Тема
Ще одна область застосування МНК - економетрика. Тут даний метод настільки широко використовується, що для нього було визначено деякі спеціальні модифікації.
Більшість завдань економетрики, так чи інакше, зводиться до вирішення систем лінійних економетричних рівнянь, що описують поведінку деяких систем - структурних моделей. Основний елемент кожної такої моделі - часовий ряд, що представляє собою набір деяких характеристик, значення яких залежать як від часу, так і від ряду інших факторів. При цьому може спостерігатися відповідність між внутрішніми (ендогенними) характеристиками моделі і зовнішніми (екзогенними) характеристиками. Це відповідність виражається зазвичай у вигляді систем лінійних економічних рівнянь.
Характерною особливістю таких систем є наявність взаємозв`язків між окремими змінними, які з одного боку, ускладнюють її, з іншого - однойменні. Що є причиною появи невизначеності при виборі рішення таких систем. Додатковим фактором, що ускладнює вирішення таких завдань, є залежність параметрів моделей від часу.
Основна мета завдань економетрики - ідентифікація моделей, тобто визначення структурних взаємозв`язків в обраної моделі, а також оцінювання ряду її параметрів.
Відновлення залежностей у тимчасових рядах, складових моделі, може бути виконано, зокрема, за допомогою як прямого МНК, так і деяких його модифікацій, а також ряду інших методів. Спеціальні модифікації МНК при вирішенні таких завдань спеціально розвинені для вирішення тих чи інших проблем, що виникають в процесі чисельного рішення систем рівнянь.
Зокрема, одна з таких проблем пов`язана з наявністю вихідних обмежень на параметри, які потрібно оцінювати. Наприклад, дохід приватного підприємства може бути витрачений на споживання або на його розвиток. Отже, сума частин даних двох видів витрат свідомо дорівнює 1. У систему економетричних рівнянь ці частини можуть входити незалежно один від одного. Отже, можна оцінити різні види витрат за допомогою МНК, без урахування вихідного обмеження, а потім підкоригувати отриманий результат. Такий спосіб вирішення названий непрямим методом найменших квадратів.
Непрямий метод найменших квадратів (КМНК) використовується для точно визначається структурної моделі. Алгоритм КМНК передбачає виконання таких дій:
1) перетворення структурної моделі в більш просту, наведену форму шляхом введення додаткової залежності;
2) оцінка за допомогою звичайного МНК наведених коефіцієнтів для кожного рівняння спрощеної моделі;
3) отримані коефіцієнти простої форми моделі перетворюються в параметри вихідної структурної моделі.
Варто зазначити, що для сверхідентіфіціруемих систем КМНК не використовують, так як в цьому випадку неможливо завдання однозначних оцінок параметрів структурної моделі. Для таких моделей може бути використана ще одна модифікація МНК - двохкроковий метод найменших квадратів (ДМНК).
Алгоритм ДМНК наступний:
Відео: 11, 1 Метод найменших квадратів Введення
1) на основі спрощеної моделі розрахувати для сверхідентіфіціруемого рівняння значення внутрішніх змінних, які містяться в правій частині рівняння;
2) підставити отримані значення змінних на місце відповідних фактичних змінних у вихідній моделі і ще раз застосувати звичайний МНК.
Детальний опис непрямого і двокрокового методів найменших квадратів приведено у багатьох підручниках з економетрики. Особливість цих методів, так само як і звичайного МНК, в їх універсальності, що дозволяє використовувати їх для оцінки коефіцієнтів будь структурної моделі в будь-якій предметної області.
