Метод наименьших квадратов для одного фактора




Скачать 155.8 Kb.
НазваниеМетод наименьших квадратов для одного фактора
страница1/2
Дата публикации08.05.2013
Размер155.8 Kb.
ТипДокументы
vbibl.ru > Математика > Документы
  1   2
Матричный подход к регрессионному анализу

Метод наименьших квадратов для одного фактора

Рассмотрим численный пример линейного уравнения для одного фактора. Опишем его на матричном языке.

Таблица 1

Условия и результаты опытов

Номер опыта

x0

x1

y

1

+1

–2

0

2

+1

–1

1

3

+1

0

2

4

+1

+1

3

5

+1

+2

4

Пусть известно, что у связан с х1 линейным уравнением у= b0+b1x1. Или y=b0x0+b1x1.

В нашем примере участвуют три множества элементов: элементы, задающие условия проведения опытов, элементы, характеризующие их результаты, и неизвестные коэффициенты, которые нужно определить.

Общие формулы для вычисления коэффициентов



Теперь элементы, характеризующие результаты опытов, представим в виде вектор-столбца , неизвестным коэффициентам соответствует вектор-столбец , а элементы, задающие условия опытов, удобно представить в виде матрицы .

Столбец х0, состоящий из +1 введен для удобства вычислений всех коэффициентов, включая свободный член b0.

Вернемся к нашему примеру. На основании исходных данных можно записать систему из пяти уравнений по одному уравнению для каждого опыта yi=b0x0i+b1x1i, i=1, 2, …5 или в развернутом виде

0 = b0*1+b1*(–2),

1 = b0*1+b1*(–1),

2 = b0*1+b1*0,

3 = b0*1+b1*(+1),

4 = b0*1+b1*(+2).

Или в матричном виде Y=BX. =

Перейдем теперь к системе нормальных уравнений МНК, которую можно получить приравнивая нулю частные производные функции невязки



В нашем случае 5b0+b1*0=10, 0*b0+b1*10=10.

Можно показать, что в матричном виде эта система запишется следующим образом: ХТХВ=ХТY.

Матрица ХТХ называется матрицей системы нормальных уравнений. Она обладает рядом важных свойств. Прежде всего заметим, что в этой матрице два элемента, расположенных симметрично относительно главной диагонали, равны между собой. В нашем случае ото нули. Такое свойство характерно для матриц систем нормальных уравнений МНК, так как векторы, входящие в скалярные произведения, коммутативны.

Решить систему нормальных уравнений это значит записать в явном виде элементы вектора В (b0 и b1). Воспользуется операцией умножения на обратную матрицу. (Эта операция превратит матрицу, стоящую перед матрицей неизвестных коэффициентов, в единичную). Чтобы равенство не нарушилось, и правую часть придется домножить на соответствующую матрицу.

ТХ)–1ХТХВ=(ХТХ)–1ХТY.

В этом равенстве участвуют три матрицы. Матрица системы нормальных уравнений ХТХ, которую называют прямой матрицей, (ХТХ)–1 – обратная матрица.

Продолжим вычисление для примера. Подставим известные матрицы в уравнение для вектора коэффициентов B==(ХТХ)–1ХТY.

Имеем



Матрица, определитель которой равен нулю, не имеет обратной. Такую матрицу называют особенной, вырожденной или сингулярной. Если же определитель матрицы не равен нулю, то матрица называется неособенной, невырожденной или несингулярной.

Обобщение метода наименьших квадратов на многофакторный линейный случай

Пусть имеется k факторов и известно, что отклик и факторы связаны линейно: y=b0x0+b1x1+b2x2+…+bkxk. Выпишем для этого случая матрицы X, Y и В



Запишем исходную систему линейных уравнений:

Y = XB,



После преобразований, аналогичных рассмотренным в предыдущем параграфе, придем к следующей формуле:



Скалярные произведения удобно представлять в виде сумм, т.е. матрицу системы нормальных уравнений можно записать в следующем виде:

.

Так как суммирование ведется от 1 до N по всему множеству опытов, индекс суммирования опустим.

Аналогично XTY есть вектор сумм произведений: .

Чтобы получить ответ, т.е. вектор В, остается обратить матрицу ХTХ и умножить обратную матрицу на XTY.

Рассмотренная процедура MНK в матричной форме показывает, как получаются формулы для коэффициентов регрессии, которые использовались ранее.

Аналогичным путем можно оценить эффекты взаимодействия, входящие в модель Для этого надо расширить матрицу X, включив в нее столбцы взаимодействий Все остальные операции производятся совершенно аналогично В векторе В появляются при этом элементы, соответствующие эффектам взаимодействий. Расширение матрицы X подобным образом называют линеаризацией. Это эквивалентно замене эффектов взаимодействия новыми линейными членами Подобная процедура возможна только тогда, когда все коэффициенты входят в уравнение линейно. В некоторых случаях приходится использовать уравнения, нелинейные по параметрам. Например, функция экспоненты или степенная функция.

Статистический анализ

Перейдем к статистическому анализу в матричной форме.

Будем предполагать, что постулаты регрессионного анализа выполняются.

^ Первый постулат. Параметр оптимизации y есть случайная величина с нормальным законом распределения. Дисперсия воспроизводимости – одна из характеристик этого закона распределения.

В данном случае, как и по отношению к любым другим постулатам, нас интересуют два вопроса: как проверить его выполнимость и к чему приводят его нарушения?

При наличии большого экспериментального материала (десятки параллельных опытов) гипотезу о нормальном распределении можно проверить стандартными статистическими тестами (например, χ2– критерием). К сожалению, экспериментатор редко располагает такими данными, поэтому приходится принимать этот постулат на веру.

^ Второй постулат. Дисперсия y не зависит от абсолютной величины y. Выполнимость этого постулата проверяется с помощью критериев однородности дисперсий в разных точках факторного пространства. Нарушение этого постулата недопустимо.

Всегда существует такое преобразование y, которое делает дисперсии однородными. Увы, его не всегда легко найти. Довольно часто помогает логарифмическое преобразование, с которого обычно начинают поиски.

^ Третий постулат. Значения факторов суть неслучайные величины. Это несколько неожиданное утверждение практически означает, что установление каждого фактора на заданный уровень и его поддержание существенно точнее, чем сшибка воспроизводимости.

Нарушение этого постулата приводит к трудностям при реализации матрицы планирования. Поэтому оно обычно легко обнаруживается экспериментатором.

Существует еще четвертый постулат, налагающий ограничения на взаимосвязь между значениями факторов. У нас он выполняется автоматически в силу ортогональности матрицы планирования.

Что значит провести статистический анализ? Это значит проверить ряд статистических гипотез: гипотезу об адекватности заданной модели, гипотезу о значимости отдельных коэффициентов регрессии и др. Фундаментальную роль в анализе уравнения регрессии играет матрица

M–1=(XTX)–1,

которая называется матрицей дисперсий ковариаций. Прямая матрица М называется информационной матрицей Фишера.

В структуре матрицы дисперсий-ковариаций содержится вся информация о статистических свойствах модели. Провести статистический анализ значит извлечь эту информацию. Для этого прежде всего перейдем от матрицы, обратной к матрице системы

нормальных уравнений, к матрице М–1. Оценка дисперсии воспроизводимости – скаляр; ХТХ – квадратная матрица.

На главной диагонали матрицы-произведения стоят оценки дисперсий коэффициентов регрессии, вне главной диагонали расположены оценки ковариаций.

Чтобы познакомиться с понятием ковариация, рассмотрим два произвольных вектор-столбца матрицы X. Во многих случаях важно знать, сколь сильна линейная связь между этими векторами. Ковариация является одной из мер такой связи. Чтобы найти ковариацию, сначала центрируют оба вектора, а затем вычисляют их скалярное произведение. Центрирование используется для устранения неопределенности, связанной с выбором начала координат. Пусть, например, изучается ковариация между температурой и каким-нибудь другим фактором Если значения температуры записываются в шкале Цельсия, то без центрирования значение ковариаций получится иное, чем для шкалы Кельвина. При центрировании же это не произойдет.

Ковариация определяется по формуле

.

Давайте построим матрицу М–1 для однофакторной линейной модели. Информационная матрица М равна:

M=(XTX)=.

Матрица дисперсий-ковариаций М–1 равна:

M–1=(XTX)–1==

.

Ортогональные планы обладают тем свойством, что ковариации между всеми парами коэффициентов регрессии равны нулю.

(так принято сокращенно записывать квадратные матрицы, когда

Рассмотрим теперь проверку адекватности линейного уравнения регрессии. Дисперсия адекватности равна

.

Числитель этого выражения – остаточная сумма квадратов – в матричной форме имеет вид

.

Введем еще одну оценку – оценку дисперсии предсказанного значения отклика. Если имеется адекватное уравнение регрессии, то его можно использовать для предсказания результата какого-нибудь нового опыта в некоторой точке факторного пространства. Для этого достаточно подставить в уравнение координаты этой точки и произвести алгебраические операции. Очевидно точность такого предсказания будет неодинакова в разных точках факторного пространства. Чтобы учесть это различие и вводится дисперсия предсказанного значения отклика.

Пусть известное уравнение имеет вид y=b0+b1x1. Координаты предсказываемой точки задаются вектором XТ=[l xi]. Отсюда следует, что
  1   2

Добавить документ в свой блог или на сайт

Похожие:

Метод наименьших квадратов для одного фактора iconВопрос №4: Предпосылки метода наименьших квадратов, гомоскедастичность,...
Метод наименьших квадратов — один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащих...

Метод наименьших квадратов для одного фактора iconОбобщенный метод наименьших квадратов
В этом плане невозможность или нецелесообразность использования традиционного мнк по причине проявляющейся в той или иной степени...

Метод наименьших квадратов для одного фактора icon3. Открытая и закрытая модели транспортной задачи
Наилучшей кривой из всех кр явл та, для которой сумма квадратов отклонений исходных значений yt и модельных значения явл наименьшей....

Метод наименьших квадратов для одного фактора iconЛинейная регрессия и метод наименьших квадратов
Соответственно для признаков определяются средние, а сами случайные величины могут быть представлены в виде суммы средней и остатка,...

Метод наименьших квадратов для одного фактора icon2. 15 Аппроксимация функций. Метод наименьших квадратов
Если какую либо функцию f на промежутке [a, b] приближенно воспроизводят с помощью другой, g(X),то качество этой аппроксимации можно...

Метод наименьших квадратов для одного фактора iconОбзор программ для аппроксимации экспериментальных данных
В данной программе аппроксимация осуществляется с помощью метода наименьших квадратов путем линеаризации требуемых зависимостей....

Метод наименьших квадратов для одного фактора iconОбзор программ для аппроксимации экспериментальных данных
В данной программе аппроксимация осуществляется с помощью метода наименьших квадратов путем линеаризации требуемых зависимостей....

Метод наименьших квадратов для одного фактора iconОпределение параметров объекта управления методом наименьших квадратов
...

Метод наименьших квадратов для одного фактора iconДвухшаговый метод наименьших квадратов
В первом случае, если все уравнения системы сверхидентифицируемые, для оценки структурных коэффициентов каждого уравнения используется...

Метод наименьших квадратов для одного фактора icon1. 2Приближение сигналов рядом Тейлора
Функция реализации метода наименьших квадратов LeastSquares

Вы можете разместить ссылку на наш сайт:
Школьные материалы


При копировании материала укажите ссылку © 2013
контакты
vbibl.ru
Главная страница