Парная линейная регрессия:

Если ф-ия регрессии линейна, то гов-т о лин регрессии, которая соответствует требованию линейности отн-но ее парам-ра.

В таких моделях теорет ур-ие регр-ии У=М(У/х)+ε =β0+β1х+ε, коэф-ты β0 и β1 наз-ся теоретич коэф-ми, ε – случ теорет откл-ие.

Для любой выбороч пары х и yi, yi= β0+β1хi+ε, т.е. индив знач-е у предст-ны в виде суммы 2-х компонентов: систем-ой β0+β1хi и случайной εi.

В соот-ии с общей генер сов-тью всевозм-х сочетаний у и х, модель запис-ся в форме У= β0+β1Х+ε и задача построения урав-ия сост-т в том, чтобы по имеющ-ся выборке огран-го объема (хi;yi) i=1,n получить эмпир ур-ие регр-ии ỹ = b0+b1x,  где b0 и b1 – оценки для коэф-тов теорет ур-ия.

Тогда по данным выборки ỹi=b0+b1xi, получ-е знач-е для у б.отл-ся от теорет-го на нек-ую вел-ну, харак-ую точность оценки эмпир урав-ем теорет знач-ия завис-й переем-ой yi-ỹi=ei. => в общем виде мы получ-м yi=b0+b1xi+ei.

Но т.к. оценки для коэф-та β0→b0 и β1→b1 расч-ся по конкр-м выборкам, то для разных выборок из одной и той же генер сов-ти м.б. получ-ны отличающ-ся знач-ия.

Задача сост-т в том, чтобы найти наилучшие из этих оценок.

Т.к. нас не интер-т разность знач-ий завис перем-й по теорет и эмпир ур-иям (мы не знаем теорет Ур-ия), то под откл-ми б.понимать М(У/хк)-ук (теорет откл-ие) = εк. εк- это откл-ие точки выборки от ее теорет вел-ны, а ук-ỹк=ек – (эмпир откл-ие) откл-ие эмпир знач-я от соотв-ей вел-ны, получ-ой по построй-ой модели. И не б.ставить около ук выборки.

Задача моделир-я сост-т в том, чтобы минимиз-ть все откл-ия эмпир знач-ий завис переем-ой от соот-их вел-н рассчит-х по модели.

Это м сделать за счет минимизации 1-й из след-х ∑:

1).  ∑ei=∑(yi-ỹi)= ∑(yi-b0-b1xi)

Минимум такой ∑ не м. яв-ся мерой кач-ва урав-ия, т.к. сущ-т мно-во прямых линий, для кот-ых ∑ei=0, в част-ти у=у ср

2). ∑|ei|=∑|yi-ỹi|= ∑|yi-b0-b1xi|. Обычно называют методом наименьших модулей (МНМ). Реализ-ия этой задачи дел-ся методом градиентного спуска.

3). ∑ei²=∑(yi-ỹi)²= ∑(yi-b0-b1xi)²

Минимизация такой ∑ яв-ся наиболее разраб-й. Получила название метода наименьших квадратов (МНК). Вычисл процедуры наиболее просты по срав-ию со всеми ост-ми методами. И при выпол-ии опр-х предпосылок оценки парам-ов ур-ия b0 и b1 облад-т оптим св-вами.

Кроме 3-х названных еще исп-ся метод момента (тер вер) и методы max правдоподобия.