Линейная регрессия и остатки
Прямая наименьших квадратов, предпосылки модели и границы прогноза.
Чему научимся
Метод даёт компактное описание линейной зависимости и прогноз, а анализ остатков показывает, насколько предпосылки прямой и шума согласуются с данными.
Главная идея. Простая линейная регрессия выбирает β₀ + β₁x, минимизируя сумму квадратов вертикальных остатков yi − β₀ − β₁xi. Прямая проходит через точку выборочных средних.
План рассуждения и проверка понимания
- Проверьте, что значения x не все одинаковы, иначе знаменатель суммы квадратов отклонений равен нулю и наклон не идентифицируется.
- Вычислите β̂₁ как отношение суммы центрированных произведений к сумме квадратов x, затем β̂₀ = ȳ − β̂₁x̄.
- Найдите остатки yi − ŷi и проверьте их сумму, изгибы, меняющийся разброс, временную структуру и влияние выбросов.
- Отделите алгебраическую линию от статистического вывода: для стандартных ошибок и t/F-процедур нужны дополнительные предпосылки об ошибках.
Частая ошибка. Считать МНК симметричным при обмене x и y, принимать нулевую сумму остатков за доказательство модели или экстраполировать по высокому R².
Как проверить себя. МНК минимизирует вертикальные ошибки выбранной переменной y. Нулевая сумма остатков следует из константы алгебраически, а надёжность вне диапазона данных не гарантирована.
Наглядная модель: Линейная регрессия и остатки
Прямая наименьших квадратов, предпосылки модели и границы прогноза.
- Линейная регрессия и остатки → Линейная регрессия и остатки
- Линейная регрессия и остатки → correlation
- Линейная регрессия и остатки → hypothesis-testing
Проверка пониманияОбъясните тему своими словами
Для точек (1,3), (2,5), (3,7) получите β̂₁ = 2 и β̂₀ = 1, затем объясните, что нулевые остатки говорят и чего не доказывают.
В хорошем объяснении есть:
- Прямая проходит через средние (2,5).
- Все три предсказания совпали с y.
- Идеальная подгонка трёх точек не объявлена причинной моделью.
Линия как описание данных
Линейная регрессия с константой приближает значения y прямой β0+β1x. Метод наименьших квадратов выбирает коэффициенты, минимизирующие сумму квадратов вертикальных остатков. Он не минимизирует геометрические расстояния точек до линии и не является симметричным обмену x и y.
Вычисление и набросок вывода
Запишите сумму квадратов (yi−β0−β1xi) и приравняйте её производные по двум коэффициентам нулю. Первое нормальное уравнение даёт прохождение прямой через точку средних. Второе приводит к отношению суммы центрированных произведений и суммы квадратов x. Если все x одинаковы, наклон отдельно определить нельзя.
Предпосылки статистических выводов
Алгебраическую линию можно построить для любых допустимых пар. Чтобы интерпретировать коэффициенты как несмещённые оценки условного среднего, нужны корректная линейная модель и нулевое условное среднее ошибки. Классические формулы стандартных ошибок используют некоррелированность ошибок и общую дисперсию; точные маловыборочные t/F-выводы обычно предполагают нормальность ошибок. Нормальность самих x не требуется.
Остатки и осторожность
В графике остатков ищут изгибы, меняющийся разброс, выбросы и зависимость от времени. Систематический рисунок указывает, что прямая или предположение о шуме могут не подходить. В модели с константой сумма остатков равна нулю, но это алгебраическое свойство не доказывает правильности предпосылок.
Связь не равна причинности. Прогноз вне наблюдавшегося диапазона является экстраполяцией; даже высокий R² не делает его надёжным. Доверительный интервал среднего ответа и предсказательный интервал нового наблюдения — разные объекты.
Три примера
- Для точек (1,3),(2,5),(3,7) МНК даёт наклон 2 и пересечение 1; все остатки нулевые.
- При x=1,2,3 и y=2,2,5 средние 2 и 3, наклон 1,5, пересечение 0; остатки 0,5,−1,0,5 суммируются к нулю.
- Если x у всех наблюдений равно 4, знаменатель формулы наклона нулевой. Можно оценить среднее y при x=4, но не отдельные наклон и пересечение.
Формула, смысл и ограничения
Главные формулы с расшифровкой
Формула словами: Простая МНК-регрессия с константой; x не должны быть все одинаковыми.
От формулы к наблюдению
Попробуйте самостоятельно
Измените параметры и сопоставьте расчёт с результатами случайного эксперимента.
От простого к сложному
Проверьте себя
Сначала запишите решение самостоятельно. Затем можно открыть намёк, сравнить каждый переход с пошаговым разбором и только после этого посмотреть ответ. Прогресс сохраняется в этом браузере.
Открываем задание…
Открываем задание…
Открываем задание…
Источники и соглашения
Объяснения и задачи — авторские. Источники помогают проверить определения, условия и школьную привязку. Обозначения и параметризация указаны в статье.