Ziel:
Vorhersage einer metrischen abhängigen Variable (auch Zielvariable oder Kriterium) durch eine oder mehrere unabhängige Variablen (auch Prädiktoren oder Einflussgrössen).
Voraussetzungen:
Bei einer Regressionsanalyse gibt es eine abhängige Variable (\(y\)), die erklärt werden soll, und eine oder mehrere unabhängige Variablen (\(x_1, x_2, \dots, x_k\)), die mit der Zielvariable in Verbindung stehen.
Die allgemeine Form der multiplen linearen Regression lautet:
\[ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_k x_k + \varepsilon \]
Interpretation der Regressionskoeffizienten
Wir wollen eine Gerade der Form:
\[ \hat{y} = \beta_0 + \beta_{1x} x \]
Die Parameter \(\beta_0\) und \(\beta_1\) bestimmen die Lage und Neigung der Regressionsgerade.
Kein Modell beschreibt die Realität perfekt. Daher gibt es für jeden Datenpunkt eine Abweichung (Residuum) zu der Regressionsgerade:
\[ e_i = y_i - \hat{y}_i \]
Das Ziel der linearen Regression ist es, diese Abweichungen so klein wie möglich zu halten.
Wir betrachten die Daten aus Tabelle 9.1 und untersuchen den Zusammenhang zwischen Lernzeit (h/Woche, \(X\)) und Prüfungsnote (\(Y\)).
1. Gegebene Werte
Bereits bekannte Werte aus vorherigen Berechnungen:
Mittelwerte:
\(\bar{X} = 10\) (Gleichung 9.2), \(\bar{Y} = 70\) (Gleichung 9.1)
Standardabweichungen:
\(\sigma_X = 3.81\) (Gleichung 9.5), \(\sigma_Y = 15.81\) (Gleichung 9.4)
Kovarianz:
\(\text{Cov}(X, Y) = 60\) (Gleichung 9.3)
Varianz von \(X\):
\(\sigma_X^2 = 14.5\) ergibt sich aus \(\sigma_X\)
2. Berechnung der Regressionskoeffizienten
\[ \begin{aligned} \beta_1 &= \frac{\text{Cov}(X, Y)}{\sigma_X^2} \\ &= \frac{60}{14.5} \\ &\approx 4.14 \end{aligned} \]
library(tibble)
noten_lernzeit_tabelle <- tibble(
student = c("A", "B", "C", "D", "E"),
note = c(70, 80, 50, 90, 60),
lernzeit = c(10, 12, 5, 15, 8)
)
model <- lm(note ~ lernzeit, data = noten_lernzeit_tabelle)
beta1 <- coef(model)[2] # Zweites Element ist der Koeffizient für lernzeit
beta1lernzeit
4.137931 \(\Rightarrow\) Jede zusätzliche Lernstunde pro Woche erhöht die erwartete Prüfungsnote um 4.14 Punkte.
\[ \begin{aligned} \beta_0 &= \bar{Y} - \beta_1 \bar{X} \\ &\approx 70 - (4.14 \cdot 10) \\ &\approx 70 - 41.4 \\ &\approx 28.6 \end{aligned} \]
beta0 <- coef(model)[1] # Erstes Element ist der Koeffizient für den Achsenabschnitt
beta0(Intercept)
28.62069 \(\Rightarrow\) Ohne Lernzeit (\(X = 0\)) wäre die erwartete Note 28.6.
3. Regressionsgleichung
\[ \hat{Y} \approx 28.6 + 4.14 X \]
4. Vorhersagewerte \(\hat{Y}\)
Die vorhergesagten Prüfungsnoten für unsere Lernzeiten:
| Student | \(X\) (Lernzeit) | \(Y\) (Tatsächlich) | \(\hat{Y}\) (Vorhersage) |
|---|---|---|---|
| A | 10 | 70 | \(28.6 + 4.14 \cdot 10 \approx 70.0\) |
| B | 12 | 80 | \(28.6 + 4.14 \cdot 12 \approx 78.3\) |
| C | 5 | 50 | \(28.6 + 4.14 \cdot 5 \approx 49.3\) |
| D | 15 | 90 | \(28.6 + 4.14 \cdot 15 \approx 90.7\) |
| E | 8 | 60 | \(28.6 + 4.14 \cdot 8 \approx 61.7\) |
Wir sehen, dass die vorhergesagten Werte gut zu den tatsächlichen Werten passen.
5. Berechnung der Residuen \(e_i\)
Das Residuum ist die Differenz zwischen tatsächlichem Wert \(Y_i\) und vorhergesagtem Wert \(\hat{Y}_i\):
\[ e_i = Y_i - \hat{Y}_i \]
| Student | \(Y\) (Tatsächlich) | \(\hat{Y}\) (Vorhersage) | Residuum \(e_i\) |
|---|---|---|---|
| A | 70 | 70.0 | \(70 - 70 = 0.0\) |
| B | 80 | 78.3 | \(80 - 78.3 = 1.7\) |
| C | 50 | 49.3 | \(50 - 49.3 = 0.7\) |
| D | 90 | 90.7 | \(90 - 90.7 = -0.7\) |
| E | 60 | 61.7 | \(60 - 61.7 = -1.7\) |
Die Residuen sind klein, was bedeutet, dass die Regressionsgerade gut zu den Daten passt.
Interpretation:
Die Güte der Anpassung wird durch das Bestimmtheitsmass \(R^2\) beurteilt. Dieses Mass gibt an, welcher Anteil der Gesamtvariation von \(Y\) durch das Modell erklärt wird:
\[ R^2 = \frac{\text{erklärte Variation}}{\text{Gesamtvariation}} = 1 - \frac{\text{Residuenvariation}}{\text{Gesamtvariation}} \]
Das bedeutet:
\[ R^2 = 1 - \frac{\sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2}{\sum_{i=1}^{n} (Y_i - \bar{Y})^2} \]
Eigenschaften von \(R^2\):
Um zu überprüfen, ob die unabhängige Variable tatsächlich einen signifikanten Einfluss auf \(Y\) hat, testen wir die Hypothesen:
Da wir \(\beta_1\) nicht direkt kennen, schätzen wir ihn mit \(\widehat{\beta}_1\) und testen, ob dieser signifikant von 0 verschieden ist. Dafür berechnen wir die Teststatistik:
\[ T = \frac{\widehat{\beta}_1}{\operatorname{SE}_{\beta_1}} \]
wobei der Standardfehler von \(\beta_1\) durch:
\[ \operatorname{SE}_{\beta_1} = \sqrt{\frac{\frac{1}{n-2} \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2}{\sum_{i=1}^{n} (X_i - \bar{X})^2}} \]
gegeben ist.
Interpretation des Tests:
Wir überprüfen die Signifikanz der Regressionskoeffizienten für das Beispiel der Lernzeit und der Prüfungsnote.
1. Berechnung der Gesamtvariation \(SS_{total}\)
Die Gesamtvariation ist die Summe der quadrierten Abweichungen jedes \(Y_i\) vom Mittelwert \(\bar{Y}\):
\[ \begin{aligned} SS_{\text{total}} &= \sum_{i=1}^{n} (Y_i - \bar{Y})^2 \\ &= \sum_{i=1}^{n} (70 - 70)^2 + (80 - 70)^2 + (50 - 70)^2 + (90 - 70)^2 + (60 - 70)^2 \\ &= 0 + 100 + 400 + 400 + 100 \\ &= 1000 \end{aligned} \]
ss_total <- sum((noten_lernzeit_tabelle$note - mean(noten_lernzeit_tabelle$note))^2)
ss_total[1] 10002. Berechnung der Residuenvariation \(SS_{residual}\)
Die Residuenvariation ist die Summe der quadrierten Abweichungen der tatsächlichen Werte \(Y_i\) von den vorhergesagten Werten \(\hat{Y}_i\), berechnet mit der Regressionsgleichung:
\[ \begin{aligned} \hat{Y}_i &= 28.6 + 4.14 X_i \\ &= 0^2 + 1.7^2 + 0.7^2 + (-0.7)^2 + (-1.7)^2 \\ &\approx 0 + 2.89 + 0.49 + 0.49 + 2.89 \\ &\approx 6.9 \end{aligned} \]
ss_residual <- sum(model$residuals^2)
ss_residual[1] 6.896552Nun setzen wir die Werte in die Formel ein:
\[ R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} \]
r_squared <- summary(model)$r.squared
r_squared[1] 0.9931034\[ \begin{aligned} R^2 &\approx 1 - \frac{6.9}{1000} \\ &\approx 1 - 0.0069 \\ &\approx 0.993 \end{aligned} \]
\(\Rightarrow\) 99.3% der Variation in den Prüfungsnoten wird durch die Lernzeit erklärt.
Das Modell passt also sehr gut zu den Daten.
4. Berechnung des Standardfehlers von \(\beta_1\)
\[ \begin{aligned} \operatorname{SE}_{\beta_1} &= \sqrt{\frac{\frac{1}{n-2} \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2}{\sum_{i=1}^{n} (X_i - \bar{X})^2}} \\ &= \sqrt{\frac{\frac{1}{3} \sum_{i=1}^{5} (Y_i - \hat{Y}_i)^2}{\sum_{i=1}^{5} (X_i - \bar{X})^2}} \\ &= \sqrt{\frac{\frac{1}{3} \left[(70-70)^2 + (80-78.3)^2 + (50-49.3)^2 + (90-90.7)^2 + (60-61.7)^2\right]}{\left[(10-10)^2 + (12-10)^2 + (5-10)^2 + (15-10)^2 + (8-10)^2\right]}} \\ &= \sqrt{\frac{\frac{1}{3} \left[0^2 + 1.7^2 + 0.7^2 + (-0.7)^2 + (-1.7)^2\right]}{\left[0^2 + 2^2 + (-5)^2 + 5^2 + (-2)^2\right]}} \\ &= \sqrt{\frac{\frac{1}{3} \left[0 + 2.89 + 0.49 + 0.49 + 2.89\right]}{\left[0 + 4 + 25 + 25 + 4\right]}} \\ &= \sqrt{\frac{\frac{1}{3} \left[6.76\right]}{58}} \\ &\approx \sqrt{\frac{2.53}{58}} \\ &\approx \sqrt{0.039} \\ &\approx 0.197 \end{aligned} \]
se_beta1 <- summary(model)$coefficients[2, "Std. Error"]
se_beta1[1] 0.19908635. Berechnung der Teststatistik \(T\)
\[ \begin{aligned} T &= \frac{\widehat{\beta}_1}{\operatorname{SE}_{\beta_1}} \\ &= \frac{4.14}{0.197} \\ &\approx 20.79 \end{aligned} \]
t_value <- coef(summary(model))[2, "t value"]
t_value[1] 20.784616. Berechnung des p-Werts
Da die Teststatistik \(T\) einer t-Verteilung mit \(n-2\) Freiheitsgraden folgt, berechnen wir den p-Wert für den zweiseitigen Test:
\[ p = 2 \cdot P(T \geq |t_{\text{berechnet}}|) \]
p_value <- summary(model)$coefficients[2, "Pr(>|t|)"]
p_value[1] 0.0002435779Interpretation:
Fazit:
Die Regressionskoeffizienten sind signifikant. Es gibt starke Evidenz, dass eine höhere Lernzeit zu besseren Prüfungsnoten führt.
\[ \beta_1 = \widehat{\beta_1} \pm q_t \cdot \operatorname{SE}_{\beta_1} \quad \text{mit} \quad q_t \text{ aus der T-Tabelle} \]
# Lineare Regression durchführen
model <- lm(note ~ lernzeit, data = noten_lernzeit_tabelle)
model
Call:
lm(formula = note ~ lernzeit, data = noten_lernzeit_tabelle)
Coefficients:
(Intercept) lernzeit
28.621 4.138 Die Ausgabe der Funktion lm() zeigt uns:
y ~ x bedeutet: y wird durch x vorhergesagtFür eine detailliertere Analyse können wir die Funktion summary() verwenden:
summary(model)
Call:
lm(formula = note ~ lernzeit, data = noten_lernzeit_tabelle)
Residuals:
1 2 3 4 5
-1.220e-14 1.724e+00 6.897e-01 -6.897e-01 -1.724e+00
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 28.6207 2.1032 13.61 0.000858 ***
lernzeit 4.1379 0.1991 20.79 0.000244 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 1.516 on 3 degrees of freedom
Multiple R-squared: 0.9931, Adjusted R-squared: 0.9908
F-statistic: 432 on 1 and 3 DF, p-value: 0.0002436Die summary() zeigt uns zusätzlich:
In der einfachen linearen Regression versuchen wir, den Zusammenhang zwischen einer abhängigen Variable \(Y\) und einem Prädiktor \(X_1\) zu modellieren. Doch was passiert, wenn \(Y\) nicht vollständig durch \(X_1\) alleine erklärt werden kann?
Stellen wir uns vor, wir haben Daten, bei denen wir vermuten, dass \(X_1\) einen Einfluss auf \(Y\) hat. Wir beginnen mit einer einfachen linearen Regression:
set.seed(42)
# Daten simulieren
n <- 100
X1 <- rnorm(n, mean = 10, sd = 2)
X2 <- rnorm(n, mean = 5, sd = 1.5)
Y <- 3 * X1 + 2 * X2 + rnorm(n, sd = 3)
# Einfache lineare Regression Y ~ X1
model_X1 <- lm(Y ~ X1)
# Plot
plot(X1, Y, pch = 19, col = rgb(105/255, 89/255, 205/255, alpha = 0.5),
xlab = "X1", ylab = "Y")
abline(model_X1, col = "red", lwd = 2)
Wir erkennen, dass \(X_1\) einen deutlichen Einfluss auf \(Y\) hat. Doch die Vorhersagen des Modells sind nicht perfekt – es bleiben Residuen übrig, also Abweichungen zwischen den tatsächlichen Werten von \(Y\) und den durch das Modell prognostizierten Werten.
Diese Residuen sind nicht einfach nur zufälliges Rauschen. Sie könnten Hinweise darauf liefern, dass noch weitere Faktoren im Spiel sind, die wir bisher nicht berücksichtigt haben.
Um das zu überprüfen, untersuchen wir, ob ein weiterer Prädiktor \(X_2\) möglicherweise einen Teil dieser unerklärten Varianz in \(Y\) aufklären kann. Dazu betrachten wir die Residuen der ersten Regression und analysieren, ob sie mit \(X_2\) zusammenhängen:
# Berechne die Residuen der ersten Regression
residuals_X1 <- resid(model_X1)
# Regression der Residuen auf X2
model_resid_X2 <- lm(residuals_X1 ~ X2)
# Plot
plot(X2, residuals_X1, pch = 19, col = rgb(105/255, 89/255, 205/255, alpha = 0.5),
xlab = "X2", ylab = "Residuen von Y ~ X1")
abline(model_resid_X2, col = "orange", lwd = 2)
Wir sehen, dass die Residuen tatsächlich einen Zusammenhang mit \(X_2\) aufweisen. Das bedeutet, dass \(X_2\) Varianz in \(Y\) erklärt, die nicht durch \(X_1\) erfasst wurde.
Man könnte diesen Prozess theoretisch weiterführen: Nachdem wir den Einfluss von \(X_2\) modelliert haben, könnten wir die neuen Residuen betrachten und versuchen, diese durch einen weiteren Prädiktor \(X_3\) zu erklären. Und so weiter.
Dieses schrittweise Vorgehen wirft jedoch ein Problem auf: Was passiert, wenn \(X_1\), \(X_2\), …, \(X_k\) miteinander korrelieren?
Wir brauchen einen Ansatz, der es uns ermöglicht, den Einfluss mehrerer Prädiktoren gleichzeitig zu berücksichtigen.
Wir versuchen, den Abfluss eines Gebirgsbachs zu modellieren.
Wenn wir den Abfluss \(Y\) zunächst in Abhängigkeit von der Schneeschmelze \(X_1\) modellieren, stellen wir fest, dass ein Teil der Varianz von \(Y\) nicht erklärt wird. Wir vermuten, dass der Niederschlag \(X_2\) einen zusätzlichen Einfluss haben könnte. Also modellieren wir die Residuen aus der ersten Regression in Abhängigkeit von \(X_2\).
Doch hier entsteht ein Problem: Schneeschmelze und Niederschlag sind oft korreliert. Nach starken Niederschlägen folgt häufig eine beschleunigte Schneeschmelze. Wenn wir \(X_2\) nur auf die Residuen von \(X_1\) anwenden, übersehen wir möglicherweise den gemeinsamen Einfluss beider Faktoren.
Das führt zu verzerrten Ergebnissen, da der Niederschlag sowohl einen direkten Einfluss auf den Abfluss hat als auch indirekt über die Schneeschmelze wirkt.
Bemerkung: Wenn die Prädiktoren nicht korrelieren, ist die Regression der Residuen mit weiteren Variablen möglich.
Vorhersage einer metrischen abhängigen Variable durch mehrere unabhängige Variablen (Prädiktoren).
Voraussetzungen:
Die allgemeine Form der multiplen linearen Regression lautet:
\[ Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \ldots + \beta_k X_k + \varepsilon \]
Interpretation der Regressionskoeffizienten
\[ \sum_{i=1}^{n} (Y_i - \widehat{\beta_0} - \widehat{\beta_1} X_{1i} - \widehat{\beta_2} X_{2i} - \ldots - \widehat{\beta_k} X_{ki})^2 \quad \rightarrow \quad \text{minimal} \]
\[ \widehat{Y_i} = \widehat{\beta_0} + \widehat{\beta_1} X_{1i} + \widehat{\beta_2} X_{2i} + \ldots + \widehat{\beta_k} X_{ki} \]
oder in Matrixnotation:
\[ \widehat{Y} = X \widehat{\beta} \quad \text{mit} \quad \widehat{Y} = \begin{bmatrix} \widehat{Y_1} \\ \widehat{Y_2} \\ \vdots \\ \widehat{Y_n} \end{bmatrix}, \quad \widehat{\beta} = \begin{bmatrix} \widehat{\beta_0} \\ \widehat{\beta_1} \\ \vdots \\ \widehat{\beta_k} \end{bmatrix} \quad \text{und} \quad X = \begin{bmatrix} 1 & X_{11} & X_{21} & \ldots & X_{k1} \\ 1 & X_{12} & X_{22} & \ldots & X_{k2} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & X_{1n} & X_{2n} & \ldots & X_{kn} \end{bmatrix} \]
Da die Berechnung einer multiplen Regression sehr komplex ist, verwenden wir hierfür R und verzichten auf die manuelle Berechnung.
Wir verwenden die Daten aus Tabelle 9.1 und ergänzen sie um zwei weitere Prädiktoren: Schlafdauer und Kaffeekonsum.
| Student | Lernzeit \(X_1\) | Schlafdauer \(X_2\) | Kaffee \(X_3\) | Prüfungsnote \(Y\) |
|---|---|---|---|---|
| A | 10 | 7.5 | 2 | 70 |
| B | 12 | 6.5 | 3 | 80 |
| C | 5 | 6.0 | 0 | 50 |
| D | 15 | 8.5 | 5 | 90 |
| E | 8 | 8.0 | 1 | 60 |
1. Regressionsmodell aufstellen
Wir schätzen die folgende multiple lineare Regression:
\[ Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \beta_3 X_3 + \varepsilon \]
library(tibble)
noten_lernzeit_schlaf_kaffee <- tibble(
student = c("A", "B", "C", "D", "E"),
lernzeit = c(10, 12, 5, 15, 8),
schlafdauer = c(7.5, 6.5, 6.0, 8.5, 8.0),
kaffee = c(2, 3, 0, 5, 1),
note = c(70, 80, 50, 90, 60)
)
# Multiple lineare Regression durchführen
model_multiple <- lm(note ~ lernzeit + schlafdauer + kaffee, data = noten_lernzeit_schlaf_kaffee)
# Ergebnisse anzeigen
summary(model_multiple)
Call:
lm(formula = note ~ lernzeit + schlafdauer + kaffee, data = noten_lernzeit_schlaf_kaffee)
Residuals:
1 2 3 4 5
0.2626 -0.1050 0.0105 -0.0105 -0.1576
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 36.8067 1.9959 18.441 0.0345 *
lernzeit 4.5273 0.3028 14.951 0.0425 *
schlafdauer -1.5756 0.1960 -8.041 0.0788 .
kaffee -0.2626 0.5926 -0.443 0.7345
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 0.3241 on 1 degrees of freedom
Multiple R-squared: 0.9999, Adjusted R-squared: 0.9996
F-statistic: 3173 on 3 and 1 DF, p-value: 0.013052. Berechnung der Regressionskoeffizienten
Die geschätzte Regressionsgleichung lautet:
\[ \begin{aligned} \hat{Y} &= \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \beta_3 X_3 \\ &\approx 36.8 + 4.53 X_1 + (-1.58) X_2 + (- 0.26) X_3 \end{aligned} \]
Interpretation:
3. Modellgüte und Vorhersagekraft
Das Bestimmtheitsmaß \(R^2\) gibt an, wie gut unser Modell die Prüfungsnoten erklärt:
\[ R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} \]
summary(model_multiple)$r.squared[1] 0.999895Interpretation:
Die lineare Regression setzt voraus, dass der Zusammenhang zwischen der abhängigen Variable (\(Y\)) und den Prädiktoren (\(X_1, X_2, \dots, X_k\)) linear ist.
- In einem Scatterplot sollte eine ungefähr geradlinige Beziehung zwischen den Variablen erkennbar sein.
- Falls ein nichtlinearer Zusammenhang vorliegt, kann eine Transformation der Variablen (z.B. logarithmisch oder quadratisch) sinnvoll sein.
Kollinearität beschreibt die Tatsache, dass zwei oder mehrere Prädiktoren in einem Regressionsmodell stark miteinander korrelieren.
Folgen:
Anzeichen:
vif()Behandlung:
Heteroskedastizität beschreibt die Tatsache, dass die Varianz der Residuen nicht konstant ist. Das bedeutet, dass die Residuen nicht gleichmässig um den Mittelwert streuen, sondern eine zunehmende oder abnehmende Varianz aufweisen.
Ursachen dafür können sein:
Tests:
Behandlung:
Die Verteilung der Residuen sollte ungefähr normal sein. Dies ist besonders wichtig für:
Ein Q-Q-Plot kann helfen, die Normalverteilung der Residuen zu überprüfen.
Falls die Residuen nicht normalverteilt sind:
Einzelne Datenpunkte mit extremen Werten können die Regression stark beeinflussen.
library(ggplot2)
# Synthetische Daten perfekt simulieren
n <- 500
X1 <- rnorm(n, mean = 10, sd = 2) # Normalverteilte Prädiktoren
X2 <- rnorm(n, mean = 5, sd = 1.5)
X1 <- scale(X1, center = TRUE, scale = FALSE)
X2 <- scale(X2, center = TRUE, scale = FALSE)
# Perfekte lineare Beziehung
# Fehler sind normalverteilt mit konstanter Varianz
errors <- rnorm(n, mean = 0, sd = 1) # Normalverteilte Residuen
# Lineares Modell
Y <- 3 * X1 + 2 * X2 + errors
# Lineares Regressionsmodell
perfektes_modell <- lm(Y ~ X1 + X2)
# Diagnostische Plots
dot_color <- rgb(0, 0, 1, 0.5)
plot(perfektes_modell, col = dot_color, pch = 19)
set.seed(123)
# Nicht-Linearität
n <- 500
X_nl <- rnorm(n, mean = 0, sd = 1)
Y_nl <- 2 * X_nl^2 + rnorm(n, 0, 1)
modell_nl <- lm(Y_nl ~ X_nl) # Falsch spezifiziert (linear)
# Nicht-normalverteilte Residuen
X_nn <- rnorm(n)
Y_nn <- 3 * X_nn + rexp(n, rate = 1) # Exponentiell verteilte Fehler
modell_nn <- lm(Y_nn ~ X_nn)
# Heteroskedastizität
X_het <- rnorm(n)
Y_het <- 4 * X_het + rnorm(n, 0, sd = abs(X_het) * 2)
modell_het <- lm(Y_het ~ X_het)
# Ausreisser
X_out <- rnorm(n)
Y_out <- 5 * X_out + rnorm(n, 0, 1)
Y_out[c(50, 100)] <- Y_out[c(50, 100)] + 20 # Ausreisser hinzufügen
modell_out <- lm(Y_out ~ X_out)
# Diagnostische Plots (jeweils der relevante)
plot(modell_nl, which = 1, col = dot_color, pch = 19) # Nicht-Linearität: Residuals vs Fitted
plot(modell_nn, which = 2, col = dot_color, pch = 19) # Nicht-normalverteilte Residuen: Q-Q-Plot
plot(modell_het, which = 3, col = dot_color, pch = 19) # Heteroskedastizität: Scale-Location
plot(modell_out, which = 5, col = dot_color, pch = 19) # Ausreisser: Residuals vs Leverage
Die Kreuzvalidierung ist eine Methode zur Bewertung der Vorhersagegüte eines Regressionsmodells. Dabei wird der Datensatz in mehrere Teilmengen (sogenannte Folds) aufgeteilt. Das Modell wird wiederholt auf verschiedenen Kombinationen von Trainings- und Testdaten geschätzt, um zu überprüfen, wie gut es auf unbekannte Daten generalisiert.
Diese Methode liefert eine robustere Schätzung der Modellgüte als eine einfache Trainings-Test-Aufteilung.
Bei der Leave-One-Out-Kreuzvalidierung wird das Modell \(n\)-mal trainiert und getestet, wobei jeweils eine Beobachtung als Testdatensatz verwendet wird. Dies eignet sich besonders für kleine Datensätze.
In diesem Beispiel verwenden wir den Datensatz mtcars, um ein multiples lineares Regressionsmodell zu erstellen. Unser Ziel ist es, den Benzinverbrauch (mpg) von Fahrzeugen basierend auf mehreren Einflussgrössen vorherzusagen.
mtcars mit 32 Fahrzeugenmpg (Miles per Gallon, Benzinverbrauch)wt (Gewicht des Fahrzeugs in 1000 Pfund)hp (Motorleistung in PS)cyl (Anzahl Zylinder)Wir möchten überprüfen, wie gut diese Variablen den Benzinverbrauch gemeinsam vorhersagen.
Für die 5-Fold-Kreuzvalidierung wird der Datensatz in 5 gleich grosse Teilmengen (Folds) aufgeteilt. In jeder der 5 Iterationen wird das Modell mit 4 Folds trainiert und mit dem verbleibenden Fold getestet. Die Gütekriterien werden über alle Iterationen gemittelt.
# Daten und benötigte Pakete laden
data(mtcars)
library(caret)
# Kreuzvalidierung mit 5 Folds
cv_control <- trainControl(method = "cv", number = 5)
# Training des multiplen Regressionsmodells mit Kreuzvalidierung
cv_model <- train(
mpg ~ wt + hp + cyl,
data = mtcars,
method = "lm",
trControl = cv_control
)
# Ergebnisse anzeigen
cv_modelcv_control: Definiert die Kreuzvalidierung mit 5 Folds.
mpg ~ wt + hp + cyl: Definiert die abhängige Variable (mpg) und die unabhängigen Variablen (wt, hp, cyl).
data = mtcars: Definiert den Datensatz, der für das Modelltraining verwendet wird.
method = "lm": Definiert das Regressionsmodell als lineare Regression.
trControl = cv_control: Definiert die Kreuzvalidierung mit 5 Folds.
Linear Regression
32 samples
3 predictor
No pre-processing
Resampling: Cross-Validated (5 fold)
Summary of sample sizes: 24, 24, 28, 26, 26
Resampling results:
RMSE Rsquared MAE
2.536794 0.8652719 2.134368
Tuning parameter 'intercept' was held constant at a value of TRUENach der Durchführung der Kreuzvalidierung liefert das Modell folgende Kennwerte:
RMSE (Root Mean Squared Error): 2.537
Der RMSE misst den durchschnittlichen quadratischen Fehler der Vorhersagen. Ein niedriger Wert deutet auf eine gute Modellanpassung hin.
\(R^2\) (Bestimmtheitsmass): 0.865
Der \(R^2\)-Wert zeigt, wie viel der Varianz von mpg durch die Prädiktoren wt, hp und cyl erklärt werden kann. Werte nahe 1 deuten auf eine hohe Erklärungskraft des Modells hin.
MAE (Mean Absolute Error): 2.134
Der MAE misst den durchschnittlichen absoluten Vorhersagefehler. Im Gegensatz zum RMSE ist er weniger empfindlich gegenüber Ausreissern.
Das Modell zeigt folgende Leistungswerte:
mpg durch die Prädiktoren erklärt wird.Das multiple Regressionsmodell erklärt einen grossen Anteil der Varianz von mpg und liefert eine präzise Vorhersage. Die Kreuzvalidierung zeigt, dass das Modell auch bei unbekannten Daten stabile Ergebnisse liefert. Eventuelle Optimierungen könnten durch die Einbeziehung weiterer Prädiktoren oder Interaktionsterme erreicht werden.
Der F-Test ist ein Hypothesentest, der die Güte des Regressionsmodells als Ganzes überprüft.
\[ F = \frac{\frac{R^2}{k}}{\frac{1-R^2}{n-(k+1)}} = \frac{\text{erklärte Varianz}}{\text{unerklärte Varianz}} \]
Der F-Wert sagt, ob das Modell besser ist als einfach die Annahme des Mittelwerts von \(Y\) zu nehmen. D.h. ob
\[ H_0 : R^2 = 0 \]
abgelehnt werden kann.