Stochastic Gradient Descent Regression

1. Mô hình hồi quy tuyến tính

$$\hat{y}_i = \mathbf{x}_i^\top \boldsymbol{\beta}$$

2. Hàm mất mát (Squared loss cho 1 mẫu – dùng cho SGD)

$$\ell_i(\boldsymbol{\beta}) = \frac{1}{2}\left(y_i - \mathbf{x}_i^\top \boldsymbol{\beta}\right)^2$$

3. Gradient theo từng mẫu

$$\nabla_{\boldsymbol{\beta}} \ell_i(\boldsymbol{\beta}) = - \mathbf{x}_i \left( y_i - \mathbf{x}_i^\top \boldsymbol{\beta} \right)$$

4. Công thức cập nhật SGD Regression

$$\boldsymbol{\beta}^{(t+1)} = \boldsymbol{\beta}^{(t)} + \eta \, \mathbf{x}_i \left(y_i - \mathbf{x}_i^\top \boldsymbol{\beta}^{(t)}\right)$$

Example 1

Với learning rate eta = 0.1

Khởi tạo trọng số

$$\beta_0 = 1, \beta_1 = 0.5, \beta_2 = -0.5$$