Stochastic Gradient Descent Classfier

Mô hình

$$ \begin{aligned} z_i &= \beta^\top x_i + b,\\ \hat y_i &= \sigma(z_i),\qquad \text{với } \sigma(z)=\frac{1}{1+e^{-z}},\\[6pt]\end{aligned}$$

Cập nhật trọng số

$$\begin{aligned} \beta &\leftarrow \beta + \eta\,(y_i - \hat y_i)\,x_i. \end{aligned}$$

Example 1

với learning rate eta = 0.1

Khởi tạo trọng số

$$\beta_0 = -0.4, \beta_1 = 0.5, \beta_2 = 0.3. $$

x1	x2	y
1	1	0
2	0	0
0	2	0
3	1	1
1	3	1