Toán học trong Machine Learning

Hàm Mất mát (Loss Function)

Hàm mất mát là hàm lượng hóa sự khác biệt giữa dự đoán và giá trị thực tế.

Mean Squared Error (MSE)

$$MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2$$

Gradient Descent

Một trong những thuật toán tối ưu hóa quan trọng nhất:

$$\theta_{new} = \theta_{old} - \alpha \nabla J(\theta)$$

Trong đó:

• α là learning rate
• ∇J(θ) là gradient của hàm mất mát

Softmax Function

Chuyển đổi logits thành xác suất:

$$\text{softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}$$

Cross-Entropy Loss

$$L = -\sum_{i=1}^{n} y_i \log(\hat{y}_i)$$

được sử dụng cho các bài toán phân loại đa lớp.