Hàm Sigmoid: Từ hằng số 'e' đến mạng nơ-ron

Hàm sigmoid là một công cụ toán học quen thuộc trong hồi quy logistic và mạng nơ-ron, nhưng ít ai dừng lại để hỏi: phương trình này thực sự đến từ đâu? Bài viết này sẽ khám phá nguồn gốc của hằng số 'e' qua ví dụ lãi kép, sau đó tái hiện từng bước xây dựng nên hàm sigmoid và cuối cùng là đạo hàm của nó — kiến thức nền tảng cho việc hiểu các khái niệm như vanishing gradients.

Chúng ta sử dụng sigmoid như thế nào?

Công thức của hàm sigmoid rất quen thuộc:

σ(x) = 1 / (1 + e⁻ˣ)

Trong hồi quy logistic, giả sử chúng ta muốn dự đoán một sinh viên đậu hay rớt dựa trên số giờ học. Mô hình tính điểm số z = wx + b, ví dụ z = 2.

Điểm số này chưa phải là xác suất. Khi đưa qua hàm sigmoid, ta có:

σ(2) ≈ 0.88

Nghĩa là có 88% khả năng sinh viên đó đậu. Luồng hoạt động có thể tóm tắt: Điểm số → Sigmoid → Xác suất → Phân lớp.

Nhưng 'e' thực sự là gì?

Nhìn vào công thức sigmoid, điều đầu tiên ta thấy là hằng số e ≈ 2.71828. Đây là một hằng số toán học, nhưng nguồn gốc của nó đến từ đâu? Hãy bắt đầu với một ví dụ ngân hàng đơn giản.

Ví dụ về lãi kép

Giả sử bạn gửi 100 đồng vào ngân hàng với lãi suất 100%/năm.

• Nếu ngân hàng trả lãi một lần vào cuối năm: bạn có 200 đồng.
• Nếu trả lãi hai lần một năm, mỗi kỳ 50%: sau 6 tháng bạn có 150 đồng, và sau 6 tháng tiếp theo bạn có 225 đồng.
• Nếu trả lãi 4 lần một năm: bạn có khoảng 244.14 đồng.
• Nếu trả lãi 12 lần: khoảng 261.30 đồng.
• Nếu trả lãi hàng ngày: khoảng 271.46 đồng.

Con số cuối cùng ngày càng tiến gần đến 271.828... — tức là e × 100. Vậy nên, khi lãi được cộng dồn liên tục, hằng số e xuất hiện một cách tự nhiên.

Đường cong sigmoid với trục tọa độ

Tính chất đặc biệt của e trong giải tích

Không chỉ xuất hiện trong lãi kép, e còn có một tính chất đặc biệt khi xét đạo hàm. Với hàm số y = eˣ, ta có:

dy/dx = eˣ

Điều này có nghĩa: tốc độ thay đổi của eˣ luôn bằng giá trị hiện tại của chính nó. Ví dụ, khi x = 0, e⁰ = 1 và đạo hàm cũng bằng 1. Khi x = 2, e² ≈ 7.389 và đạo hàm cũng xấp xỉ 7.389.

Tại sao lại như vậy? Bắt đầu với hàm mũ tổng quát y = zˣ. Sử dụng định nghĩa đạo hàm, ta có:

dy/dx = zˣ × lim(h→0) (zʰ - 1)/h

Phần giới hạn này chỉ phụ thuộc vào cơ số z, không phụ thuộc vào x. Với z = 3, giới hạn này xấp xỉ bằng 1.0986. Nhưng nếu tìm một cơ số đặc biệt sao cho giới hạn này bằng đúng 1, ta sẽ có một hàm số mà đạo hàm bằng chính nó. Cơ số đó chính là e.

Xây dựng hàm sigmoid

Quay lại với mục tiêu ban đầu: chúng ta cần một hàm số nhận đầu vào z ∈ (-∞, ∞) và trả về p ∈ (0, 1).

Một quan sát đơn giản: nếu một số lớn hơn 1, nghịch đảo của nó sẽ nằm trong khoảng (0, 1). Chẳng hạn, 1/5 = 0.2, 1/10 = 0.1.

Vậy ta cần một biểu thức luôn lớn hơn 1. Biểu thức 1 + e⁻ˣ thỏa mãn điều này, vì e⁻ˣ > 0 với mọi x (e mũ một số luôn dương). Do đó:

σ(x) = 1 / (1 + e⁻ˣ)

Hàm số này có hành vi đúng như mong đợi:

• Với x = -2: σ(-2) ≈ 0.119 (gần 0)
• Với x = 0: σ(0) = 0.5
• Với x = 2: σ(2) ≈ 0.881 (gần 1)

Khi x → -∞, σ(x) → 0; khi x → +∞, σ(x) → 1.

Đạo hàm của sigmoid — chìa khóa cho việc lan truyền ngược

Trong mạng nơ-ron, khi tính gradient ở bước lan truyền ngược (backpropagation), ta cần đạo hàm của hàm kích hoạt. Với sigmoid, đạo hàm của nó có một dạng rất gọn đẹp:

σ'(x) = σ(x) × (1 - σ(x))

Điều này có nghĩa là nếu biết đầu ra của sigmoid, ta có thể tính ngay đạo hàm mà không cần phải tính lại biểu thức mũ phức tạp. Đây là lý do sigmoid từng rất được ưa chuộng trong các mạng nơ-ron thế hệ đầu.

Tổng kết

Từ ví dụ lãi kép trong ngân hàng, chúng ta đã khám phá ra hằng số e và tính chất quan trọng của nó trong giải tích. Từ đó, chúng ta dần dần xây dựng nên phương trình sigmoid và hiểu được vì sao nó có hình dạng như ngày nay.

Sigmoid không chỉ là một công thức khô khan — nó là kết quả của một chuỗi suy luận toán học logic. Hiểu được nguồn gốc này sẽ giúp bạn dễ dàng hơn khi tiếp cận các chủ đề phức tạp hơn như vanishing gradients hay exploding gradients trong các buổi thảo luận sắp tới.