MacMind: Chạy mạng nơ-ron Transformer trên HyperCard của Macintosh đời 1989

MacMind là một dự án computing mang tính hoài niệm nhưng đầy tính kỹ thuật cao: một mạng nơ-ron Transformer hoàn chỉnh được triển khai hoàn toàn bằng HyperTalk, ngôn ngữ kịch bản của HyperCard mà Apple từng phát hành năm 1987. Điều đáng kinh ngạc là dự án này chạy được trên máy Macintosh SE/30 ra mắt năm 1989, sở hữu 1.216 tham số và thực hiện được các nhiệm vụ học máy phức tạp dù không có bất kỳ thư viện bên ngoài hay mã biên dịch nào.

MacMind Interface

Mạng nơ-ron trong thẻ nhớ cũ kỹ

MacMind không chỉ là một mô phỏng đơn giản; nó là một mạng Transformer một lớp, một đầu (single-head single-layer) đầy đủ chức năng. Mọi thứ từ token embeddings, mã hóa vị trí (positional encoding), cơ chế tự chú ý (self-attention), cho đến lan truyền ngược (backpropagation) và hạ độ dốc (stochastic gradient descent) đều được viết bằng HyperTalk thuần túy.

Người tạo ra dự án, Sean Lavigne, đã xây dựng MacMind để chứng minh một điểm quan trọng: Toán học đằng sau AI không phải là phép thuật, và nó không phụ thuộc vào phần cứng hiện đại. Quá trình huấn luyện cơ bản—truyền thuận, tính toán mất mát, truyền ngược, cập nhật trọng số—là giống hệt nhau dù chạy trên một cụm TPU khổng lồ hay trên bộ vi xử lý 68030 đời cũ.

Nhiệm vụ: Học thuật toán FFT

Nhiệm vụ của MacMind là học "hoán vị bit ngược" (bit-reversal permutation)—bước mở đầu quan trọng của thuật toán Biến đổi Fourier nhanh (FFT). Đây là một thuật toán cốt lõi trong xử lý tín hiệu và cơ học lượng tử.

Mô hình không được cung cấp công thức toán học nào. Thay vào đó, nó phải tự khám phá ra quy trình sắp xếp dựa trên vị trí thông qua cơ chế attention và thử sai lặp đi lặp lại. Sau khoảng 1.000 bước huấn luyện (mất nhiều giờ trên phần cứng thực), MacMind đạt được độ chính xác 100% khi thực hiện hoán vị này.

Inference Card

Minh bạch và có thể kiểm tra

Một trong những điểm hấp dẫn nhất của MacMind là tính minh bạch. Vì được viết trong HyperCard, người dùng có thể nhấn phím Option và click vào bất kỳ nút nào để xem mã nguồn thực tế thực hiện phép toán đó. Không có "hộp đen" (black box) nào ở đây.

Bạn có thể thay đổi tốc độ học (learning rate), đổi nhiệm vụ huấn luyện hoặc thay đổi kích thước mô hình ngay trong trình soạn thảo script của HyperCard. Toàn bộ "trí tuệ" của mô hình gồm 1.216 số được lưu trữ trong các trường ẩn của stack HyperCard. Bạn có thể lưu file, thoát khỏi chương trình và mở lại; mô hình đã huấn luyện vẫn sẽ ở đó.

Cơ chế Attention và cấu trúc "Bướm"

Sau khi huấn luyện xong, bản đồ attention (attention map) trên Card 4 của MacMind tiết lộ một cấu trúc thú vị. Mô hình đã độc lập phát hiện ra cấu trúc định tuyến "bướm" (butterfly routing pattern) của thuật toán FFT mà Cooley và Tukey đã công bố năm 1965.

Attention Map

Cụ thể, các vị trí 0, 2, 5, 7 sẽ chú ý vào chính chúng (các điểm cố định), trong khi các vị trí 1 và 4 chú ý vào nhau, và 3 với 6 cũng tương tự. Đây chính là cấu trúc toán học sâu sắc mà một mạng nơ-ron nhỏ bé trên máy tính cổ đã tự mình học được mà không cần con người lập trình sẵn.

Trải nghiệm và chạy thử

Nếu bạn sở hữu máy Mac cổ chạy System 7 đến Mac OS 9, hoặc sử dụng trình giả lập như Basilisk II hay SheepShaver, bạn có thể tải và trải nghiệm MacMind.

• Card 2 (Training): Cho phép bạn huấn luyện mô hình. Mỗi bước huấn luyện mất vài giây trên phần cứng thật. Bạn có thể để máy chạy qua đêm để mô hình hội tụ.
• Card 3 (Inference): Kiểm tra mô hình đã huấn luyện với các đầu vào ngẫu nhiên 8 chữ số.
• Card 4 (Attention Map): Trực quan hóa ma trận trọng số attention để xem mô hình "nhìn" vào đâu.

Dự án này không chỉ là một bài tập lập trình retro mà còn là một phương pháp giáo dục tuyệt vời. Nó lột tả vẻ đẹp của toán học trong AI, cho thấy rằng dù công nghệ có thay đổi bao nhiêu, những nguyên lý nền tảng vẫn bất biến.