Timestral: Mistral ra mắt dòng mô hình nền tảng chuỗi thời gian đầu tiên

Mistral vừa giới thiệu Timestral, dòng mô hình nền tảng chuỗi thời gian (Time-Series Foundation Model - TSFM) đầu tiên của hãng. Mô hình lớn nhất chỉ có 209 triệu tham số nhưng lại đứng đầu cả ba bộ đánh giá chuẩn quan trọng nhất của lĩnh vực dự báo. Điều đáng chú ý là Timestral có thể chạy suy luận trên CPU thông thường, mở ra khả năng ứng dụng rộng rãi trong doanh nghiệp mà không cần đầu tư hạ tầng GPU đắt đỏ.

Mô hình Timestral của Mistral

Vì sao chuỗi thời gian lại quan trọng?

Chuỗi thời gian là một trong những kiểu dữ liệu phổ biến nhất trong doanh nghiệp, từ dữ liệu cảm biến, chỉ số giám sát hệ thống cho đến dòng tiền và khối lượng giao dịch. Các dự báo dựa trên dữ liệu này là cơ sở cho nhiều quyết định quan trọng: lập kế hoạch công suất, quản lý năng lượng, chuỗi cung ứng, đánh giá rủi ro và bảo trì thiết bị.

Theo Mistral, các nhà máy công nghiệp dùng dự báo để đối chiếu cảm biến quy trình với lịch sản xuất, phát hiện thiết bị trôi dạt trước khi hỏng hóc và lên kế hoạch cho hàng nghìn tài sản. Các đội tài chính thì dự báo dòng tiền, khối lượng và độ biến động để đưa ra quyết định về vị thế, phòng ngừa rủi ro và quản lý ngân quỹ.

Các mô hình cổ điển như ARIMA hay hồi quy tuyến tính vẫn là công cụ hữu ích nhưng thường chỉ được huấn luyện trên một chuỗi dữ liệu duy nhất. Các mô hình học sâu như PatchTST có thể nắm bắt quy luật phi tuyến giữa nhiều chuỗi liên quan, song vẫn phải huấn luyện lại từ đầu cho mỗi bộ dữ liệu mới, khiến kiến thức không thể chuyển giao sang lĩnh vực khác.

Timestral giải quyết vấn đề này bằng cách áp dụng phương pháp tiền huấn luyện quy mô lớn. Mô hình học các quy luật có thể chuyển giao giữa các chuỗi, cho phép dự báo zero-shot trên dữ liệu chưa từng thấy, kể cả ở những lĩnh vực khan hiếm dữ liệu.

Kết quả đánh giá: Đứng đầu cả ba bộ chuẩn

Mistral đánh giá Timestral trên ba bộ chuẩn công khai chính: GIFT-Eval, TIME và fev-bench. Trong nhóm các mô hình tiền huấn luyện chạy zero-shot, Timestral đứng đầu ở cả năm chỉ số, và kết quả này đến từ một checkpoint duy nhất, không dùng kỹ thuật ensemble.

Kết quả đánh giá GMean MASE trên GIFT-Eval

Cụ thể, trên GIFT-Eval, Timestral lọt top 10 trong số 83 mục dự thi có thể so sánh. Trên TIME, mô hình nằm trong top 10 của 35 mục trên bảng xếp hạng. Với fev-bench, Timestral cũng góp mặt trong top 10 của 37 mục dự thi theo điểm kỹ năng SQL. Kết quả đã được gửi lên bảng xếp hạng GIFT-Eval và TIME.

Bốn kích thước, tối ưu cho mọi nhu cầu

Dòng Timestral gồm bốn phiên bản: 5M, 28M, 123M và 209M tham số. Cả bốn dùng chung kiến trúc và công thức huấn luyện, chỉ khác nhau về quy mô. Các mô hình lớn hơn cho dự báo chính xác hơn, trong khi các mô hình nhỏ chạy nhanh và rẻ hơn.

Điểm đáng chú ý là mỗi kích thước đều nằm trên đường biên Pareto về độ chính xác so với kích thước mô hình. Nói cách khác, ở mỗi mức tham số, không có mô hình công khai nào dự báo tốt hơn Timestral.

• Mô hình 28M vượt qua Chronos-2 - một mô hình lớn gấp khoảng bốn lần - trên cả GIFT-Eval và TIME.
• Mô hình 209M đánh bại TimesFM-3 và Falcon-2.0 dù có ít tham số hơn.
• Mô hình 123M chỉ kém mô hình 209M khoảng 0,2% điểm số nhưng có độ trễ chỉ bằng ba phần tư.

Chạy được trên CPU, không cần GPU

Một trong những điểm mạnh nhất của Timestral là không cần GPU khi suy luận. Trên một máy chủ CPU tiêu chuẩn với 8 luồng, việc dự báo một ngày tới từ dữ liệu lịch sử ba tuần (độ phân giải 15 phút) chỉ mất khoảng 10 ms với mô hình 5M và 140 ms với mô hình 209M. Mô hình 28M nhanh gấp năm lần mô hình 209M - một lợi thế lớn cho các hệ thống cần dự báo thời gian thực trên quy mô lớn.

Với các doanh nghiệp Việt Nam đang vận hành hệ thống giám sát, nhà máy thông minh hay nền tảng phân tích dữ liệu, khả năng chạy trên CPU giúp giảm đáng kể chi phí hạ tầng và đơn giản hóa việc triển khai tại chỗ (on-premise) hoặc trong môi trường mạng nội bộ bảo mật.

Những đóng góp kỹ thuật chính

Timestral kết hợp nhiều ý tưởng kỹ thuật để đạt được kết quả trên:

• Dự báo chân trời tách rời (Decoupled Horizon Forecasting - DHF): Thay vì che đi các giá trị cần dự báo như cách huấn luyện bộ giải mã nhân quả thông thường - khiến chúng vừa trông giống giá trị thiếu vừa mất đi vai trò ngữ cảnh - DHF giữ nguyên toàn bộ lịch sử trong chuỗi và dùng các token dự báo đã học để đọc phần lịch sử phía trước. Nhờ vậy, mỗi giá trị quan sát vừa là mục tiêu vừa là ngữ cảnh, các khoảng trống thực sự vẫn được đánh dấu là thiếu dữ liệu.

• Cơ chế chú ý nhận biết hiệp biến (Covariate-aware attention): Mỗi chuỗi đầu vào được gán một vai trò: biến mục tiêu, hiệp biến chỉ quá khứ, hoặc hiệp biến tương lai đã biết. Thông tin chỉ chảy từ hiệp biến sang biến mục tiêu, nhờ đó mô hình có thể dùng lịch ngày lễ hay dự báo thời tiết mà không làm rò rỉ tương lai của chính biến mục tiêu vào dự báo.

• Dữ liệu tổng hợp là chủ đạo: Phần lớn dữ liệu huấn luyện là dữ liệu tổng hợp. Mistral trước tiên tạo các quá trình đơn biến với động lực thời gian mạch lạc gồm xu hướng, tính mùa vụ và nhiều dạng nhiễu, sau đó dùng bộ tổng hợp đa biến để tạo chuỗi đa biến với các phụ thuộc phi tuyến.

• Huấn luyện hai giai đoạn: Timestral được tiền huấn luyện quy mô lớn trên dữ liệu tổng hợp thuần túy với ngữ cảnh 8192 bước, sau đó hậu huấn luyện trên hỗn hợp dữ liệu thực và tổng hợp với ngữ cảnh dài gấp bốn lần. Hàm mục tiêu là pinball loss trên 21 phân vị, tức xấp xỉ rời rạc của CRPS.

Kết quả đánh giá trên fev-bench

Từ mô hình đến hệ thống thực tế

Timestral là một mô hình số học có thể chạy trong các pipeline giám sát hiện có, hoặc kết hợp với các mô hình ngôn ngữ của Mistral trong quy trình agent đa phương thức.

Ví dụ trong nhà máy: Timestral chạy liên tục trên các luồng cảm biến và phát hiện bất thường ngay khi xảy ra. Khi phát hiện bất thường ở một máy bơm, một agent sẽ nhúng tín hiệu và so sánh với embeddings của dữ liệu cảm biến quá khứ để tìm các sự cố tương tự. Agent sau đó khởi chạy các sub-agent phân tích nguyên nhân gốc, dựa trên hồ sơ bảo trì, nhật ký ca làm việc, tài liệu thiết bị và các lệnh công việc trước đây. Cuối cùng, agent soạn thảo chẩn đoán kèm bằng chứng và các bước tiếp theo, để quản đốc nhà máy nhận được chẩn đoán và kế hoạch dựa trên dữ liệu cảm biến thay vì chỉ một cảnh báo đơn thuần.

Khả năng tùy biến với Mistral Forge

Các bộ chuẩn công khai đo hiệu năng tổng quát, nhưng dữ liệu sản xuất thực tế có thể khác biệt đáng kể về hành vi và cấu trúc, và còn có thể thay đổi theo thời gian khi thị trường chuyển pha, thiết bị xuống cấp hay nhu cầu dịch chuyển. Giá trị bền vững nằm ở khả năng thích ứng mô hình với dữ liệu trong miền và liên tục huấn luyện lại.

Timestral có sẵn qua Mistral Forge, cùng pipeline huấn luyện mà Mistral dùng cho các mô hình ngôn ngữ, hỗ trợ:

• Suy luận zero-shot ngay khi dùng.
• Mở rộng kiến trúc, ví dụ thêm hiệp biến đặc thù miền.
• Tinh chỉnh trên dữ liệu độc quyền, chuyên biệt hóa cho một lĩnh vực mà vẫn giữ hiệu năng tổng quát.
• Kiểm soát dữ liệu huấn luyện, gồm điều chỉnh tỷ lệ trộn, replay dữ liệu tiền huấn luyện và tạo dữ liệu tổng hợp phản ánh miền mục tiêu.

Toàn bộ pipeline có thể triển khai trên hạ tầng của khách hàng, kể cả môi trường air-gapped (cách ly hoàn toàn với internet).

Thông số kỹ thuật và giấy phép

Thuộc tính	Chi tiết
Loại	Mô hình nền tảng chuỗi thời gian (TSFM)
Tham số	5M, 28M, 123M, 209M
Độ dài ngữ cảnh	32.768 bước thời gian
Đầu ra	Dự báo xác suất, 21 phân vị
Đầu vào	Biến mục tiêu đa biến, hiệp biến chỉ quá khứ và tương lai đã biết
Triển khai	On-prem, VPC hoặc air-gapped
Giấy phép	MIT sửa đổi

Mistral đã công bố một repository GitHub để người dùng có thể chạy Timestral trên dữ liệu của riêng mình. Báo cáo kỹ thuật đầy đủ với toàn bộ kết quả sẽ được công bố sau. Với các bài toán dự báo chuyên biệt hơn hoặc hợp tác nghiên cứu, hãng khuyến khích liên hệ trực tiếp.

Ý nghĩa với thị trường Việt Nam

Sự xuất hiện của các mô hình nền tảng chuỗi thời gian như Timestral đáng chú ý với doanh nghiệp Việt Nam ở nhiều điểm: chi phí suy luận thấp nhờ chạy trên CPU, khả năng dự báo zero-shot trên dữ liệu khan hiếm, và giấy phép MIT sửa đổi tương đối thoáng. Với các lĩnh vực đang số hóa mạnh như sản xuất, năng lượng tái tạo, logistics và fintech, những mô hình như vậy có thể giúp rút ngắn khoảng cách từ dữ liệu thô đến quyết định vận hành mà không đòi hỏi đội ngũ chuyên sâu về học máy hay hạ tầng GPU.