Bộ sưu tập notebook Colab mã nguồn mở 'AI Engineer Notebooks' giúp kỹ sư backend hoặc full-stack học kỹ năng AI Engineer và Forward Deployed Engineer (FDE) từ đầu, không cần framework và chạy miễn phí trên API Groq. Dự án nhấn mạnh vào việc đánh giá (evals) trước khi tối ưu, kèm các case study thực tế và bài tập cuối mỗi phần, từ prompting cơ bản đến fine-tuning và serving.

AI Engineer Notebooks: Lộ trình học AI ứng dụng miễn phí, không cần framework, chạy ngay trên Colab

Bạn là kỹ sư backend hay full-stack muốn chuyển sang vai trò AI Engineer, Forward Deployed Engineer (FDE) hoặc Applied AI? Một dự án mã nguồn mở mới mang tên AI Engineer Notebooks trên GitHub (bởi calmrocks) vừa ra mắt, cung cấp bộ notebook Colab có thể chạy ngay, hoàn toàn miễn phí và cố tình không dùng framework.

Dự án bao gồm hơn 12 notebook đi từ nền tảng prompting, RAG, agent, evals, cho đến bảo mật, serving và các case study thực chiến. Điểm nhấn là toàn bộ bài học được thực hiện bằng API thô (raw API), giúp bạn hiểu rõ cơ chế hoạt động bên dưới trước khi sử dụng các thư viện như LangChain hay LlamaIndex.

Tại sao dự án này khác biệt?

AI Engineer Notebooks được thiết kế theo triết lý "framework-free" — bạn tự viết vòng lặp agent, pipeline RAG và bộ đánh giá từ các lời gọi API cơ bản. Nhờ đó, bạn sẽ hiểu chính xác những gì LangChain hay LlamaIndex đang làm cho bạn, và biết khi nào không cần dùng đến chúng.

Một điểm mạnh khác là triết lý "evals là xương sống" (measure before you tune). Thói quen đo lường trước khi tối ưu được cài đặt ngay từ đầu và lặp lại ở mọi phần, giúp bạn phân biệt giữa một kỹ sư đã "shipped" một hệ thống thực sự và một người mới chỉ làm demo.

“Patterns are durable; wrappers churn.” — Các mẫu thiết kế bền vững, còn các lớp bọc (framework) thì thay đổi liên tục.

Toàn bộ quá trình học chạy miễn phí trên API Groq (không cần thẻ tín dụng). Hai chủ đề mà Groq miễn phí không hỗ trợ là LoRA fine-tuning và self-hosted serving sẽ được dạy theo hướng lý thuyết trước, kèm phụ lục Colab-GPU tùy chọn.

Lộ trình học bài bản từ A đến Z

Bộ notebook được sắp xếp theo thứ tự học từ thấp đến cao, mỗi bài tự chứa dependencies và kết thúc bằng bài tập thực hành:

00 – Setup: Quản lý chi phí và API keys qua Colab secrets.
01 – Model APIs: Kỹ thuật prompting, structured output, tool calling, streaming và context caching.
02 – Evals I: Đo lường chất lượng output với golden sets.
03 – RAG: Xây dựng hệ thống retrieve → augment → generate, kỹ thuật chunking, hybrid search và reranking.
04 – Evals II: Dùng LLM làm giám khảo, phát hiện lỗi và đánh giá hồi quy (regression).
05 – Agents: Viết agent loop từ con số 0, thiết kế tools, guardrails và giới thiệu MCP, Skills.
06 – Adapting the Model: So sánh fine-tune vs RAG vs prompt, có phần thực hành LoRA trên GPU miễn phí.
07 – Security: Prompt injection, OWASP LLM Top 10 với các cuộc tấn công thử nghiệm trực tiếp.
08 – Operations: Observability, retries, fallback models và MLflow.
09 – Serving & Inference: So sánh vLLM, TGI, Triton, TensorRT-LLM; các khái niệm như continuous batching, KV cache.
10 – ML System Design: Luyện tập phỏng vấn thiết kế hệ thống suy luận (inference service).
11 – Customer Craft: Kỹ năng scoping và discovery cho vai trò FDE.
12 – Case Studies & Capstone: Ba case study thực tế và một đồ án tốt nghiệp để đưa lên CV.

Badge GitHub Stars

Học qua case study, không phải toy demo

Thay vì các ví dụ đơn giản, dự án cung cấp ba case study mô phỏng điều kiện thực tế:

Customer-support assistant: Từ một yêu cầu mơ hồ, bạn dựng một trợ lý RAG+agent, đưa vào sản xuất và debug một lỗi suy giảm chất lượng do index cũ sau khi migrate dữ liệu.
Contract extraction: pipeline vs agent: Xây cùng một tác vụ trích xuất theo cả hai hướng và chứng minh bằng chi phí token + độ chính xác rằng pipeline thắng khi các bước đã biết trước.
Red-team robustness benchmark: Dựng một bộ đánh giá bảo mật với vòng lặp attacker → target → judge (PAIR) để đo tỉ lệ tấn công thành công.

Phù hợp với ai và bắt đầu thế nào?

Dự án dành cho kỹ sư backend hoặc full-stack muốn thăng tiến lên các vai trò AI Engineer, FDE, Applied AI hoặc Solutions Engineer (AI). Bạn chỉ cần có một tài khoản Groq miễn phí và làm theo hướng dẫn thiết lập API key trong Colab.

“Evals as CI: catching quality regressions when you change a prompt or model.” — Biến việc đánh giá thành quy trình CI để bắt lỗi khi bạn thay đổi prompt hoặc mô hình.

Với cộng đồng lập trình viên Việt Nam đang ngày càng quan tâm đến AI ứng dụng, bộ tài liệu này là một lộ trình tự học bài bản, hoàn toàn miễn phí và đi thẳng vào những kỹ năng mà nhà tuyển dụng thực sự kiểm tra trong phỏng vấn. Nếu bạn muốn tự tin khi bước vào phòng vấn AI Engineer, đây chính là nơi bắt đầu.

Badge MIT License

Badge Colab

Bạn có thể truy cập toàn bộ mã nguồn và tài liệu tại github.com/calmrocks/ai-engineer-notebooks — nơi cũng có liên kết đến lộ trình chuyển đổi thành FDE/AI Engineer và các hướng dẫn thiết kế RAG, agent orchestration.

AI Engineer Notebooks: Bộ notebook Colab miễn phí, không dùng framework để học AI ứng dụng