Context Engineering cho AI Agents
Tóm tắt từ bài viết của Anthropic về nghệ thuật quản lý context trong phát triển AI
🎯 Context Engineering là gì?
Context Engineering là tập hợp các chiến lược để tuyển chọn và duy trì bộ tokens (thông tin) tối ưu trong quá trình AI agents hoạt động.
Nó bao gồm việc quản lý toàn bộ trạng thái context như:
- System prompts (hướng dẫn hệ thống)
- Tools (công cụ)
- Model Context Protocol (MCP)
- External data (dữ liệu bên ngoài)
- Message history (lịch sử hội thoại)
- Các thông tin khác trong context window
💡 Bản chất: Context Engineering là nghệ thuật và khoa học về việc tuyển chọn thông tin nào sẽ đưa vào context window giới hạn từ vũ trụ thông tin liên tục phát triển của agent.
🔄 Khác biệt giữa Context Engineering và Prompt Engineering
📝 Prompt Engineering
- Focus: Cách viết instructions (hướng dẫn)
- Phạm vi: Tối ưu hóa system prompts
- Use case: Tác vụ đơn lẻ, one-shot
- Tính chất: Rời rạc, tĩnh
Ví dụ: “Tóm tắt văn bản này thành 3 điểm chú trọng số liệu tài chính”
🧠 Context Engineering
- Focus: Model nhìn thấy gì trong context window
- Phạm vi: Toàn bộ trạng thái thông tin
- Use case: Multi-turn, tác vụ dài hạn
- Tính chất: Lặp lại, động, liên tục
Ví dụ: Quyết định agent nên xem toàn bộ tài liệu, 3 phần cuối, hay bản tóm tắt đã chuẩn bị?
🎭 Ẩn dụ: Prompt engineering là “nói cho ai đó biết phải làm gì”, còn context engineering là “quyết định nên cung cấp nguồn lực gì cho họ”.
⚡ Tại sao Context Engineering quan trọng hơn?
Khi AI agents thực hiện các tác vụ phức tạp trên nhiều vòng lặp, chúng tạo ra ngày càng nhiều dữ liệu. Thông tin này phải được tinh chỉnh theo chu kỳ. Context engineering xảy ra mỗi khi chúng ta quyết định đưa gì vào model – đây là quá trình lặp đi lặp lại, không phải một lần.
⚠️ Những điều cần chú ý khi phát triển AI Agents
1. 🎯 Vấn đề “Goldilocks Zone” cho System Prompts
System prompts cần nằm ở “vùng vừa phải” giữa hai thái cực:
❌ Quá cứng nhắc: Hardcode logic if-else phức tạp → agent dễ vỡ, khó bảo trì
❌ Quá mơ hồ: Hướng dẫn chung chung, giả định context chung → thiếu tín hiệu cụ thể
✅ Vùng tối ưu: Đủ cụ thể để dẫn dắt hành vi, nhưng đủ linh hoạt để cung cấp heuristics mạnh mẽ
2. 🧹 “Context Rot” – Sự suy giảm độ chính xác
Khi context window dài ra, độ chính xác của model giảm xuống:
- Giới hạn chú ý: LLMs giống con người – không thể nhớ mọi thứ khi quá tải. Nhiều tokens ≠ chính xác hơn
- Context rot: Context càng dài, độ chính xác truy xuất càng giảm. Thêm 100 trang logs có thể che mất chi tiết quan trọng duy nhất
- Kiến trúc transformer: Tạo n² mối quan hệ giữa các tokens (10K tokens = 100M quan hệ, 100K tokens = 10B quan hệ)
💡 Giải pháp: Implement pagination, range selection, filtering, truncation với giá trị mặc định hợp lý
3. 🔧 Quản lý Tools hiệu quả
- Giữ tools riêng biệt: Không tạo 2 tools cùng làm việc giống nhau (VD: cùng fetch news)
- Mô tả rõ ràng: Viết tool descriptions như hướng dẫn nhân viên mới – rõ ràng, tránh mơ hồ
- Token-efficient: Giới hạn tool responses (VD: Claude Code giới hạn 25,000 tokens mặc định)
- Error handling tốt: Error messages phải cụ thể, actionable, không phải error codes mơ hồ
4. 📊 Just-in-Time Context Retrieval
Thay vì load toàn bộ dữ liệu trước, hãy fetch dữ liệu động khi cần:
- Tránh overload context window
- Giảm token costs
- Ngăn context poisoning (nhiễu thông tin)
- Tương tự cách con người dùng hệ thống indexing bên ngoài
5. 🎨 Ba chiến lược cho tác vụ dài hạn
📦 Compaction (Nén thông tin)
Tóm tắt context cũ, giữ lại thông tin quan trọng
📝 Structured Note-Taking
Agent tự ghi chú có cấu trúc về những gì đã làm
🤖 Multi-Agent Architecture
Spawn sub-agents nhỏ cho các tác vụ hẹp, trả về kết quả ngắn gọn
6. 🎯 Ưu tiên Context theo tầm quan trọng
🔴 High Priority (luôn có trong context): Tác vụ hiện tại, kết quả tool gần đây, hướng dẫn quan trọng
🟡 Medium Priority (khi có không gian): Examples, quyết định lịch sử
⚪ Low Priority (on-demand): Nội dung file đầy đủ, documentation mở rộng
7. 📈 Monitoring và Iteration
Theo dõi liên tục:
- Token usage per turn
- Tool call frequency
- Context window utilization
- Performance ở các độ dài context khác nhau
- Recall vs Precision khi rút gọn context
💡 Quy trình: Bắt đầu đơn giản → Test → Xác định lỗi → Thêm hướng dẫn cụ thể → Loại bỏ redundancy → Lặp lại
💡 Kết luận
Context engineering là kỹ năng then chốt để xây dựng AI agents hiệu quả. Khác với prompt engineering tập trung vào “cách viết instructions”, context engineering quan tâm đến “môi trường thông tin toàn diện” mà agent hoạt động.
Thành công không nằm ở việc tìm từ ngữ hoàn hảo, mà là tối ưu hóa cấu hình context để tạo ra hành vi mong muốn một cách nhất quán.
🎯 Nguyên tắc cốt lõi: Tìm bộ tokens nhỏ nhất có tín hiệu cao nhất để tối đa hóa khả năng đạt được kết quả mong muốn. Mỗi từ không cần thiết, mỗi mô tả tool thừa, mỗi dữ liệu cũ đều làm giảm hiệu suất agent.