Tuần này trên Hacker News, một bài về Web Search API đạt gần 500 điểm. Phần bình luận chủ yếu xoay quanh ba nỗi khổ: chi...

Tuần này trên Hacker News, một bài về Web Search API đạt gần 500 điểm. Phần bình luận chủ yếu xoay quanh ba nỗi khổ: chi phí theo từng query, rate limit và chuyện agent "bịa" nguồn trích dẫn. Mình đã làm vài agent nội bộ cho team: agent tra changelog thư viện, agent tóm tắt CVE và agent trả lời câu hỏi về tài liệu vendor. Cả ba đều cần web search. Sau vài lần nhận hóa đơn API tăng vọt chỉ vì agent tự gọi search trong vòng lặp, mình chuyển sang kiến trúc tự host và thêm vài lớp bảo vệ. Bài này chia sẻ setup đó. Nó đủ đơn giản để một dev chạy trên VPS 2GB RAM. Kiến trúc tổng quan: đừng cho agent gọi thẳng ra internetSai lầm phổ biến nhất là đưa cho LLM một tool search(query) gọi thẳng tới API bên ngoài. Agent không có khái niệm tiết kiệm. Nó sẵn sàng search lại cùng một câu 5 lần trong một session, hoặc search 30 query gần giống nhau khi gặp câu hỏi khó.Vì vậy mình đặt một lớp search gateway ở giữa, lo bốn việc: cache, rate limit, fetch nội dung và kiểm tra trích dẫn.flowchart LR A[LLM A...