Llms.txt
Các bài viết của Vanaxity về chủ đề Llms.txt, do Van Data Team biên soạn.
2 bài viết
Crawler AI giả mạo: chúng tôi xác minh một tuần lưu lượng bot
Chúng tôi lấy log request trong một tuần của vandatateam.com, website của Van Data Team, công ty đứng sau Vanaxity, rồi đối chiếu từng request mang tên một crawler với danh sách địa chỉ IP mà bên vận hành crawler đó công bố. Từ ngày 9 đến 15 tháng 11 năm 2026, có 23.962 request mang tên một trong 15 crawler có danh sách công bố, từ Googlebot, Bingbot đến các bot của OpenAI, Anthropic và Perplexity. 21.303 request (88,9%) đến từ địa chỉ của bên vận hành, còn 2.659 request (11,1%) thì không. Chỉ bảy địa chỉ đã gửi 627 request trong số đó, luân phiên giữa tối đa 15 tên crawler, và 321 request nhắm vào những đường dẫn chỉ công cụ dò quét mới hỏi tới, như file .env và thư mục .git. Không crawler đã xác minh nào hỏi tới những file đó. Chúng chủ yếu đọc các trang benchmark mô hình AI của chúng tôi, crawler của Meta đọc 1.086 trang khác nhau trong tuần, và không crawler AI lớn nào hỏi tới llms.txt. User agent chỉ là một lời tự xưng, còn danh sách địa chỉ IP mới là cách kiểm chứng.
HTML sitemap và XML sitemap: Google vừa nói gì
Trong podcast Search Off the Record của Google, John Mueller và Martin Splitt đã thảo luận về sơ đồ trang web HTML. Mueller cho biết sơ đồ trang web HTML là bản đồ website dành cho người dùng và không thay thế sơ đồ trang web XML, vì nó không thể được gửi lên hay xử lý theo cùng cách. Trình thu thập dữ liệu vẫn có thể đi theo các liên kết trong đó. Ông gợi ý chỉ liệt kê các danh mục chính, không phải mọi trang. Với tìm kiếm AI, liên kết HTML thuần túy rất quan trọng vì phần lớn trình thu thập AI không chạy JavaScript, và sơ đồ trang web XML chính xác với ngày lastmod giúp ích cho Bing, nền tảng đứng sau nhiều câu trả lời AI.
