Fake Googlebot

Các bài viết của Vanaxity về chủ đề Fake Googlebot, do Van Data Team biên soạn.

Crawler AI giả mạo: chúng tôi xác minh một tuần lưu lượng bot
Crawler AI giả mạo
Chiến lược tìm kiếm AISEOGEO
Chiến lược tìm kiếm AI · 16 thg 11, 2026

Crawler AI giả mạo: chúng tôi xác minh một tuần lưu lượng bot

Chúng tôi lấy log request trong một tuần của vandatateam.com, website của Van Data Team, công ty đứng sau Vanaxity, rồi đối chiếu từng request mang tên một crawler với danh sách địa chỉ IP mà bên vận hành crawler đó công bố. Từ ngày 9 đến 15 tháng 11 năm 2026, có 23.962 request mang tên một trong 15 crawler có danh sách công bố, từ Googlebot, Bingbot đến các bot của OpenAI, Anthropic và Perplexity. 21.303 request (88,9%) đến từ địa chỉ của bên vận hành, còn 2.659 request (11,1%) thì không. Chỉ bảy địa chỉ đã gửi 627 request trong số đó, luân phiên giữa tối đa 15 tên crawler, và 321 request nhắm vào những đường dẫn chỉ công cụ dò quét mới hỏi tới, như file .env và thư mục .git. Không crawler đã xác minh nào hỏi tới những file đó. Chúng chủ yếu đọc các trang benchmark mô hình AI của chúng tôi, crawler của Meta đọc 1.086 trang khác nhau trong tuần, và không crawler AI lớn nào hỏi tới llms.txt. User agent chỉ là một lời tự xưng, còn danh sách địa chỉ IP mới là cách kiểm chứng.