AI crawlers
Các bài viết của Vanaxity về chủ đề AI crawlers, do Van Data Team biên soạn.
HTML sitemap và XML sitemap: Google vừa nói gì
Trong podcast Search Off the Record của Google, John Mueller và Martin Splitt đã thảo luận về sơ đồ trang web HTML. Mueller cho biết sơ đồ trang web HTML là bản đồ website dành cho người dùng và không thay thế sơ đồ trang web XML, vì nó không thể được gửi lên hay xử lý theo cùng cách. Trình thu thập dữ liệu vẫn có thể đi theo các liên kết trong đó. Ông gợi ý chỉ liệt kê các danh mục chính, không phải mọi trang. Với tìm kiếm AI, liên kết HTML thuần túy rất quan trọng vì phần lớn trình thu thập AI không chạy JavaScript, và sơ đồ trang web XML chính xác với ngày lastmod giúp ích cho Bing, nền tảng đứng sau nhiều câu trả lời AI.
Nợ kỹ thuật SEO giờ là rào cản hiển thị trong tìm kiếm AI
Nợ kỹ thuật SEO từng làm lãng phí ngân sách thu thập dữ liệu và tụt thứ hạng, nhưng giờ đây còn làm mất khả năng hiển thị trên tìm kiếm AI. Thử nghiệm từ Vercel và MERJ cho thấy không có trình thu thập AI lớn nào thực thi JavaScript, khiến mọi nội dung kết xuất trên trình duyệt trở nên vô hình trước ChatGPT, Claude và Perplexity. Khi các bot này đạt gần một phần tư lưu lượng của Googlebot, giải pháp thực tế là trích một phần cố định trong mỗi chu kỳ sprint để xử lý nợ kỹ thuật, ưu tiên theo tác động doanh thu thay vì mức độ cảnh báo kỹ thuật, và kiểm tra trực tiếp những gì bot thấy thay vì những gì hiển thị trên trình duyệt.