Nợ kỹ thuật SEO giờ là rào cản hiển thị trong tìm kiếm AI

Tổng quan

Nợ kỹ thuật SEO là sự tích tụ của các giải pháp đường tắt trong quá trình xây dựng website: chuỗi chuyển hướng (redirect chains), thẻ canonical bị hỏng, các mẫu giao diện cồng kềnh và cơ chế kết xuất phía máy khách (client-side rendering). Trước đây, chúng làm lãng phí ngân sách thu thập dữ liệu (crawl budget) và tụt thứ hạng tìm kiếm. Giờ đây, nợ kỹ thuật còn ảnh hưởng trực tiếp đến khả năng hiển thị trên tìm kiếm AI, bởi các trình thu thập dữ liệu AI khắt khe hơn Googlebot rất nhiều.

Lý do rất rõ ràng: thử nghiệm của Vercel và MERJ cho thấy không có trình thu thập AI lớn nào thực thi JavaScript. Nếu nội dung của bạn chỉ kết xuất trên trình duyệt, các bot AI sẽ chỉ nhìn thấy một trang trống rỗng.

**Lưu ý về góc nhìn của chúng tôi:** Vanaxity cung cấp các giải pháp tối ưu tìm kiếm AI, do đó chúng tôi được hưởng lợi khi bạn coi trọng vấn đề này. Chúng tôi đã đánh dấu một số liệu phổ biến nhưng chưa thể xác minh nguồn gốc, ghi rõ thời điểm của các nghiên cứu được trích dẫn và đưa ra các giải pháp đủ cụ thể để bạn tự kiểm chứng. Bài viết này kế thừa những phân tích trong hướng dẫn về tối ưu hóa công cụ trả lời trực tiếp (AEO) và tối ưu hóa trích dẫn.

Những điểm cốt lõi cần nhớ

• Không có trình thu thập dữ liệu AI lớn nào thực thi JavaScript. Nội dung chỉ tạo trên trình duyệt sẽ vô hình trước ChatGPT, Claude và Perplexity.
• Các trình thu thập dữ liệu AI hiện chiếm khoảng 28% lưu lượng yêu cầu của Googlebot, cho thấy đây là một kênh tiếp cận đáng kể.
• Nợ kỹ thuật SEO phát sinh hàng tuần qua các đợt phát hành mã và nâng cấp hệ thống, do đó các chiến dịch dọn dẹp hàng năm không thể duy trì kết quả lâu dài.
• Ưu tiên xử lý theo tác động doanh thu thay vì mức độ nghiêm trọng trên các công cụ kiểm toán. Thẻ mô tả bị thiếu trên một bài viết từ năm 2019 chỉ là thông tin nhiễu.
• Dành một phần cố định trong mỗi chu kỳ sprint cho nợ kỹ thuật và kiểm tra trực tiếp những gì bot thấy thay vì những gì trình duyệt hiển thị.

Vì sao nợ kỹ thuật SEO quan trọng hơn đối với tìm kiếm AI?

Bởi vì các trình thu thập AI xử lý ít tác vụ hơn so với Googlebot. Google hỗ trợ kết xuất JavaScript, trong khi các bot AI ở thời điểm hiện tại thì không.

**Dữ liệu thực tế:** Thử nghiệm trên toàn bộ mạng lưới Vercel ghi nhận không có trình thu thập AI lớn nào hỗ trợ kết xuất JavaScript. Danh sách này bao gồm GPTBot và OAI-SearchBot của OpenAI, ClaudeBot của Anthropic, PerplexityBot và bot thu thập của Meta. Mọi nội dung được chèn phía máy khách đơn giản là không tồn tại đối với các bot này.

Thực tế đó biến nhiều cấu trúc giao diện phổ biến thành điểm mù. Bảng giá tạo bằng script biến mất hoàn toàn. Các tab thông số kỹ thuật, bảng so sánh tính năng, đánh giá tải chậm và danh sách cuộn vô tận cũng chịu chung số phận.

Khối lượng truy cập khiến vấn đề này trở nên cấp thiết. Cùng phân tích trên ước tính tổng số lượt nạp dữ liệu từ GPTBot, Claude, AppleBot và PerplexityBot đạt gần 1,3 tỷ lượt, tương đương khoảng 28% lưu lượng của Googlebot. Đây là một lượng lớn các bot đang đọc phiên bản nội dung nghèo nàn hơn nhiều so với những gì khách hàng thực tế nhìn thấy.

**Phân tích của Vanaxity:** Đây là lý do thuyết phục nhất mà các nhà tiếp thị có được trong nhiều năm để xin ngân sách xử lý kỹ thuật. Bạn không cần phải tranh luận về thứ hạng từ khóa. Bạn có thể chỉ ra một trang hiển thị đầy đủ trên trình duyệt nhưng hoàn toàn trống rỗng trước con bot cung cấp dữ liệu cho ChatGPT.

Những loại nợ kỹ thuật SEO nào gây thiệt hại lớn nhất?

Những loại làm ẩn nội dung hoặc lãng phí tài nguyên thu thập dữ liệu. Dưới đây là tác động của từng nhóm vấn đề phổ biến đối với từng loại trình thu thập.

**Phân tích của Vanaxity:** Hãy chú ý đến hàng cuối cùng. Các công cụ kiểm toán thường gắn cờ hàng nghìn lỗi loại này, và việc sửa chúng tạo cảm giác rất năng suất. Tuy nhiên, nó không mang lại doanh thu và làm cạn kiệt thiện chí của đội ngũ lập trình viên, vốn rất cần thiết để xử lý hai hàng đầu tiên.

Làm thế nào để kiểm tra những gì trình thu thập AI thực sự nhìn thấy?

Bằng cách nạp trang theo cách một con bot hoạt động, với JavaScript đã được tắt hoàn toàn. Trình duyệt của bạn không phải công cụ phù hợp, vì nó chạy các script che giấu vấn đề.

• **Nạp mã HTML thô.** Yêu cầu tải trang mà không thực thi bất kỳ đoạn mã script nào và đọc phản hồi trả về. Lệnh `curl` cơ bản là đủ để bắt đầu.
• **Tìm kiếm các dữ kiện quan trọng.** Kiểm tra xem giá cả, thông số kỹ thuật, luận điểm cốt lõi và câu trả lời có xuất hiện trong mã HTML thô đó hay không, thay vì chỉ hiển thị trên màn hình.
• **Xác thực dữ liệu có cấu trúc.** Đảm bảo đoạn mã JSON-LD nằm sẵn trong phản hồi từ máy chủ chứ không phải được chèn sau đó thông qua trình quản lý thẻ (tag manager).
• **So sánh với đối thủ cạnh tranh.** Thực hiện bài kiểm tra tương tự trên trang của đối thủ để biết liệu công cụ AI có dễ phân tích dữ liệu của họ hơn trang của bạn hay không.
• **Kiểm tra nhật ký máy chủ (server logs).** Theo dõi các yêu cầu từ GPTBot, ClaudeBot và PerplexityBot để biết các bot này đang thực sự truy cập những trang nào.

**Phân tích của Vanaxity:** Bài kiểm tra này chỉ mất mười phút và giải quyết hầu hết các cuộc tranh luận nội bộ. Một trang trông hoàn hảo trong Chrome nhưng trả về một khung trống rỗng khi nạp thô chính là báo cáo lỗi thuyết phục nhất mà đội ngũ tiếp thị có thể gửi tới bộ phận kỹ thuật.

Nên ưu tiên xử lý nợ kỹ thuật SEO theo thứ tự nào?

Theo mức độ ảnh hưởng đến doanh thu, không phải theo mức độ đỏ rực của bảng báo cáo kiểm toán. Một công cụ thu thập dữ liệu xếp hạng lỗi theo danh mục kỹ thuật, nhưng doanh nghiệp của bạn quan tâm đến việc trang nào tạo ra tiền.

Một quy trình phân loại hiệu quả, phỏng theo cách các đội ngũ kỹ thuật phân cấp lỗi:

• **P0, khẩn cấp tuyệt đối:** Bất kỳ vấn đề nào ngăn cản việc lập chỉ mục trên các trang tạo ra doanh thu. Một thẻ noindex đặt nhầm. Một quy tắc robots.txt chặn thư mục sản phẩm. Một vòng lặp canonical.
• **P1, chu kỳ sprint tiếp theo:** Nội dung mà bot không thể đọc trên các trang trọng yếu. Bảng giá kết xuất qua JavaScript, thiếu schema trên các trang có mục đích chuyển đổi cao, các trang danh mục bị ẩn sâu.
• **P2, danh sách chờ xử lý (backlog):** Dọn dẹp cấu trúc mang lại giá trị thực tế nhưng chậm hơn. Chuỗi chuyển hướng, phân cấp tiêu đề, liên kết nội bộ tới các trang mồ côi.
• **P3, bỏ qua:** Các cảnh báo thẩm mỹ trên những trang không có tiềm năng khách hàng. Thẻ metadata cũ, văn bản thay thế (alt text) của ảnh trang trí trên các bài viết cũ.

**Phân tích của Vanaxity:** Thói quen hữu ích nhất là ghi rõ con số doanh thu bên cạnh mỗi yêu cầu công việc. Đề xuất 'Sửa thẻ canonical' luôn thất bại trước các yêu cầu tính năng mới. Ngược lại, đề xuất 'Khôi phục lập chỉ mục cho 40 trang mang lại 180.000 USD trong quý trước' sẽ nhận được sự ủng hộ ngay lập tức.

Làm thế nào để phân bổ nguồn lực xử lý nợ kỹ thuật SEO?

Bằng cách dành một tỷ lệ cố định trong mỗi chu kỳ sprint thay vì tổ chức một đợt dọn dẹp hàng năm. Nợ kỹ thuật phát sinh mỗi tuần qua các đợt phát hành tính năng, cập nhật nội dung và di chuyển hệ thống, do đó việc giải quyết nợ cũng phải là một quá trình liên tục.

**Dữ liệu thực tế:** Các con số thường được trích dẫn về thời gian của lập trình viên bắt nguồn từ báo cáo Hệ số Lập trình viên của Stripe, xuất bản vào tháng 9 năm 2018. Khảo sát trên hơn 1.000 lập trình viên và hơn 1.000 lãnh đạo doanh nghiệp tại năm quốc gia ghi nhận các kỹ sư dành khoảng 17,3 giờ trong tuần làm việc 41 giờ cho việc bảo trì và mã nguồn kém chất lượng, trong đó khoảng 13,5 giờ dành cho nợ kỹ thuật, ước tính gây thiệt hại khoảng 85 tỷ USD mỗi năm.

Hãy coi những con số này mang tính định hướng. Chúng đã có tuổi đời tám năm và xuất hiện trước các bộ công cụ hiện tại, vì vậy hãy dùng chúng để thuyết phục ban lãnh đạo thiết lập ngân sách cố định, chứ không phải để áp đặt quy mô cho doanh nghiệp của bạn.

• **Dành trước năng lực kỹ thuật bằng văn bản.** Thống nhất một tỷ lệ thời gian cố định trong mỗi chu kỳ sprint với lãnh đạo kỹ thuật, tránh việc phải xin phép cho từng tác vụ đơn lẻ.
• **Đưa kiểm tra bot vào quy trình kiểm thử trước khi hợp nhất mã (QA).** Biến việc kiểm tra thẻ canonical, sơ đồ trang web, phân cấp tiêu đề và mã HTML thô thành tiêu chí hợp nhất mã để ngăn nợ kỹ thuật mới phát sinh.
• **Kiểm toán theo mẫu giao diện thay vì toàn bộ trang web.** Điểm số sức khỏe chung của toàn trang web che giấu thực tế rằng một mẫu giao diện duy nhất có thể ảnh hưởng đến hàng nghìn trang sinh lời. Tài liệu hướng dẫn ngân sách thu thập dữ liệu của Google cũng được tổ chức theo cùng một cách, xoay quanh các khuôn mẫu thay vì từng URL riêng lẻ.
• **Kiểm tra lại sau mỗi lần di chuyển dữ liệu.** Các đợt chuyển đổi hệ thống là nơi nợ kỹ thuật phát sinh nghiêm trọng nhất, nhưng cũng là nơi mang lại cơ hội cải thiện rõ ràng nhất.
• **Báo cáo theo các chỉ số đường ống kinh doanh.** Trình bày số lượng trang được phục hồi và lượt trích dẫn AI thay vì điểm số kiểm toán đơn thuần, nếu không ngân sách này sẽ khó tồn tại qua đợt lập kế hoạch tiếp theo.

Một chu kỳ sprint xử lý nợ kỹ thuật SEO diễn ra như thế nào?

Quy mô nhỏ và có tính lặp lại. Mục tiêu không phải là một chiến dịch dọn dẹp quy mô lớn, mà là một phần công việc được phân phối đều đặn mỗi hai tuần và không bao giờ dừng lại.

Dưới đây là lộ trình thực tế cho một nhóm dành 10% chu kỳ sprint hai tuần, tương đương khoảng một ngày làm việc của lập trình viên:

• **Giờ 1: kiểm tra những gì bot thấy.** Nạp 20 trang mang lại doanh thu cao nhất mà không chạy JavaScript. Lập danh sách các trang trả về nội dung nghèo nàn.
• **Giờ 2 đến 4: sửa một mẫu giao diện.** Chuyển phần nội dung quan trọng nhất bị thiếu sang định dạng HTML kết xuất từ máy chủ. Một mẫu giao diện thường bao quát hàng trăm trang.
• **Giờ 5: chuẩn hóa dữ liệu có cấu trúc trên mẫu giao diện đó.** Đưa đoạn mã JSON-LD vào phản hồi máy chủ, sau đó xác thực tính hợp lệ.
• **Giờ 6: xóa bỏ các chuỗi chuyển hướng** trỏ đến các trang đó để trình thu thập dữ liệu có thể tiếp cận chỉ sau một bước nhảy.
• **Giờ 7 đến 8: bổ sung các bước kiểm tra vào quy trình QA.** Viết bài kiểm tra mã HTML thô vào danh mục kiểm tra trước khi hợp nhất mã để mẫu giao diện này không bị tái phát lỗi.

Hai giờ cuối cùng chính là yếu tố giúp ngân sách phát huy hiệu quả. Nếu không có bước này, bạn sẽ phải sửa lại chính mẫu giao diện đó sau sáu tháng, và việc phân bổ nguồn lực sẽ bắt đầu bị coi là lãng phí.

**Phân tích của Vanaxity:** Duy trì quy trình này trong một quý và bạn sẽ xử lý xong từ sáu đến tám mẫu giao diện, bao quát phần lớn các trang mang lại doanh thu trên hầu hết các website. Sau đó, theo dõi xem các công cụ AI có bắt đầu trích dẫn các trang đó hay không. Đó chính là con số giúp duy trì ngân sách, thuyết phục hơn bất kỳ điểm số kiểm toán nào.

Những số liệu thống kê SEO kỹ thuật nào không nên trích dẫn lại?

Những số liệu không có nguồn gốc rõ ràng. Chủ đề này thường thu hút những con số khẳng định chắc nịch nhưng lại biến mất khi bạn tìm kiếm nghiên cứu thực tế đằng sau chúng.

Một ví dụ đang được lan truyền gần đây trong một bài viết về ngân sách nợ kỹ thuật: tuyên bố rằng hơn 62% website phân khúc tầm trung đang mang nợ kỹ thuật SEO nghiêm trọng. Chúng tôi đã tìm kiếm nghiên cứu này và không tìm thấy bất kỳ báo cáo nào. Các kết quả gần nhất chỉ là những cuộc kiểm toán ngành hẹp về sơ đồ trang web chứ không phải một bài kiểm tra đối sánh diện rộng.

**Phân tích của Vanaxity:** Tuyên bố này có thể đúng về mặt xu hướng, và đó chính là vấn đề. Một con số nghe có vẻ hợp lý nhưng thiếu nguồn sẽ lan truyền rất nhanh và sau đó xuất hiện trong báo cáo trình hội đồng quản trị của bạn. Nếu bạn không thể nêu rõ tên nghiên cứu, quy mô mẫu và năm thực hiện, hãy bỏ qua con số đó và sử dụng chính dữ liệu kiểm toán của doanh nghiệp bạn.

Cách Vanaxity giúp các đội ngũ giải quyết dứt điểm nợ kỹ thuật SEO

Chúng tôi bắt đầu bằng việc chỉ ra những gì trình thu thập AI nhìn thấy trên các trang có giá trị cao nhất của bạn, sau đó truy vết từng khoảng trống về mẫu giao diện hoặc đoạn mã script gây ra lỗi. Cách làm này biến một đợt kiểm toán mơ hồ thành một danh sách ngắn các tác vụ gắn liền với doanh thu cụ thể.

Từ đó, chúng tôi hỗ trợ bạn thiết lập hạn mức sprint, bổ sung kiểm tra bot vào quy trình phát hành và theo dõi xem các công cụ tìm kiếm AI có bắt đầu trích dẫn các trang đã được tối ưu hay không. Khi được quản lý theo phương pháp này, nợ kỹ thuật SEO trở thành một hạng mục chi phí được kiểm soát thay vì một sự cố bất ngờ. Nếu bạn quan tâm đến giải pháp này, các dịch vụ của chúng tôi khởi đầu bằng cuộc kiểm toán khả năng thu thập dữ liệu và tìm kiếm AI, đồng thời bạn có thể tham khảo thêm các ghi chú thực tế trong thư viện bài viết.

Câu hỏi thường gặp

Nguồn tham khảo