Kiểm tra và xác thực robots.txt
Chỉ một ký tự đại diện trong robots.txt cũng có thể vô tình chặn cả một chuyên mục. Hãy kiểm tra những URL quan trọng trước khi áp dụng thay đổi.
Khi kiểm tra trực tuyến, chỉ địa chỉ được gửi đến máy chủ IndexFix Tools; máy chủ tải trang công khai đó và trả kết quả về. Không có gì được lưu lại.
Dữ liệu của bạn chỉ nằm trong trình duyệt. Không có gì bị tải lên hay lưu lại.
Thông tin chính
- Google hỗ trợ các trường user-agent, allow, disallow và sitemap; các trường khác như crawl-delay không được hỗ trợ.
- Google dùng quy tắc cụ thể nhất dựa trên độ dài đường dẫn trong quy tắc; khi các quy tắc mâu thuẫn, Google chọn quy tắc ít hạn chế nhất.
- Đường dẫn trong quy tắc phân biệt chữ hoa và chữ thường, và Google bỏ qua nội dung sau 500 KiB đầu tiên của file.
- robots.txt không phải là cách để loại trang khỏi Google: URL bị chặn vẫn có thể được lập chỉ mục nếu có trang khác liên kết đến.
Tải checklist: chẩn đoán sự cố lập chỉ mục
Từng bước: trạng thái trong Search Console, khả năng truy cập trang, robots.txt, noindex, URL chính tắc, chuyển hướng, sitemap và backlink, kèm việc cần làm cho từng trường hợp.
Tải PDF PDF · 3 trangCách sử dụng
- Mở địa chỉ your-site/robots.txt trên trình duyệt và sao chép toàn bộ file (hoặc dán bản nháp bạn định áp dụng).
- Dán vào ô đầu tiên.
- Nhập token user-agent cần kiểm tra, ví dụ Googlebot.
- Dán các URL hoặc đường dẫn cần kiểm tra, mỗi dòng một mục.
- Bấm Kiểm tra URL rồi xem kết quả và dòng quyết định cho từng URL.
Lấy dữ liệu ở đâu
File robots.txt đang chạy
Luôn nằm ở thư mục gốc của host: https://your-site/robots.txt. Mỗi host và mỗi giao thức có file riêng.
Search Console
Báo cáo robots.txt trong phần cài đặt Search Console cho biết Google có xử lý được các file robots.txt của bạn hay không. Hãy dùng báo cáo này để xác nhận trạng thái thực tế sau khi thay đổi.
URL cần kiểm tra
Các template quan trọng: trang chủ, trang danh mục và sản phẩm, URL có tham số, file CSS và JavaScript, cùng mọi thứ bạn định chặn.
Google chọn nhóm quy tắc như thế nào
Mỗi trình thu thập dữ liệu chỉ tuân theo một nhóm: nhóm có user agent khớp cụ thể nhất với chính nó. Các nhóm có cùng user agent được gộp lại. Nếu không nhóm nào nêu tên trình thu thập, nhóm * sẽ được áp dụng; nếu không có cả nhóm *, mọi thứ đều được phép.
Cách so khớp quy tắc
Quy tắc được so sánh với đường dẫn của URL, kể cả chuỗi truy vấn. * khớp với chuỗi ký tự bất kỳ, còn $ đánh dấu điểm kết thúc URL. Quy tắc khớp dài nhất sẽ thắng; nếu quy tắc allow và disallow dài bằng nhau thì allow thắng.
Chặn có tác dụng gì và không có tác dụng gì
URL bị disallow sẽ không được thu thập dữ liệu, nên Google không đọc được nội dung hay thẻ meta của trang, kể cả noindex. URL đó vẫn có thể xuất hiện trong kết quả tìm kiếm mà không có mô tả nếu có trang khác liên kết đến. Muốn loại trang khỏi kết quả tìm kiếm, hãy cho phép thu thập dữ liệu và dùng noindex.
Bước tiếp theo
Trang bị chặn mới chỉ là một nửa vấn đề: bạn cũng nên rà soát hàng loạt thẻ noindex đặt nhầm.
Câu hỏi thường gặp
Vì sao công cụ không tự tải file robots.txt từ website?
Trình duyệt không cho một website đọc file của website khác khi chưa được phép, nên bạn cần dán file vào. Nhờ vậy bạn cũng có thể kiểm tra bản nháp trước khi áp dụng.
Công cụ có hỗ trợ Googlebot-Image hay trình thu thập khác không?
Có, bạn nhập token user-agent bất kỳ. Công cụ dùng nhóm nêu tên token đó, hoặc nhóm * nếu không có nhóm nào như vậy.
Các dòng như Crawl-delay có được kiểm tra không?
Chúng được tính là không được hỗ trợ và bị bỏ qua, giống như cách Google xử lý.
Disallow có xóa trang khỏi Google không?
Không. Disallow chỉ ngăn thu thập dữ liệu. Muốn loại trang khỏi kết quả tìm kiếm, hãy cho phép thu thập dữ liệu và thêm noindex, hoặc dùng công cụ Removals trong trường hợp khẩn cấp.
Nguồn tham khảo
- How Google interprets the robots.txt specification — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt
- Introduction to robots.txt — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/robots/intro