Phân tích log Googlebot: tìm lượt truy cập thật
Search Console chỉ cho thấy bản tóm tắt hoạt động thu thập dữ liệu, còn log máy chủ ghi lại từng yêu cầu. Công cụ lọc ra các trình thu thập của Google và phân biệt bot thật với bot giả mạo.
Dữ liệu của bạn chỉ nằm trong trình duyệt. Không có gì bị tải lên hay lưu lại.
Thông tin chính
- Google khuyến nghị xác minh Googlebot bằng reverse DNS (tên host phải thuộc googlebot.com, google.com hoặc googleusercontent.com), sau đó tra cứu DNS xuôi (forward DNS) để chắc chắn tên đó trả về đúng IP ban đầu, hoặc đối chiếu IP với dải IP mà Google công bố.
- Googlebot Smartphone và Googlebot Desktop tuân theo cùng một token user-agent trong robots.txt, và phần lớn yêu cầu của Googlebot đến từ trình thu thập cho thiết bị di động.
- Với hầu hết website, trung bình Googlebot không nên truy cập quá một lần mỗi vài giây.
- Riêng chuỗi user agent thì có thể bị giả mạo, vì vậy việc kiểm tra IP rất quan trọng.
Tải checklist: chẩn đoán sự cố lập chỉ mục
Từng bước: trạng thái trong Search Console, khả năng truy cập trang, robots.txt, noindex, URL chính tắc, chuyển hướng, sitemap và backlink, kèm việc cần làm cho từng trường hợp.
Tải PDF PDF · 3 trangCách sử dụng
- Tải access log từ máy chủ hoặc bảng điều khiển hosting (Apache hoặc Nginx, định dạng common hoặc combined).
- Chọn một hoặc nhiều file log, hoặc dán các dòng log.
- Bấm Phân tích log.
- Xem bảng lỗi trước tiên: đây là các URL mà Google nhận được phản hồi 4xx hoặc 5xx.
- Kiểm tra bảng “IP không thuộc dải của Google” để tìm bot giả danh Googlebot, và tải file CSV để xem chi tiết.
Lấy dữ liệu ở đâu
Access log của Apache hoặc Nginx
Thường là file access.log, định dạng combined: IP, ngày giờ, yêu cầu, mã trạng thái, dung lượng, referrer và user agent.
Bảng điều khiển hosting
Hầu hết bảng điều khiển đều cho tải raw access log. Hãy dùng log thô, không dùng bản thống kê tóm tắt.
Log CDN
Nếu CDN xuất được log theo định dạng common hoặc combined thì cũng dùng được. Định dạng log JSON không được hỗ trợ.
Vì sao cần xác minh IP
Ai cũng có thể gửi yêu cầu với user agent Googlebot. Một yêu cầu chỉ là thật khi IP của nó nằm trong dải IP Google công bố, hoặc khi tên reverse DNS thuộc tên miền của Google và tra cứu DNS xuôi của tên đó trả về đúng IP ban đầu. Công cụ đối chiếu IP với danh sách Google công bố cho các trình thu thập phổ biến của mình.
Cần chú ý điều gì
Lỗi trên các URL quan trọng, nhiều lượt truy cập vào URL có tham số hoặc URL chuyển hướng, và những ngày Google hoàn toàn không ghé thăm. Hãy so sánh các URL được thu thập nhiều nhất với những trang bạn thực sự muốn được lập chỉ mục.
Smartphone và desktop
Loại trình thu thập được xác định từ user agent: Googlebot/2.1 kèm chuỗi trình duyệt di động là Googlebot Smartphone, không có chuỗi đó là Googlebot Desktop. Các token khác, như Googlebot-Image hay Google-InspectionTool, được hiển thị riêng.
Bước tiếp theo
Đã sửa xong lỗi? Hãy yêu cầu Google thu thập lại trang đã sửa để Google sớm thấy các thay đổi.
Câu hỏi thường gặp
Log có bị tải lên không?
Không. File được đọc ngay trong trình duyệt; chỉ danh sách IP công khai của Google được tải từ trang web này.
Công cụ hỗ trợ định dạng log nào?
Định dạng common và combined của Apache và Nginx – mặc định trên phần lớn máy chủ.
Danh sách IP có được cập nhật không?
Danh sách được sao chép từ file Google công bố mỗi lần trang web này cập nhật. Nếu không tải được, công cụ sẽ báo và bỏ qua bước kiểm tra.
File log có thể lớn đến đâu?
Tùy vào bộ nhớ thiết bị của bạn. Với log rất lớn, hãy phân tích từng ngày hoặc từng file một.
Nguồn tham khảo
- Verifying Googlebot and other Google crawlers — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot
- Googlebot — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/googlebot
- Google's common crawlers — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers