Tiêu đề nội dung

Google đã xuất bản danh sách đầy đủ các địa chỉ IP mà Google sử dụng để thu thập thông tin và truy cập trang web của bạn dưới các tác nhân người dùng Googlebot. Google cho biết nếu bạn không muốn sử dụng DNS đảo ngược khác các loại phương pháp đó để xác minh Googlebot, bạn “có thể xác định Googlebot theo địa chỉ IP bằng cách đối sánh địa chỉ IP của trình thu thập thông tin với danh sách địa chỉ IP của Googlebot . ”

Googlebot là gì?

Googlebot là phần mềm thu thập thông tin website được Google xây dựng để thu thập dữ liệu từ website của bạn để xây dựng chỉ mục có thể tìm kiếm cho Công cụ tìm kiếm của Google. Tên này thực sự được sử dụng để chỉ hai loại trình thu thập thông tin web khác nhau: trình thu thập thông tin trên máy tính để bàn (để mô phỏng người dùng máy tính để bàn – Googlebot Desktop) và trình thu thập thông tin di động cho các smartphone và máy tính bản (để mô phỏng người dùng di động – Googlebot Smartphone).

Cách Googlebot hoạt động với website của bạn?

Một trang web có thể sẽ được thu thập thông tin bởi cả Googlebot Desktop và Googlebot Mobile. Tuy nhiên, Google đã thông báo rằng, bắt đầu từ tháng 9 năm 2020, tất cả các trang web được chuyển sang lập chỉ mục ưu tiên thiết bị di động, có nghĩa là Google đang thu thập dữ liệu web bằng Googlebot trên điện thoại thông minh.

Xu hướng thiết bị di động gắng liền với người dùng, đa số người dùng internet đều sẽ có 1 thiết bị di động thay vì tập trung vào PC như trước đây. Điều này là lý do website ngày nay cần phải chuẩn giao diện Mobile và thân thiện khi truy cập với thiết bị di động.

Theo Google Developer chia sẻ:

Với hầu hết trang web, trung bình Googlebot sẽ không truy cập trang web của bạn nhiều hơn một lần trong vài giây. Tuy nhiên, do vấn đề trễ mạng nên có thể tốc độ truy cập trong những khoảng thời gian ngắn sẽ cao hơn một chút. Chúng tôi đã thiết kế để có thể cho phép hàng nghìn máy chạy Googlebot cùng lúc nhằm cải thiện hiệu suất và quy mô tương ứng với sự phát triển của môi trường web.

Ngoài ra, để giảm mức sử dụng băng thông, chúng tôi chạy nhiều trình thu thập dữ liệu trên các máy nằm gần những trang web mà các trình đó có thể thu thập dữ liệu. Vì thế nhật ký của bạn có thể hiển thị các lượt truy cập từ nhiều máy tại google.com và tất cả đều có tác nhân người dùng Googlebot.

Mục tiêu của chúng tôi là thu thập dữ liệu trên tối đa các trang trên trang web của bạn trong phạm vi có thể trong mỗi lần truy cập mà không làm quá tải băng thông máy chủ của bạn. Nếu trang web của bạn không thể đáp ứng các yêu cầu thu thập dữ liệu của Google, thì bạn có thể yêu cầu thay đổi tốc độ thu thập dữ liệu.

Loại phụ của Googlebot có thể được xác định bằng cách xem chuỗi tác nhân người dùng trong yêu cầu. Tuy nhiên, cả hai loại trình thu thập thông tin đều tuân theo cùng một mã thông báo sản phẩm (mã thông báo sử dụng) trong robots.txt và do đó, nhà phát triển không thể nhắm mục tiêu có chọn lọc Googlebot dành cho thiết bị di động hoặc máy tính để bàn của Googlebot bằng cách sử dụng robots.txt.

Nếu một nhà Quản trị website muốn hạn chế các thông tin trên trang web của họ có sẵn cho một Googlebot, hoặc một well-behaved nhện, họ có thể làm như vậy với các chỉ thị thích hợp trong một robots.txt file, hoặc bằng cách thêm thẻ meta <meta name=”Googlebot” content=”nofollow” /> lên web trang. Các yêu cầu của Googlebot tới máy chủ Web có thể nhận dạng được bằng chuỗi tác nhân người dùng chứa “Googlebot” và địa chỉ máy chủ chứa “googlebot.com”.

Hiện tại, Googlebot đi theo các liên kết HREF và liên kết SRC. Ngày càng có nhiều bằng chứng Googlebot có thể thực thi JavaScript và phân tích cú pháp nội dung được tạo bởi các lệnh gọi Ajax. Có nhiều lý thuyết liên quan đến khả năng xử lý JavaScript của Googlebot nâng cao như thế nào, với các ý kiến khác nhau, từ khả năng tối thiểu bắt nguồn từ trình thông dịch tùy chỉnh. Hiện tại, Googlebot sử dụng dịch vụ kết xuất web (WRS) dựa trên công cụ kết xuất Chromium (phiên bản 74 kể từ ngày 7 tháng 5 năm 2019).

Googlebot ảnh hưởng thế nào với trang web của bạn?

Googlebot ảnh hưởng lớn đến xếp hạng website của bạn cũng như khả năng hiển thị kết quả trên bảng xếp hạng tìm kiếm.

Bạn không cần lo rằng Googlebot không tìm thấy và xem xét trang web của bạn, điều có thể thay đổi chính là tốc độ tiếp cận của Googlebot nhanh hay chậm. Tuy nhiên, đối với yêu cầu của SEO, bạn cần Googlebot tiếp cận sớm, dễ dàng nhận ra những thay đổi, đăng mới, sửa đổi nội dung trên website của bạn càng sớm càng tốt. Điều này sẽ giúp trang web của bạn được tái lập chỉ mục và tăng xếp hạng trên các kết quả tìm kiếm thông tin (SERP).

Ngược lại, khi Googlebot không truy cập hoặc việc truy cập vào trang web bị hạn chế, Googlebot chỉ xem xét được một lượng nhỏ nội dung thì website sẽ bị ảnh hưởng rất lớn. Google xem xét thấy thông tin không được làm mới, không đa dạng thông tin, nội dung không hữu ích sẽ giảm thứ hạng của bạn trên bảng xếp hạng tìm kiếm.

Như vậy, hệ thống càng sàng lọc được nhiều thông tin, tốc độ tiếp cận càng nhanh thì hiệu suất website trên SERP càng tốt. Tuy nhiên, bạn cần lưu ý việc Googlebot có bị chặn bởi chính website hoặc từ máy chủ không. Có thể một số lỗi xảy ra từ Firewall, DNS.

Lý do Googlebot thu thập thông tin chậm

Nếu bạn nhận thấy rằng Googlebot đang thu thập thông tin quá chậm. Hãy xem xét và kiểm tra các lý do kỹ thuật sau đây để tìm được nguyên nhân:

Máy chủ chậm

Việc một trang web có quá nhiều thông tin, quá cồng kềnh về mặt tài nguyên sẽ khiến Googlebot giảm tần suất và độ sâu thu thập thông tin. Vì mỗi lần truy cập sẽ mất nhiều thời gian thu thập hơn các web khác.

Trang web của bạn có nhiều lỗi

Các lỗi trên trang web cũng ảnh hưởng đến việc Google thu thập thông tin, bởi lẽ Google cũng sẽ mất nhiều thời gian để xem xét các nguồn dữ liệu hơn. Bạn cần thiết phải sửa những lỗi này.

Hãy thử truy cập vào “Google Search Console” để bật tính năng tìm lỗi của Google, sau đó hãy khắc phục những lỗi trên trang web mà Google chỉ ra. Việc thường xuyên vào trang web và kiểm tra các lỗi là điều cần thiết để đảm bảo quá trình làm việc của Googlebot được mượt mà, nhanh chóng.

Đang có quá nhiều URL

Quá nhiều URL trong cùng 1 trang web sẽ tạo ra sự dư thừa không cần thiết và làm quá trình thu thập dữ liệu bị rối loạn và mất kiểm soát. Google cũng sẽ mất nhiều thời gian hơn bình thường để thu thập thông tin nội dung trên trang web

Một số lỗi thường gặp về Googlebot

Thường sẽ có những lỗi sau về Googlebot mà người dùng hay gặp, dưới đây là một số gợi ý cách khắc phục khi gặp lỗi.

Lỗi URL Errors, robots.txt trong Google Webmaster tool

Trạng thái: Trang web hiển thị “Google couldn’t crawl your site because we were unable to access the robots.txt” hoặc “Server error”, “Not found”, “Google không thể truy cập trang web của bạn do sự cố kết nối máy chủ”.

Cách khắc phục: Kiểm tra trong file robots.txt có thư mục nào cấm mà Google không triển khai Index những URL của bạn hoặc kiểm tra hosting có chạy liên tục hay đang bị gián đoạn và khắc phục.

http://www/example.com/ (Googlebot không thể truy cập website của bạn)

Trạng thái: Trang web hiển thị ”Trong 24 giờ qua, Googlebot gặp 2 lỗi trong khi cố truy vấn robots.txt của bạn. Để bảo vệ rằng chúng tôi không thu thập dữ liệu bất kỳ trang nào được liệt kê trong tệp, chúng tôi đã trì hoãn việc thu thập dữ liệu của mình. Tỷ lệ lỗi robots.txt chung của website của bạn là 66.7 %”.

Cách khắc phục:

Tỷ lệ lỗi của website là 100%:
- Hãy cố gắng truy cập http://www.example.com/robots.txt qua trình duyệt web, nếu bạn làm được thì trang web của bạn có thể cấu hình từ chối quyền truy cập vào Googlebot. Sau đó hãy kiểm tra cấu hình vào tường lửa và website của bạn để chắc chắn bạn không từ chối quyền truy cập của Googlebot.
- Nếu robots.txt là trang tĩnh thì cần xác minh dịch vụ web được quyền truy cập hợp lệ vào tệp.
- Còn nếu robots.txt là trang động thì việc của bạn là xác minh tệp lệnh tạo robots.txt cấu hình đúng cách và có quyền chạy. Kiểm tra trang web xem có lỗi hay không và khắc phục ngay nếu thấy lỗi.

Tỷ lệ lỗi của website dưới 100%:
- Khắc phục bằng cách sử dụng công cụ quản trị website, sau đó tìm ngày lỗi cao, kiểm tra máy chủ trong ngày đó. Bạn phải tìm ra lỗi và khắc phục được lỗi đó.
- Nguyên nhân có thể xuất phát từ việc website của bạn bị quá tải, hãy gia tăng dịch vụ lưu trữ bằng cách liên hệ với nhà cung cấp, thảo luận về định cấu hình máy chủ hoặc cũng có thể yêu cầu thêm tài nguyên cho website của bạn.

Từ khóa:

Google bot Discord
Google bot IP
Googlebot là gì
Googlebot IP ranges
Google crawler

Nội dung liên quan:

Marketing tổng thể

Googlebot là gì? Danh sách các địa chỉ IP của Googlebot đã được phát hành