Spider Google là gì, Google Bot là gì

[AdminAdmin is verified member.]

Googlebot là các bot tìm kiếm phần mềm được sử dụng bởi Google, thu thập tài liệu từ trang web để xây dựng một chỉ mục tìm kiếm cho công cụ tìm kiếm của Google. Khi bạn tìm kiếm cho các trang web hiển thị IP của bạn, bạn thường sẽ thấy địa chỉ IP của googlebot.
Một cách hình tượng để dễ hiểu thì Google Bot giống như một con nhện cần mẫn đi lại trong mạng internet thông qua các đường link để ghi nhớ lại nội dung các trang web. Đó là lý do tại sao Google Bot thường được gọi là Spider, link đóng vai trò như tơ nhện
Nếu quản trị trang web muốn hạn chế việc lấy thông tin trên trang web của họ, họ có thể làm như vậy với việc sử dụng file robots.txt, hoặc bằng cách thêm thẻ

<meta name=”Googlebot” content=”nofollow” />

vào trang web.
Hiện nay Googlebot chỉ đi theo các liên kết HREF và liên kết SRC. Googlebot phát hiện ra các trang bằng cách thu hoạch tất cả các liên kết trên mỗi trang mà nó tìm thấy, sau đó theo những liên kết đến các trang web khác.
Một vấn đề mà các quản trị web thường lưu ý với Googlebot là nó chiếm một số lượng lớn băng thông. Điều này có thể gây ra phiền hà cho các trang web do làm tốn băng thông của họ.
Google cung cấp Công cụ Quản trị Trang web cho phép các chủ trang web để tăng tốc tốc độ thu thập dữ liệu. Webmasters – Google (Google Webmaster Tools )