Cách tạo file robots.txt cho vbb (search google)

[Admin]

[h=1]Cách tạo File robots.txt cho vbb (search google)[/h]1. robots.txt : là gì? * robot.txt là một file chứa các thông tin theo một cấu trúc xác định. Các thông tin này sẽ giới hạn khu vực truy cập của các search engine (vd: google, hoặc yahoo). Các search engine sẽ không đặt index tìm kiếm cho các khu vực giới hạn được ghi nhận trên robot.txt. * Ví dụ: bạn không muốn các trang login, trang nội bộ, trang diễn đàn xuất hiện trên trang tìm kiếm ở Google, hãy thiết lập nó ở đây.
2. Hoạt động như thế nào?
o robots.txt hoạt động bằng cách xác định một user-agent và một command cho user-agent này.
o Các tham số có trong file robots.txt

​

+ User-agent: khai báo tên search engine mà bạn muốn thiết lập khu vực truy cập với nó, vd: Googlebot, Yahoo! Slurp
+ Disallow: là khu vực mà bạn muốn khoanh vùng không cho phép search engine truy cập.
+ Crawl-Delay: thông số này xác định thời gian (tính bằng giây) search phải đợi trước khi chuyển sang site tiếp theo. Điều này sẽ có ích để ngăn chặn các search engine load server tùy tiện.
+ Dấu # được sử dụng trước các dòng cần comment.
3. Ví dụ: robots.txt
o Cho phép tất cả các search engine có thể spider toàn bộ site:
Mã:
User-agent: *
Disallow:
o Chặn tất cả các search engine truy cập cgi-bin
Mã:
User-agent: *
Disallow: /cgi-bin/
o Không cho phép Yahoo! Slurp truy cập thư mục admin
Mã:
User-agent: yahoo! Slurp
Disallow: /admin/
o Không cho phép tất cả các search engine truy cập vào bất kì khu vực nào:
Mã:
User-agent: *
Disallow: /
4. File robots.txt mẫu sử dụng cho vbulletin:
Mã:
User-agent: *
#Crawl-Delay: 10
Disallow: /cgi-bin/
Disallow: /forum/ajax.php
Disallow: /forum/cron.php
Disallow: /forum/attachment.php
Disallow: /forum/editpost.php
Disallow: /forum/external.php
Disallow: /forum/faq.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/joinrequest.php
Disallow: /forum/login.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattatchment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/payment_gateway.php
Disallow: /forum/payments.php
Disallow: /forum/pdfthread.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/subcription.php
Disallow: /forum/subcriptions.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/admincp/
Disallow: /forum/images/
Disallow: /forum/modcp/
Disallow: /forum/articlebot/
Disallow: /forum/clientscript/
Disallow: /forum/customavatars/
Disallow: /forum/customprofilepics/
Disallow: /forum/files/
Disallow: /forum/cpstyles/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow:/forum/subscriptions/
Disallow:/forum/attachments/
Disallow:/forum/frm_attach/

 

[RainSad]

[h=1]Cách tạo File robots.txt cho vbb (search google)[/h]1. robots.txt : là gì? * robot.txt là một file chứa các thông tin theo một cấu trúc xác định. Các thông tin này sẽ giới hạn khu vực truy cập của các search engine (vd: google, hoặc yahoo). Các search engine sẽ không đặt index tìm kiếm cho các khu vực giới hạn được ghi nhận trên robot.txt. * Ví dụ: bạn không muốn các trang login, trang nội bộ, trang diễn đàn xuất hiện trên trang tìm kiếm ở Google, hãy thiết lập nó ở đây.
2. Hoạt động như thế nào?
o robots.txt hoạt động bằng cách xác định một user-agent và một command cho user-agent này.
o Các tham số có trong file robots.txt

​

+ User-agent: khai báo tên search engine mà bạn muốn thiết lập khu vực truy cập với nó, vd: Googlebot, Yahoo! Slurp
+ Disallow: là khu vực mà bạn muốn khoanh vùng không cho phép search engine truy cập.
+ Crawl-Delay: thông số này xác định thời gian (tính bằng giây) search phải đợi trước khi chuyển sang site tiếp theo. Điều này sẽ có ích để ngăn chặn các search engine load server tùy tiện.
+ Dấu # được sử dụng trước các dòng cần comment.
3. Ví dụ: robots.txt
o Cho phép tất cả các search engine có thể spider toàn bộ site:
Mã:
User-agent: *
Disallow:
o Chặn tất cả các search engine truy cập cgi-bin
Mã:
User-agent: *
Disallow: /cgi-bin/
o Không cho phép Yahoo! Slurp truy cập thư mục admin
Mã:
User-agent: yahoo! Slurp
Disallow: /admin/
o Không cho phép tất cả các search engine truy cập vào bất kì khu vực nào:
Mã:
User-agent: *
Disallow: /
4. File robots.txt mẫu sử dụng cho vbulletin:
Mã:
User-agent: *
#Crawl-Delay: 10
Disallow: /cgi-bin/
Disallow: /forum/ajax.php
Disallow: /forum/cron.php
Disallow: /forum/attachment.php
Disallow: /forum/editpost.php
Disallow: /forum/external.php
Disallow: /forum/faq.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/joinrequest.php
Disallow: /forum/login.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattatchment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/payment_gateway.php
Disallow: /forum/payments.php
Disallow: /forum/pdfthread.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/subcription.php
Disallow: /forum/subcriptions.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/admincp/
Disallow: /forum/images/
Disallow: /forum/modcp/
Disallow: /forum/articlebot/
Disallow: /forum/clientscript/
Disallow: /forum/customavatars/
Disallow: /forum/customprofilepics/
Disallow: /forum/files/
Disallow: /forum/cpstyles/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow:/forum/subscriptions/
Disallow:/forum/attachments/
Disallow:/forum/frm_attach/
[/QUOTE]

 

[Admin]

Sao thế em.......

 

[RainSad]

e dang tim cai nay .