Admin
Well-Known Member
Staff member
Administrator
File robots.txt giúp SEO hiệu quả
VBB thì đã có mod vbseo khá ổn định nhưng để báo cho các bot biết toàn bộ thông tin, file, folder biết thì lựa chọn hàng đầu cho mọi người đó là file robots.txt chỉ cần tạo 1 file tên như thế với nội dung chuẩn như sau:
VBB thì đã có mod vbseo khá ổn định nhưng để báo cho các bot biết toàn bộ thông tin, file, folder biết thì lựa chọn hàng đầu cho mọi người đó là file robots.txt chỉ cần tạo 1 file tên như thế với nội dung chuẩn như sau:
PHP:
Sitemap: Link sitemap ở đây
User-agent: BoardTracker
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: Twiceler
Disallow: /
User-agent: Slurp
Crawl-delay: 2
User-agent: msnbot
Crawl-delay: 2
User-agent: *
Disallow: /editpost.php
Disallow: /gamercard.php
Disallow: /inlinemod.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /payments.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showpost.php
Disallow: /usercp.php
Disallow: /usernote.php
User-agent: Mediapartners-Google
Allow: /member.php
Allow: /private.php
Allow: /usercp.php