SEO web

Cách thức tạo và sử dụng file Robots.txt

File Robots.txt được sử dụng để hướng dẫn công cụ tìm kiếm tự động đến những trang nào mà bạn muốn nó tìm kiếm và sau đó thì index trang đó. Hầu hết trang web nào cũng có những thư mục và files không cần đến robot của công cụ tìm kiếm ghé thăm. Do vậy tạo ra file robots.txt có thể giúp bạn trong SEO.

 

File robots.txt là một dạng file rất đơn giản có thể được tảo bởi công cụ Notepad. Nếu bạn sử dụng WordPress một file robots.txt sẽ có dạng như sau
 
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
 
“User-agent”:* có nghĩa là tất cả những robot tìm kiếm từ Google, Yahoo và MSN nên sử dụng hướng dẫn này của bạn để tìm kiếm trang web.
 
“Disallow: /wp-“: dòng code này báo cho công cụ tìm kiếm biết nó không nên “lục lọi” ở những filé của WordPress bắt đầu bằng wp-.
 
Nếu bạn không sử dụng WordPress, bạn chỉ việc thay thế dòng Disallow với files và folders mà bạn không muốn nó “dòm ngó”, ví dụ:
 
User-agent: *
Disallow: /images/
Disallow: /cgi-bin/
 
Tự động tạo robots.txt
 
Nếu bạn có sử dụng Google Webmaster thì họ cũng cho phép bạn tạo robots.txt hoặc bạn có thể sử dụng Robots.txt
 
Generator để tự động tạo file robots.txt cho mình
 
Sau khi bạn đã tạo xong file robots.txt (đừng quên chữ S), bạn chỉ việc upload lên thư mục gốc là hoàn thành

2 Bình luận

  1. Thùng rác inox nói:

    Website của mình bị lỗi file robot giờ sửa làm sao vậy ad http://www.thungracgiare.vn

  2. Lê Ngọc Tuấn nói:

    Các bác giúp giùm em với. Khi tìm trang web của mình trên google thì nó hiện: Không có mô tả cho kết quả này do robots.txt của trang web này – tìm hiểu thêm. Mình check file robots thì thấy vẫn ổn. Web của mình http://etpco.vn/ . Thanks!

Trở về
  • Google Dance
  • Google Dance

     Google Dance là một hiện tượng tụt hạng từ khóa trong một thời gian nhất định nào đó. Sau...

  • Seo top 5 google
  • Seo top 5 google

     - Có rất nhiều các bạn hỏi tại sao có rất nhiều từ khóa lên trang 1 không dõ nguyên do đây...