Trước khi vào bài hướng dẫn từng bước tạo file robots.txt. Tôi sẽ cho các biết file robots.txt là gì và tại sao chúng ta phải tạo nó?
File robots.txt là gì?
Khi bot của các Search Engine tiến hành Crawl để lập chỉ một cho một website nào đó, thì việc đầu tiên là nó sẽ tìm và đọc file robots.txt trong nội dung của website.
Tại sao phải tạo file robots.txt?
Robots.txt là một file text có phần mở rộng là txt, nội dung bên trong có chứa các câu lệnh để cho hay không cho bot của các Search Engine đánh chỉ mục (index) một thư mục nào đó trong website của bạn.
File robots.txt là một tập tin văn bản đơn giản (không chứa mã HTML) được đặt trong thư mục gốc của website (ngang cấp với file index.htm, index.php, default.aspx,….)
Ví dụ: http://www.hocltt.net/robots.txt
Hướng dẫn cách tạo file robots.txt
Để tạo tập tin robots.txt bạn mở chương trình Notepad và gõ các lệnh, sau đó lưu lại với tên robots.txt và chép vào thư mục gốc của website.
3 lệnh cơ bản nhất của 1 tâp tin robots.txt như sau
Hoặc chúng ta có thể tạo tự động thông qua Robots.txt Generator trực tuyến
User-agent: * Allow: /documents/ Disallow: /upload/
- User-agent : dùng để xácđịnh bot của công cụ tìm kiếm nào.
- Allow: cho phép bot vào thư mục, trang nàođó.
- Disallow: chặn bot vào thư mục, trang nào đó.
Ví dụ trên cho phép các bot truy cập vào thư mục documents nhưng không được truy cập vào thư mục upload
Chú ý: Đường dẫn tương đối tính từ root phải có dấu "/" ở phía trước