Hướng dẫn tạo file robots.txt cho site WordPress

Khi bạn đã lập chỉ mục cho website trên các cụ tìm kiếm, thì các công cụ tìm kiếm của GoogleBot, BingBot…. sẽ vào website của bạn để tìm kiếm nội dung và hiển thị cho mọi người tìm thấy nó – mọi người gọi là robot, để thực hiện được công việc này bạn cần tạo file robots.txt và upload lên website.

Việc tạo ra file robots.txt rất quan trọng, nhờ file robot này mà bạn có thể ngăn cản con robot lập chỉ mục các trang hoặc thư mục, nếu bạn không muốn nó hiển thị với người dùng vì một lý do nào đó trong tương lai.

#1. File robots.txt là gì?

Robots.txt thực chất là một file .txt bạn chỉ cần tạo một số nội dung và tải lên thư mục gốc của website. Khi các con robot truy cập vào trang web điều đầu tiên là nó tìm kiếm các nội dung trong file robots.txt, và thực hiện theo yêu cầu của bạn: được phép truy cập hoặc không truy cập vào nội dung nào từ đó lập chỉ mục để hiển thị.

#2. Làm thế nào để tạo một file robots.txt?

Để tạo file robots.txt bạn mở trình soạn thảo văn bản, tạo một file lưu với tên robots.txt, sau đó viết các nội dung theo hướng dẫn bên dưới vào file bạn đã tạo.

Nhưng trước khi tạo file này, bạn cần xác định xem nội dung nào bạn muốn hoặc không muốn robot lập chỉ mục và hiển thị, tất nhiên và có thể thay đổi nội dung này trong tương lai.

Hướng dẫn tạo nội dung file robots.txt:

#3. Tạo file robots.txt bằng Google Webmaster Tool

Ngoài ra, bạn có thể tạo file robots.txt trực tiếp bằng công cụ Google Webmaster Tool , truy cập vào công cụ này sau đó điền nội dung vào –> Submit. Bạn có thể kiểm tra file bị lỗi từ công cụ này, nếu báo lỗi hãy sửa lại cho đúng.

Sau đó tải xuống bạn cần upload lên thư mục gốc của website, xem cách upload lên bằng phần mềm FileZilla nếu bạn chưa biết cách upload trực tiếp lên hosting.

Khi upload xong bạn vào đường dẫn sau: http://yourdomain.com/robots.txt nếu xuất hiện nội dung bạn đã tạo trước đó, tức bạn đã thành công trong việc tạo một file robots.txt cho website WordPress.

Bạn có thể tham khảo file robots.txt của mình tại: https://nguyenthuongsach.com/robots.txt

4#. Những điều cần biết về file robots.txt

Đừng cố gắng ẩn nội dung trên trang website của bạn, vì file robots.txt bất kỳ ai cũng xem được, việc đơn giản là họ vào http://yourdomain.com/robots.txt là có thể xem được nội dung bạn không muốn lập chỉ mục, đây chỉ là cách ngăn chặn robot tìm kiếm nội dung và hiển thị đến người dùng trên công cụ tìm kiếm thôi.

Nếu bạn thực sự muốn ẩn nội dung trên trang web, cách tốt nhất là bảo mật bằng mật khẩu cho thư mục đó. Thông thường bạn có thể sử dụng một số công cụ để thực hiện việc này (sử dụng cPannel, file htaccess…). Bạn hãy cân nhắc khi thực hiện việc bảo mật này, đôi khi nó ngăn chặn truy cập các nội dung có ích với bạn.

Đó là tất cả những gì bạn cần làm khi tạo ra một file robots.txt, nếu bạn có ý kiến nào đừng quên để lại ý kiến vào bên dưới. Cảm ơn bạn!