File robots.txt là công cụ hữu hiệu nhất để giúp quản trị web kiểm soát quá trình thu thập dữ liệu và index của các công cụ tìm kiếm. Bạn có thể điều hướng các con bot và giúp nó đi tới những trang bạn muốn thông qua robots.txt. Trong bài viết này, chúng tôi sẽ hướng dẫn bạn cách tạo file robots.txt chuẩn seo cho website wordpress.
Tìm hiểu file robots.txt trên WordPress
Khi bạn khởi tạo một website và đăng các bài viết lên thì các công cụ tìm kiếm (Search Engine) sẽ đưa các con Bot quét qua và thu thập dữ liệu có trên trang web này. Từ đó, những con bọ này sẽ đánh giá dữ liệu và đưa lên bảng xếp hạng tìm kiếm.
Một website không chỉ có riêng mỗi bài viết, nó tập hợp rất nhiều dữ liệu như Plugin, Pages, trang quản trị,… Những thông tin này các webmaster thường không muốn các con Bot quét qua và thu thập thông tin bởi vì nó không có nhiều ý nghĩa.
File robots.txt có mục đích điều hướng Bot thu thập dữ liệu
Cũng chính vì điều này mà file robots.txt ra đời nhằm mục đích hướng dẫn cho Bot tìm kiếm thông tin một cách chính xác. Bạn sẽ cho chúng biết rằng file nào nên xem, file nào không nên thu thập. Quá trình tạo file robots.txt khá đơn giản và không tốn nhiều thời gian. Quản trị web có thể thực hiện đơn giản và không yêu cầu kỹ thuật cao siêu.
Vậy nếu website không có file robots.txt chuẩn SEO thì sao? Câu trả lời là không ảnh hưởng quá nhiều. Tuy nhiên, lúc này con Bot sẽ thu thập và index tất cả các dữ liệu mà nó thu thập. Đôi lúc những dữ liệu này bạn không muốn người khác tìm kiếm hoặc không có tác dụng trong SEO.
Trong tệp Robots.txt chứa những gì?
Sau khi tìm hiểu sơ qua về tính năng của robots.txt, vậy trong file này chứa những gì?
- Đầu tiên là User-agent: Với User-agent, bạn có thể nhắm mục tiêu tới những con Bot cụ thể. Ví dụ như bạn cho phép Google index dữ liệu website, chặn truy cập Bot của Bing hoặc Ahrefs thu thập dữ liệu.
- Disallow: Với phần này, bạn sẽ ngăn chặn các con Bot không được truy cập vào những khu vực mà bạn cấm trên trang web. Từ đó mà những con Bot này sẽ bỏ qua và không index các trang trong đó.
- Allow: Lệnh này ít gặp vì mặc định những trang không disallow thì Bot sẽ tự động thu thập dữ liệu. Lệnh này cho phép con Bot có thể truy cập vào một thư mục cụ thể trên website.
Bạn cần điền cấu hình chuẩn cho file robots.txt để Bot thu thập dữ liệu
- Sitemap: Với lệnh này, bạn sẽ thông báo cho con Bot sơ đồ trang web của bạn. Từ đó, Bot sẽ biết được cấu trúc nội dung và các trang quan trọng có trên website. Điều này giúp cho quá trình thu thập dữ liệu của Bot nhanh và hiệu quả hơn.
File robots.txt WordPress đặt ở đâu?
Sau khi bạn khởi tạo website WordPress, mặc định file robots.txt cũng được thiết lập và nằm trong thư mục gốc của Server. Người dùng có thể kiểm tra xem file robots.txt có được tạo chưa bằng cách truy cập vào link: domain.com/robots.txt (bạn thay domain.com bằng tên miền mà mình khởi tạo website). Lúc này sẽ có kết quả hiển thị như sau:
Cấu hình file robots.txt trên trình duyệt web
Đây là cấu hình file robots.txt cơ bản nhất và được khởi tạo chung với website WordPress. Với cấu hình như trên, chúng ta sẽ hiểu như sau:
- Hàng User-agent:* – biểu thị nguyên tắc không chặn Bot vào website và chúng có thể đi khắp mọi nơi để thu thập thông tin trên trang web của bạn.
- Disallow: /wp-admin/ – phần này nói cho Bot biết là chúng không được phép truy cập vào trang quản trị website và thu thập dữ liệu. Trong trang này chứa nhiều file quan trọng và nhiều thông tin riêng mà chỉ chủ sở hữu website mới được biết.
Đây là một file robots.txt cơ bản do chính WordPress thiết lập và được cài đặt mặc định. Người dùng có thể thay đổi cấu hình cho file robots.txt cũng như thay bằng tệp mới nếu muốn bằng cách truy cập vào phần quản trị hosting.
Những cách tạo file robots.txt cho website WordPress
Sau khi bạn đã nắm được cách sử dụng file robots.txt cũng như biết được cấu hình mà mình nên sử dụng rồi thì bạn có thể cập nhật lại file robots.txt trên server như sau.
Sử dụng Yoast SEO để tạo file robots.txt
Sử dụng Yoast SEO để thay đổi cấu hình file robots.txt
Nhắc đến plugin SEO tốt nhất thì Yoast SEO thì chắc hẳn các SEOer đều biết đến. Đây là một phần mềm giúp tối ưu trang web chuẩn SEO và cải thiện khả năng dễ đọc cho các bài viết. Bên cạnh đó, Yoast SEO còn hỗ trợ webmaster cách tạo file robots.txt. Cụ thể các bước như sau:
- Bước 1: Người dùng tải và cài đặt plugin Yoast SEO trong quản trị wordpress.
- Bước 2: Sau khi cài đặt và kích hoạt Plugin, bạn chọn đến mục SEO rồi chọn tiếp phần Công cụ (Tools).
- Bước 3: Bạn chọn đến phần Trình chỉnh sửa tập tin (File Editor). Tại đây sẽ xuất hiện nút Tạo File robots.txt. Bạn hãy nhấp vào nút này để khởi tạo tập tin robots.txt.
- Bước 4: Ở ô nội dung, bạn hãy nhập các thông tin mới cho tệp robots.txt và lưu lại. Như vậy là hoàn thành quá trình khởi tạo robots.txt bằng Yoast SEO.
Sử dụng Yoast SEO để tạo và cấu hình file robots.txt
Khởi tạo file robots.txt và up trên Hosting
Thêm một cách tạo file robots.txt cho wordpress khác cũng khá nhanh vào hiệu quả, đó chính là khởi tạo và up lên Hosting.
Đầu tiên bạn tạo file txt bằng cách chọn tệp New Text Document trên Desktop. Sau đó bạn đặt tên file là robots.txt. Tiếp theo bạn điền các thông tin cần thiết vào tệp robots.txt này. Sau đó upload lên hosting theo những cách sau:
- Đối với Hosting Cpanel
Bạn đăng nhập vào Hosting rồi chọn đến mục File Manager. Sau đó tìm đến thư mục chưa website wordpress rồi xóa file robots.txt cũ đi. Tiếp theo bạn tải lên file robots.txt mà mình đã tạo trước đó là hoàn tất.
Upload file robots.txt lên hosting nhanh chóng
- Đối với Hosting DirectAdmin
Bạn đăng nhập vào quản trị Hosting và chọn đến Show All User. Tiếp theo đó chọn User chứa thông tin web vào login vào đó. Sau đó bạn chọn tiếp mục File Manager và vào phần Public_html để upload file robots.txt lên là hoàn tất.
Lời kết
Trên đây là những bước để tạo file robots.txt cho việc thiết kế website bằng WordPress nói riêng và website mã nguồn khác nói chung một cách chính xác nhất. Các bạn có thể lựa chọn phương thức phù hợp nhất với mình nhé. Cần lưu ý điền các rules cho file robots.txt thật chính xác để Bot thu thập dữ liệu hiệu quả hơn. Chúc các bạn thành công.
