Hướng dẫn cách tạo file robots.txt chuẩn cho wordpress từ A – Z

Để chắc là website của bạn xuất hiện trên Trang kết quả tìm kiếm – Search Engine Result Pages (SERPs), bạn cần để “bots” truy cập vào những trang quan trọng trên website. File robots.txt được viết tốt có thể dùng để quản lý truy cập của những bots này tới trang bạn muốn (để tránh nó quét những nơi không cần thiết). Trong bài này, chúng tôi sẽ hướng dẫn tạo file robots.txt chuẩn cho wordpress như sau:

File robots.txt chuẩn cho wordpress là gì và vì sao nó quan trọng?

Khi bạn tạo mới một website, search engine sẽ gửi những con bọ máy tính (bots) tới để ‘quét’ qua nó và tạo ra một bản đồ chứa các trang web trong nó. Bằng cách này, chúng biết được trang nào cần thể hiện kết quả khi ai đó tìm từ khóa liên quan. Cơ bản như vậy là đã đủ.

Nhưng vấn đề nảy sinh khi các website hiện chứa nhiều thành phần hơn là trang web. WordPress cho phép bạn tạo plugins, thường thì nó có thư mục riêng của chúng. Bạn sẽ không muốn những trang này hiện lên kết quả tìm kiếm, vì thực ra nó không có nội dung giá trị.

Vậy File robots.txt chuẩn cho wordpress có tác dụng gì?

File robots.txt tạo ra một bộ chỉ dẫn cho search engine bots. Nó nói với chúng: “Hey, mày có thể xem ở đây, nhưng không đi vào những phòng khác ở kia!”. File này có thể rất chi tiết tùy theo mức độ bạn muốn. Nó cũng dễ tạo và không đòi hỏi kiến thức kỹ thuật gì nhiều.

Trên thực tế, trình tìm kiếm sẽ quét site của bạn kể cả khi bạn không có cài file robots.txt. Nhưng sẽ không đạt hiểu quả cao, do bot sẽ index toàn bộ nội dung của bạn, và quét sâu đến độ có thể nó sẽ hiển thị những nơi bạn không muốn người khác truy cập vào.

Hơn nữa, nếu không có file robots.txt, bạn sẽ có nhiều nhiều loại bots quét tới quét lui toàn bộ site của bạn. Vì vậy sẽ gây ảnh hưởng tiêu cực đến hiệu năng hoạt động của site. Tốc độ trang là yếu tố quan trọng để được tính xếp hạng. Và như bạn biết, không ai thích vào một site truy cập chậm khả (kể cả chủ trang web như chúng ta!). Vì vậy, tạo một file robots.txt chuẩn cho WordPress là cách đơn giản nhưng đạt hiệu quả cao cho website của bạn.

File robots.txt WordPress nằm ở đâu

Khi bạn tạo website WordPress, nó sẽ tự động tạo ra một file robots.txt đặt ngay bên dưới thư mục gốc của server. Ví dụ, nếu site của bạn đặt trong thư mục gốc của địa chỉ yourfakewebsite.com, bạn sẽ có thể truy cập file robots.txt ở đường dẫn yourfakewebsite.com/robots.txt, kết quả ban đầu sẽ tương tự như sau:

Đây là ví dụ file robots.txt cơ bản. Phần sau User-agent: Dấu * có nghĩa là quy tắc được áp dụng cho mọi loại bots trên khắp nơi trên website. Trong trường hợp này, file này sẽ nói cho bots biết là chúng không được phép vào trong file thư mục wp-admin và wp-includes. Rất hợp lý phải không, vì 2 thư mục này chứa rất nhiều file thông tin nhạy cảm.

Hãy nhớ, đây là một file ảo, do WordPress tự thiết lập mặc định khi cài đặt và không chỉnh sửa được (mặc dù nó vẫn hoạt động). Thường thì, vị trí file robots.txt WordPress chuẩn được đặt trong thư mục gốc, thường được gọi là public_html và www (hoặc tên website). Và để tạo file robots.txt cho riêng bạn thì bạn cần tạo một file mới để thay thế file cũ đặt trong thư mục gốc đó.

Ở hướng dẫn tiếp theo, chúng tôi sẽ chỉ bạn nhiều cách để tạo mới file robots.txt cho WordPress chỉ trong 1 phút. Giờ thì, hãy nghiên cứu về các quy tắc (rules) mà bạn nên sử dụng trong file này.

Quy tắc nào cần được thêm vào trong file robots.txt chuẩn cho wordpress

Ở phần trước, bạn đã thấy ví dụ một file WordPress robots.txt. Nó chỉ có 2 rules ngắn, nhưng hầu hết các website đều có thiết lập nhiều hơn như vậy. Hãy nhìn vào 2 file robots.txt sau để chúng tôi chỉ cho bạn sự khác biệt của chúng nhé.

Ví dụ file WordPress robots.txt đầu tiên:

Đây là file robots.txt chuẩn cho website với một diễn đàn. Search engine sẽ thường index những chủ đề trong forum. Tùy vào loại forum là gì, tuy nhiên, thông thường bạn nên disallow it (không cho phép quét). Bằng cách này, Googles sẽ không phải index hằng trăm threads (chủ đề) mà người dùng tạo ra hằng ngày cho những câu chuyện bên lề. Bạn có thể cài đặt rules để xác định loại sub-forum nào cần tránh, và để search engines quét phần còn lại.

Bạn sẽ thấy có dòng Allow: / trên cùng của file. Dòng này cho bots (bọ máy tính) biết là chúng có thể quét tất cả những trang trên website, ngoại trừ các trang bên dưới đặt trong phần Disallow:. Như bạn nhận thấy, chúng tôi cũng sử dụng dấu * để áp luật lên universal (toàn trang), giống với file mặc định ảo của robots.txt.

Giờ, hãy xem qua ví dụ thứ 2 về cách tạo file robots.txt chuẩn cho WordPres:

Trong file này, chúng tôi sử dụng rules giống như file mặc định của WordPress. Tuy nhiên, chúng tôi còn đặt thêm một số rules để chặn Bing’s search bot quét website của bạn. Bingbot là tên của Bot của Bing search engine. Bạn có thể tùy chỉnh đúng loại bot của trình tìm kiếm nào có thể truy cập website của bạn, và loại nào không được. Trên thực tế, Bingbot cũng tốt (mặc dù không tốt bằng Googlebot). Nhưng có nhiều những bots độc hại ngoài kia.

Một tin xấu hơn nữa là chúng cũng không quan tâm đến chỉ dẫn trong file robots.txt của bạn (chúng độc hại mà cần gì làm theo luật). Điều này có nghĩa là bots chỉ làm theo hướng dẫn trong file robots.txt, nhưng không có nghĩa là file robots.txt bắt buộc các bots phải làm theo.

Nếu bạn tìm hiễu trên mạng, có rất nhiều đề nghị rằng bạn nên chặn bots nào và cho phép bots nào trên WordPress website của bạn. Tuy nhiên, với kinh nghiệm của chúng tôi, càng ít rules chừng nào càng tốt chừng đó.

Đây là ví dụ bạn nên sử dụng để tạo file robots.txt chuẩn cho WordPress:

Mặc định, WordPress sẽ chặn thư mục wp-admin và wp-includes. Tuy nhiên, điều này không còn được xem là tốt nữa. Hơn nữa, nếu bạn thêm metada vào ảnh của bạn để tăng tối ưu hóa tìm kiếm (SEO), vậy thì đừng nên chặn bot truy cập vào các thông tin đó phải không. Thay vào đó, 2 rules trên là những gì cơ bản nhất mà một site bình thường cần.

Bạn còn cần thêm gì trong file robots.txt sẽ tùy thuộc vào loại nội dung và nhu cầu của bạn. Giờ thì, hãy xem qua cách để tạo file robots.txt cho WordPress website nhé!

Làm thế nào để tạo file robots.txt chuẩn cho WordPress (3 cách)

Sau khi bạn đã quyết định rule nào sẽ được đặt trong file robots.txt, phần còn lại là tạo nó thôi. Bạn có thể chỉnh sửa file robots.txt trong WordPress bằng plugin hoặc thủ công. Trong phần này, chúng tôi sẽ chỉ bạn dùng 2 plugin phổ biến để tạo file robots.txt cho WordPress và cách thủ công để tạo file robots.txt rồi upload lên host. Hãy bắt đầu thôi nào!

1. Sử dụng Yoast SEO

Yoast SEO thì chắc không cần phải giới thiệu nữa. Bất kỳ ai cần SEO cho WordPress website chắc đã có cài plugin này. Nó hướng dẫn bạn tối ưu bài viết và từng trang web bằng cách tận dụng từ khóa tốt hơn. Ngoài ra, nó cũng giúp bạn tăng khả năng dễ đọc của bài viết, giúp cho bài viết giữ chân người đọc lâu hơn.

Đối với chúng tôi, chúng tôi là fan hâm mộ của Yoast SEO vì tính tiện dụng của nó. Cách tạo file robots.txt cũng đơn giản nếu bạn đã có pluign này. Sau khi bạn cài đặt plugin này xong chuyển tới tab SEO -> Tools trong dashboard của bạn, tìm tới mục gọi là File editor:

Cách thực hiện

Click vào link đó sẽ gửi bạn tới trang mới, nơi bạn có thể chỉnh sửa file .htaccess mà không cần thoát dashboard (trang admin WordPress). Có một nút gọi là Create robots.txt file, sẽ giúp bạn tạo file robots.txt:

 

Khi bạn click vào nút này, tab sẽ hiển thị editor mới nơi bạn có thể chỉnh sửa file robots.txt trực tiếp. Lưu ý là Yoast SEO sẽ đặt giá trị mặc định của nó, để ghi đè lên file ảo robots.txt.

Mỗi khi bạn thêm rules mới hoặc xóa rules cũ, nhớ click nút Save changes to robots.txt để lưu lại:

 

Vậy là xong, bạn đã tạo xong file robots.txt chuẩn cho WordPress. Giờ hãy xem cách tạo bằng plugin khác, cũng nổi tiếng không kém.

Qua bộ plugin All in One SEO Pack

All in One SEO Pack là một plugin rất nổi tiếng trong giới WordPress SEO. Nó bao gồm tất cả những tính năng của Yoast SEO, nhưng nhiều người thích nó hơn vì nó nhẹ hơn. Cũng như vậy với việc tạo file robots.txt cho WordPress, nếu có plugin này thì mọi chuyện rất dễ dàng.

Cách thực hiện

Sau khi bạn đã hoàn tất set up plugin này, chuyển tới mục All in One SEO > Feature Manager trong dashboard. Ở trong đó, hãy tìm tùy chọn có tên Robots.txt, với nút Activate ngay bên dưới. Click vào nó:

Giờ, tab mới Robots.txt sẽ hiện bên dưới menu All in One SEO. Bạn click vào đó sẽ thấy nhiều lựa chọn để thêm rules mới cho file, lưu thay đổi hoặc xóa nó đi:

Lưu ý là bạn chưa thể thay đổi file robots.txt trực tiếp từ plugin này. Phần nội dung sẽ bị mờ đi, khác với Yoast SEO là cho bạn gõ tùy thích vào file:

Việc này có vẻ hơi bất tiện nhưng nó sẽ tránh giúp bạn việc ghi lỗi cho file robots khiến site bị thiệt hai. Thêm rules mới rất đơn giản, All in One SEO Pack có đính kèm nhiều tính năng để giúp bạn chặn ‘bad’ bots (bots độc hại), chỉ cần vào tab All in One SEO là thấy:

Vậy là xong. Giờ, hãy nói tiếp đến việc tạo file robots.txt chuẩn cho WordPress thủ công nếu như bạn không muốn cài thêm plugin.

Tạo rồi upload file robots.txt chuẩn cho WordPress qua FTP

Không có gì dễ hơn tạo một file txt. Bạn chỉ việc mở text editor bạn thích.(NotePad hoặc TextEdit), gõ vào vài dòng vào trong đó,.lưu lại dưới bất kỳ tên nào, chọn loại file là txt. Chỉ mất ít phút để làm việc này nên bạn có.thể dễ dàng tạo file robots.txt trong.WordPress mà không cần tới plugin.

Đây là một ví dụ của file robots.txt:

Sau khi bạn tạo xong, bạn cần kết nối tới website qua FTP. Nếu vẫn chưa biết làm, không sao,.chúng tôi có bài hướng dẫn chỉ kết nối tới.website qua FileZilla tại đây.

Sau khi đã kết nối thành công,.chuyển vào thư mục public_html. Tại đây, bạn chỉ cần upload (kéo thả) file robots.txt từ máy tính sang tới server là được. Bạn cũng có thể làm vậy bằng cách click.chuột phải vào file và chọn upload:

Vậy là xong, thường chỉ mất 1 giây.để upload hoàn tất vì file này rất nhẹ. Phương pháp có thể giúp bạn upload robots.txt wordpress mà không cần thông qua plugin.

Kiểm tra xem file robots.txt chuẩn cho wordpress có hoạt động không và gửi nó lên Google Search Console

Khi file chuẩn WordPress robots.txt đã được tạo và.upload thành công, bạn có thể dùng Google Search Console để kiểm thử nó xem có lỗi không. The Search Console là bộ tools mà Google cung cấp.để kiểm tra nội dung site của bạn hiển thị.như thế nào với trình tìm kiếm. Một trong số các tools này là để kiểm tra robots.txt. Để sử dụng, bạn đăng nhập vào console, và chuyển tới tab robots.txt Tester:

Bên trong, bạn sẽ thấy trường editor mà bạn có thể nhập code của file robots.txt vào, click vào nút Submit. Google Search Console sẽ hỏi bạn có muốn dùng code mới không, hoặc kéo file mới về từ site của bạn. Nhấn vào nút Ask Google to Update để gửi lên Google:

Giờ, Google sẽ kiểm tra file có lỗi không. Nếu có, nó sẽ cho bạn biết. Tuy nhiên, giờ chắc bạn đã biết cách tạo file robots.txt chuẩn cho WordPress, khả năng lớn là file của bạn sẽ hoàn hảo!

Lời kết
Để tăng khả năng tiếp cận của site lên trình tìm kiếm, bạn cần chắc là bot của search engine không bị chặn, và có thể crawl (quét) đúng những khu vực nó cần, đúng các thông tin quan trọng. Như bạn thấy, một file robots.txt chuẩn sẽ giúp bots tương tác tốt với site của bạn thế nào. Từ đó, thông tin của bạn sẽ được hiển thị chính xác hơn, hữu dụng hơn cho người tìm kiếm.

Nếu bạn có bất kỳ câu hỏi nào về việc tạo file robots.txt chuẩn cho WordPress, hãy để lại bình luận bên dưới nhé!

Nội dung liên quan

• Hướng dẫn thiết kế Web bằng WordPress từ A đến Z
• Hướng dẫn cách xây dựng Backlink chất lượng cho trang Website
• Hướng dẫn cách tạo Sitemap cho WordPress hiệu quả nhanh chóng