Hướng dẫn cài đặt file Robots.txt WordPress đơn giản, nhanh chóng

Khi bạn bắt đầu một chiến dịch SEO onpage, thì chắc hẳn bạn đã từng nghe qua về việc tạo file robots.txt để hỗ trợ hoặc ngăn chặn các công cụ tìm kiếm website của mình. Trong bài này, tôi sẽ hướng dẫn cách bạn tạo ra file robots.txt bằng Yoast SEO và cách để khai thác file Robots.txt WordPress triệt để nhất cho SEO.

Làm thế nào để tạo file robots.txt WordPress?

Sau khi bạn đã quyết định rule nào sẽ được đặt trong file robots.txt, phần còn lại là tạo nó thôi. Bạn có thể chỉnh sửa file robots.txt trong WordPress bằng plugin hoặc thủ công. Trong phần này, chúng tôi sẽ chỉ bạn dùng 2 plugin phổ biến để tạo file robots.txt cho WordPress và cách thủ công để tạo file robots.txt rồi upload lên host.

Sử dụng Yoast SEO

Yoast SEO thì chắc không cần phải giới thiệu nữa. Bất kỳ ai cần SEO cho WordPress website chắc đã có cài plugin này. Nó hướng dẫn bạn tối ưu bài viết và từng trang web bằng cách tận dụng từ khóa tốt hơn. Ngoài ra, nó cũng giúp bạn tăng khả năng dễ đọc của bài viết, giúp cho bài viết giữ chân người đọc lâu hơn.

• Sử dụng Yoast SEO vì tính tiện dụng của nó. Cách tạo file robots.txt cũng đơn giản nếu bạn đã có pluign này.
• Sau khi bạn cài đặt plugin này xong chuyển tới tab SEO -> Tools trong dashboard của bạn, tìm tới mục gọi là File editor.
• Click vào link đó sẽ gửi bạn tới trang mới, nơi bạn có thể chỉnh sửa file .htaccess mà không cần thoát dashboard (trang admin WordPress). Có một nút gọi là  Create robots.txt file, sẽ giúp bạn tạo file robots.txt.
• Khi bạn click vào nút này, tab sẽ hiển thị editor mới nơi bạn có thể chỉnh sửa file robots.txt trực tiếp. Lưu ý là Yoast SEO sẽ đặt giá trị mặc định của nó, để ghi đè lên file ảo robots.txt.
• Mỗi khi bạn thêm rules mới hoặc xóa rules cũ, nhớ click nút Save changes to robots.txt để lưu lại.

Vậy là xong, bạn đã tạo xong file robots.txt chuẩn cho WordPress. Giờ hãy xem cách tạo bằng plugin khác, cũng nổi tiếng không kém.

Tạo rồi upload file robots.txt WordPress qua FTP

Không có gì dễ hơn tạo một file txt. Bạn chỉ việc mở text editor bạn thích (NotePad hoặc TextEdit), gõ vào vài dòng vào trong đó, lưu lại dưới bất kỳ tên nào.

• Chọn loại file là txt. Chỉ mất ít phút để làm việc này nên bạn có thể dễ dàng tạo file robots.txt trong WordPress mà không cần tới plugin.
• Sau khi bạn tạo xong, bạn cần kết nối tới website qua FTP.
• Sau khi đã kết nối thành công, chuyển vào thư mục public_html.
• Tại đây, bạn chỉ cần upload (kéo thả) file robots.txt từ máy tính sang tới server là được. Bạn cũng có thể làm vậy bằng cách click chuột phải vào file và chọn upload.
• Kiểm tra xem file WordPress robots.txt có hoạt động không và gửi nó lên Google Search Console
• Khi file chuẩn WordPress robots.txt đã được tạo và upload thành công, bạn có thể dùng Google Search Console để kiểm thử nó xem có lỗi không.
• The Search Console là bộ tools mà Google cung cấp để kiểm tra nội dung site của bạn hiển thị như thế nào với trình tìm kiếm.
• Một trong số các tools này là để kiểm tra robots.txt.  Để sử dụng, bạn đăng nhập vào console, và chuyển tới tab robots.txt Tester:
• Bên trong, bạn sẽ thấy trường editor mà bạn có thể nhập code của file robots.txt vào, click vào nút Submit. Google Search Console sẽ hỏi bạn có muốn dùng code mới không, hoặc kéo file mới về từ site của bạn.
• Nhấn vào nút Ask Google to Update để gửi lên Google.

Qua bộ plugin All in One SEO Pack

All in One SEO Pack là một plugin rất nổi tiếng trong giới WordPress SEO. Nó bao gồm tất cả những tính năng của Yoast SEO, nhưng nhiều người thích nó hơn vì nó nhẹ hơn. Cũng như vậy với việc tạo file robots.txt cho WordPress, nếu có plugin này thì mọi chuyện rất dễ dàng.

• Sau khi bạn đã hoàn tất set up plugin này, chuyển tới mục All in One SEO > Feature Manager trong dashboard. Ở trong đó, hãy tìm tùy chọn có tên Robots.txt, với nút Activate ngay bên dưới. Click vào nó.
• Tab mới Robots.txt sẽ hiện bên dưới menu All in One SEO. Bạn click vào đó sẽ thấy nhiều lựa chọn để thêm rules mới cho file, lưu thay đổi hoặc xóa nó đi.
• Lưu ý là bạn chưa thể thay đổi file robots.txt trực tiếp từ plugin này. Phần nội dung sẽ bị mờ đi, khác với Yoast SEO là cho bạn gõ tùy thích vào file

Lý do bạn cần sử dụng File Robots.txt WordPress là gì ?

Khi bạn tạo mới một website, search engine sẽ gửi những con bọ máy tính (bots) tới để ‘quét’ qua nó và tạo ra một bản đồ chứa các trang web trong nó. Bằng cách này, chúng biết được trang nào cần thể hiện kết quả khi ai đó tìm từ khóa liên quan.

Nhưng vấn đề nảy sinh khi các website hiện chứa nhiều thành phần hơn là trang web. WordPress cho phép bạn tạo plugins, thường thì nó có thư mục riêng của chúng. Bạn sẽ không muốn những trang này hiện lên kết quả tìm kiếm, vì thực ra nó không có nội dung giá trị.

File robots.txt tạo ra một bộ chỉ dẫn cho search engine bots. Nó nói với chúng: “Hey, mày có thể xem ở đây, nhưng không đi vào những phòng khác ở kia!”. File này có thể rất chi tiết tùy theo mức độ bạn muốn. Nó cũng dễ tạo và không đòi hỏi kiến thức kỹ thuật gì nhiều.

Trên thực tế, trình tìm kiếm sẽ quét site của bạn kể cả khi bạn không có cài file robots.txt. Nhưng sẽ không đạt hiểu quả cao, do bot sẽ index toàn bộ nội dung của bạn, và quét sâu đến độ có thể nó sẽ hiển thị những nơi bạn không muốn người khác truy cập vào.

Hơn nữa, nếu không có file robots.txt, bạn sẽ có nhiều nhiều loại bots quét tới quét lui toàn bộ site của bạn. Vì vậy sẽ gây ảnh hưởng tiêu cực đến hiệu năng hoạt động của site. Tốc độ trang là yếu tố quan trọng để được tính xếp hạng. Và như bạn biết, không ai thích vào một site truy cập chậm khả (kể cả chủ trang web như chúng ta

File robots.txt WordPress nằm ở đâu

Khi bạn tạo website WordPress, nó sẽ tự động tạo ra một file robots.txt đặt ngay bên dưới thư mục gốc của server. Ví dụ, nếu site của bạn đặt trong thư mục gốc của địa chỉ yourfakewebsite.com, bạn sẽ có thể truy cập file robots.txt ở đường dẫn yourfakewebsite.com/robots.txt, kết quả ban đầu sẽ tương tự như sau:

• User-agent: *
• Disallow: /wp-admin/
• Disallow: /wp-includes/

Đây là ví dụ file robots.txt cơ bản. Phần sau User-agent: Dấu * có nghĩa là quy tắc được áp dụng cho mọi loại bots trên khắp nơi trên website. Trong trường hợp này, file này sẽ nói cho bots biết là chúng không được phép vào trong file thư mục wp-admin và wp-includes. Rất hợp lý phải không, vì 2 thư mục này chứa rất nhiều file thông tin nhạy cảm.

Hãy nhớ, đây là một file ảo, do WordPress tự thiết lập mặc định khi cài đặt và không chỉnh sửa được (mặc dù nó vẫn hoạt động). Thường thì, vị trí file robots.txt WordPress chuẩn được đặt trong thư mục gốc, thường được gọi là public_html và www (hoặc tên website). Và để tạo file robots.txt cho riêng bạn thì bạn cần tạo một file mới để thay thế file cũ đặt trong thư mục gốc đó.

Ở hướng dẫn tiếp theo, chúng tôi sẽ chỉ bạn nhiều cách để tạo mới file robots.txt cho WordPress chỉ trong 1 phút. Giờ thì, hãy nghiên cứu về các quy tắc (rules) mà bạn nên sử dụng trong file này.

Dịch vụ thiết kế website của Semtek

• Dịch Vụ VPS Bảo Mật No1 | Uptime 99,99%
• VPS có cấu hình cao có tính ổn định & bảo mật an toàn cao
• Sử dụng dễ dàng dù không cần am hiểu IT
• Tốc độ luôn ổn định, băng thông 32Gbit, hạ tầng đồng bộ mạnh mẽ
• Hỗ Trợ kỹ thuật hệ thống liên tục 24/7
• VPS SSD sử dụng công nghệ 100% SSD Intel Enterprise và hỗ trợ chống DdoS

Tốc độ vượt trội

Sử dụng 100% ổ cứng SSD Enterprise mang đến trải nghiệm khác biệt về tốc độ truy vấn xử lý dữ liệu

Bảo vệ dữ liệu

Dữ liệu sẽ được backup định kỳ hàng tuần nhằm đảm bảo an toàn cho dữ liệu ở mức độ cao nhất

Dùng thử miễn phí

Trải nghiệm Cloud VPS SSD miễn phí trong vòng 07 ngày trước khi quyết định sử dụng dịch vụ

Đội ngũ tư vấn

Trải nghiệm sự khác biệt với dịch vụ chăm sóc khách hàng từ đội ngũ tư vấn chuyên nghiệp và thân thiện

Nâng cấp dễ dàng

Hệ thống cho phép nâng cấp, mở rộng tài nguyên CPU, RAM, SSD ngay lập tức trong quá trình sử dụng

Hệ điều hành

Chủ động lựa chọn nhiều hệ điều hành với các phiên bản khác nhau tuỳ theo nhu cầu sử dụng

Thời gian uptime

Xây dựng và thiết kế theo cơ chế N+1, tăng cường sự ổn định và đảm bảo thời gian uptime tới 99,5%

Công cụ quản lý

Giao diện quản lý được thiết kế với phong cách đơn giản và trực quan với người dùng

Khi thiết kế website bán hàng tại SEMTEK, quý khách được tư vấn trọn gói tận tình từ khâu chọn domain, tư vấn thiết kế giao diện web bán hàng và các chức năng nghiệp vụ quản lý, chiến lược phát triển quảng bá website và tìm kiếm nguồn khách hàng. Bên cạnh đó bạn cũng tham gia vào quá trình giám sát tiến độ hoàn thành của việc thiết kế website bổ sung ý kiến trong từng công đoạn thiết kế để đảm bảo một sản phẩm hoàn hảo nhất.Website của bạn sẽ được thiết kế với giao diện đẹp mắt, dễ sử dụng, thiết kế web chuẩn SEO mà còn có tốc độ tải trang nhanh.

Việc chọn được đơn vị thiết kế website bán hàng tốt không chỉ tạo ra một web bán hàng chuyên nghiệp, khẳng định thương hiệu cho người kinh doanh mà còn hỗ trợ tuyệt vời trong khâu quảng bá sản phẩm dịch vụ để gia tăng doanh số. Hãy để SEMTEK đồng hành cùng bạn trong việc bán hàng.

SEMTEK Co,. LTD

VPS Server | WordPress Web design | SEO | Content Marketing | Email Server

Địa chỉ: 2N Cư Xá Phú Lâm D, Phường 10, Quận 6, Hồ Chí Minh

Điện thoại: 098 300 9285

Email: quang.nguyen@semtek.com.vn

Các tìm kiếm liên quan:

• file robots.txt chuẩn cho wordpress
• Mẫu file robot txt
• tạo file robots.txt chuẩn
• Tạo file robot txt
• Cấu trúc file robots txt
• SEO robots txt
• Add robot txt
• Config robots txt

Nội dung liên quan:

• SEMTEK – dịch vụ thiết kế Web WordPress chuẩn SEO, uy tín, chuyên nghiệp
• CMD Là Gì? Các Lệnh CMD Hay Dùng Nhất Là Gì?
• Dịch vụ chăm sóc Website uy tín chuyên nghiệp tại TPHCM