Robots.txt Checker

robots.txt làm gì cho SEO?

File robots.txt hướng dẫn search engine được crawl trang nào. Cấu hình sai có thể vô tình chặn toàn bộ website khỏi Google. Công cụ tải và phân tích từng quy tắc.

File robots.txt nhỏ bé nhưng có sức tàn phá lớn: chỉ một dòng "Disallow: /" đặt nhầm là toàn bộ website biến mất khỏi Google. Đây là lỗi cực kỳ phổ biến sau khi chuyển site từ môi trường staging lên production mà quên gỡ chặn. Robots.txt Checker tải file robots.txt của bạn về và phân tích từng quy tắc: liệt kê các nhóm User-agent, đếm số dòng Allow/Disallow, phát hiện đường dẫn nào đang bị chặn crawl, và kiểm tra xem bạn đã khai báo Sitemap trong file chưa (một best practice giúp Google tìm sitemap nhanh hơn). Toàn bộ nội dung gốc cũng được hiển thị để bạn đối chiếu trực tiếp. Dùng công cụ này mỗi lần deploy để chắc chắn không vô tình chặn nhầm.

• Đếm quy tắc Allow/Disallow và User-agent
• Phát hiện khai báo Sitemap trong robots.txt
• Hiển thị nội dung gốc để đối chiếu