File robots.txt đóng vai trò như một công cụ thiết yếu để quản lý website và tối ưu hóa SEO. Nó trở thành điểm tiếp xúc đầu tiên giữa website của bạn và Googlebot, giúp bạn đưa ra chỉ dẫn về khu vực chúng được và không được tiếp xúc. Bài viết này, cùng phần mềm MKT tìm hiểu tệp robot.txt là gì và cách xác nhận robot.txt cho website ngay bây giờ.
I. Robot.txt là gì? Định dạng cơ bản của robot.txt
1. Robot.txt là gì?
File robots.txt là một tập tin văn bản đơn giản có dạng .txt. Tệp này là một phần của Robots Exclusion Protocol (REP) chứa một nhóm các tiêu chuẩn Web quy định cách Robot Web (hoặc Robot của các công cụ tìm kiếm) thu thập dữ liệu trên web, truy cập, index nội dung và cung cấp nội dung đó cho người dùng.
Hiểu đơn giản hơn thì robots.txt là một tệp tin văn bản nằm trong thư mục gốc của trang web và cung cấp hướng dẫn cho các công cụ tìm kiếm thu thập thông tin về các trang mà họ có thể thu thập thông tin để lập chỉ mục.
Việc tạo File robots.txt cho website giúp bạn kiểm soát việc truy cập của các con Bots đến các khu vực nhất định trên trang web. Và điều này có thể vô cùng nguy hiểm nếu bạn vô tình sai một vài thao tác khiến Googlebot không thể index website của bạn. Tuy nhiên, việc tạo file robots.txt vẫn thật sự hữu ích bởi nhiều lí do:
- Ngăn chặn trùng lặp nội dung xuất hiện trong website (lưu ý rằng các Robot Meta thường là lựa chọn tốt hơn cho việc này)
- Giữ một số phần của trang ở chế độ riêng tư
- Giữ các trang kết quả tìm kiếm nội bộ không hiển thị trên SERP
- Xác định vị trí sitemap (XML) của website cho các công cụ tìm kiếm.
- Ngăn các công cụ của Google index một số tệp nhất định trên trang web của bạn (hình ảnh, PDF, …)
- Dùng lệnh Crawl-delay để cài đặt thời gian. Điều này sẽ ngăn việc máy chủ của bạn bị quá tải khi các trình thu thập dữ liệu tải nhiều nội dung cùng một lúc.
2. Định dạng cơ bản của robot.txt
Mỗi tệp robot.txt trên các website khác nhau là khác nhau. Thông thường, định dạng cơ bản nhất của file robot.txt xuất hiện 5 lệnh cơ bản như sau:
- User-agent: Phần này là tên của các trình thu thập, truy cập dữ liệu web. (ví dụ: Googlebot, Bingbot,…)
- Disallow: Được sử dụng để thông báo cho các User-agent không thu thập bất kỳ dữ liệu URL cụ thể nào. Mỗi URL chỉ được sử dụng 1 dòng Disallow.
- Allow (chỉ áp dụng cho bọ tìm kiếm Googlebot): Lệnh thực hiện thông báo cho Googlebot rằng nó sẽ truy cập một trang hoặc thư mục con. Mặc dù các trang hoặc các thư mục con của nó có thể không được phép.
- Crawl-delay: Thông báo cho các Web Crawler biết rằng nó phải đợi bao nhiêu giây trước khi tải và thu thập nội dung của trang. Tuy nhiên, lưu ý rằng bọ tìm kiếm Googlebot không thừa nhận lệnh này. Bạn cài đặt tốc độ thu thập dữ liệu trong Google Search Console.
- Sitemap: Được sử dụng để cung cấp các vị trí của bất kì Sitemap XML nào được liên kết với URL này. Lưu ý lệnh này chỉ được hỗ trợ bởi công cụ Google, Ask, Bing và Yahoo.
Tuy nhiên, bạn vẫn có thể lược bỏ các phần Crawl-delay và Sitemap. Đây là định dạng cơ bản của robots.txt WordPress hoàn chỉnh. Tuy nhiên trên thực tế thì file robots.txt chứa nhiều dòng User-agent và nhiều chỉ thị của người dùng hơn.
3. Một vài tệp robot.txt phổ biến
Tất cả các công cụ của Google và Bing cho phép sử dụng 2 biểu thức chính để xác định các trang hoặc thư mục con mà SEO muốn loại trừ. Hai ký tự này là dấu hoa thị (*) và ký hiệu đô la ($).
- * là ký tự đại diện cho bất kỳ chuỗi ký tự nào – Có nghĩa là nó được áp dụng cho mọi loại Bots của các công cụ Google.
- $ là ký tự khớp với phần cuối của URL.
Để chặn tất cả các Web Crawler không được thu thập bất kỳ dữ liệu nào trên website bao gồm cả trang chủ. Chúng ta hãy sử dụng cú pháp sau:
User-agent: *
Disallow: /
Để cho phép tất cả các trình thu thập thông tin truy cập vào tất cả các nội dung trên website bao gồm cả trang chủ. Chúng ta hãy sử dụng cú pháp sau:
User-agent: *
Disallow:
Để chặn trình thu thập, tìm kiếm thông tin của Google (User-agent: Googlebot) không thu thập bất kỳ trang nào có chứa chuỗi URL /www.example.com/example-subfolder/. Chúng ta hãy sử dụng cú pháp sau:
User-agent: Googlebot
Disallow: /example-subfolder/
Để chặn trình thu thập thông tin của Google (User-agent: Googlebot) tránh thu thập thông tin trên trang cụ thể tại www.example.com/example-subfolder/blocked-page. Chúng ta hãy sử dụng cú pháp sau:
User-agent: *
Disallow: /example-subfolder/blocked-page.html
II. Cách xác nhận tệp robot.txt cho website lên công cụ tìm kiếm
Mặc dù không bắt buộc, việc xác nhận tệp robots.txt giúp đẩy nhanh quá trình thu thập dữ liệu của các công cụ tìm kiếm cho website của bạn. Việc submit giúp:
- Xác định và sửa lỗi nhanh chóng trong file robots.txt.
- Giúp các công cụ tìm kiếm hiểu rõ cấu trúc website và nội dung bạn muốn được lập chỉ mục.
Các bước xác nhận tệp robots.txt
- Sử dụng Google Search Console:
- Truy cập Google Search Console và đăng nhập bằng tài khoản Google quản trị website.
- Chọn tab “Crawl”.
- Nhấp vào “Robots.txt Tester”.
- Nhập URL website của bạn và nhấp vào “Kiểm tra”.
- Nếu file robots.txt tồn tại, Google Search Console sẽ hiển thị nội dung của file.
- Nhấp vào “Submit” để xác nhận tệp robots.txt.
III. Một số lưu ý khi sử dụng tệp robot.txt
- Việc chỉ định các lệnh cho từng User-agent là không cần thiết, bởi vì hầu hết các User-agent đều từ một công cụ tìm kiếm và đều tuân theo một quy tắc chung.
- Tuyệt đối không được dùng file robots.txt để chặn các dữ liệu riêng tư như thông tin người dùng vì Googlebot sẽ bỏ qua các lệnh trong tệp robots.txt nên khả năng bảo mật không cao.
- Để bảo mật dữ liệu cho website cách tốt nhất là dùng mật khẩu riêng cho các tệp hoặc URL không muốn truy cập trên website. Tuy nhiên, bạn không nên lạm dụng các lệnh robots.txt vì đôi khi hiệu quả sẽ không cao như mong muốn.
IV. Câu hỏi thường gặp về tệp robot.txt
Tệp robot.txt hoạt động như thế nào ?
Các công cụ tìm kiếm có 2 nhiệm vụ chính:
- Crawl (cào/ phân tích) dữ liệu trên trang web để khám phá nội dung
- Index nội dung đó để đáp ứng yêu cầu cho các tìm kiếm của người dùng
Để crawl được dữ liệu của website thì các công cụ sẽ đi theo các liên kết từ trang này đến trang khác. Cuối cùng, nó thu thập được dữ liệu thông qua hàng tỷ trang web khác nhau. Quá trình crawl dữ liệu này còn được biết đến với tên khác là “Spidering”.
Sau khi đến một trang web, trước khi spidering thì các con bot của công cụ Google sẽ tìm các file robots.txt WordPress. Nếu nó tìm thấy được 1 tệp robots.txt thì nó sẽ đọc tệp đó đầu tiên trước khi tiến hành các bước tiếp theo.
Làm thế nào để kiểm tra website đã có tệp robot.txt hay chưa ?
Để biết được chính xác website của bạn đã có tệp robot.txt hay chưa, bạn có thể kiểm tra bằng cú pháp: root domain/robot.txt. Ví dụ: autolikeinstagram.net/robot.txt là bạn có thế kiểm tra được website này có tệp robot.txt hay không. Nếu không xuất hiện thì website đó chưa thiết lập tệp robot.txt.
Hy vọng qua bài viết này bạn đã biết được tệp robot.txt là gì và cách xác nhận tệp robot.txt cho website lên công cụ tìm kiếm. Đây là thông tin hữu ích cho các webmaster để quản trị website tốt hơn. Hạn chế nguy cơ bị đối thủ phân tích dữ liệu trên trang. Chúc bạn thành công.
