Cách chỉnh sửa và cài đặt Robots.txt trong Blogger để cải thiện Seo

Thành thực mà nói công việc Seo một Blog hay Website đòi hỏi nhiều công sức. Ngoài việc Seo bài viết tức là Seo nội dung thì một Seoer còn phải để lý và lưu tâm đến các công cụ hay một vài tùy chỉnh hỗ trợ. Đây là một điều mà hầu như các Seoer hơi xem nhẹ dẫn đến thất bại trong việc hoạch định phát triển Website, Blog.  Phanmemgiaoduc.Info hôm nay chia sẻ với bạn đọc một mẹo nhỏ để cải thiện tình hình Seo một trang Web hay Blog đó là dùng file Robots.txt để báo với Google rằng hãy cào bài viết theo cách của tôi.

Tìm hiểu về file Robots.txt.

Robots.txt là file dạng văn bản có cấu trúc nhằm chỉ dẫn giúp các spider  như bot, crawler của các SE (Công cụ tìm kiếm, Search engine) vào website để thu thập dữ liệu theo một cách nhất định. Thông thường file robots.txt chỉ gồm mấy dòng nhưng tác động thật to lớn đến cách thu thập thông tin về một website của SE. Tùy vào từng công cụ tìm kiếm mà file có thể điều chỉnh khác nhau.
Một số loại bot của SE như: Googlebot (Google) (anh cả trong làng tìm kiếm, hiện nay là trang web số 1 thế giới), Googlebot-Image (Google, công cụ hỗ trợ tìm kiếm ảnh), Yandex(SE của Nga), Bingbot(Bing)/Yahoo Slurp(Yahoo)...
File robots.txt sẽ cho phép SE index một nội dung trên trang hoặc ngăn chặn không cho các SE đụng đến một nội dung tế nhị nào đó trên Website.

Nói đến Blogspot, tải sao ta cần phải chỉnh sửa và cài đặt lại file Robots.txt?

Thông thường một file robots.txt có dạng cơ bản sau:

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.phanmemgiaoduc.info/feeds/posts/default?orderby=UPDATED

Một vài hiểu biết mà chúng ta cần lưu ý:

- Dòng đầu tiên User-agent: Mediapartners-Google, thông báo rằng kiểu thu thập, index nội dung theo cách của Adsense. (bạn đọc nếu cần biết thì sẽ phân tích trong dịp khác)

- Dòng thứ hai quan trọng nhất mà ta cần tìm hiểu, đó là Disallow: không cho phép công cụ tìm kiếm index một nội dung. Ở trên là không cho phép index các trang có url - đường dẫn dạng http://www.phanmemgiaoduc.info/search

- Dòng cuối cùng nói đến sơ đồ trang web, khi chúng ta khai báo sơ đồ trang thì Google sẽ bắt đầu lập chỉ mục, cào bài viết chúng ta, thông thường Google chỉ cào khoảng 25 - 26 bài mới nhất (cái này tìm hiểu sau)

Với kiểu cài đặt như trên thì xảy ra một tình trạng nguy hiểm đối với website đó là Trùng lặp nội dung hay Duplicate Content.

 

Cách chỉnh sửa và cài đặt Robots.txt trong Blogger để cải thiện Seo

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://www.phanmemgiaoduc.info/feeds/posts/default?orderby=updated

http://www.phanmemgiaoduc.info/robots.txt