Hẳn là bạn đã từng nghe đến Googlebot. Vậy Googlebot là gì? Google bot hoạt động như thế nào? Những yếu tố nào ảnh hưởng đến Googlebot?

Đây không phải là Googlebot, đây chỉ là ảnh minh hoạ cho Googlebot thôi.
Đây không phải là Googlebot, đây chỉ là ảnh minh hoạ cho Googlebot thôi.

Googlebot là gì?

Googlebot là 1 phần mềm máy tính. Nó có chức năng tự động tìm kiếm và lập chỉ mục các website trên internet.

Googlebot hoạt động như thế nào?

Googlebot sử dụng sơ đồ web (Sitemap) và cơ sở dữ liệu của các liên kết trong các lần thu thập trước đó để xác định nơi tiếp theo. Bất cứ khi nào  tìm thấy các liên kết mới trên một trang web, nó sẽ thêm chúng vào danh sách các trang sẽ truy cập lần tới. Googlebot xác định tần suất thu thập dữ liệu các trang dựa trên đánh giá của nó về website. Nếu website thường xuyên được cập nhật thông tin, Googlebot sẽ xuất hiện thường xuyên.

Làm sao để biết Googlebot đã ghé thăm website của bạn?

Bạn có thể truy cập vào nhật ký (log file) trong Google Search Console để tìm hiểu tần suất mà Googlebot truy cập vào trang web của bạn. Nếu muốn tối ưu hiệu suất trang web để tăng tần suất ghé thăm website bạn có thể sử dụng các phần mềm tối ưu SEO như Kibana hoặc Screamming Frog.

Bạn cũng có thể sử dụng file robots.txt để quy định cách Googlebot truy cập trang web của bạn. Tuy nhiên, cần lưu ý khi sử dụng file robots.txt vì nếu bạn làm điều này sai cách, bạn có thể chặn Googlebot trên toàn site. Điều này sẽ khiến trang web của bạn bị loại ra khỏi chỉ mục.

Những yếu tố ảnh hưởng đến Googlebot

1. DFI (Distance From Index)

DFI – Khoảng cách đến địa chỉ cần lập chỉ mục (Index). Được tính bằng số click từ URL gốc đến URL cần lập chỉ mục. Đây là một trong những tiêu chí quan trọng nhất ảnh hưởng đến tần suất truy cập của Googlebot.

Lưu ý: DFI không tính bằng số gạch / có trên URL.

VD: Cách tính DFI của url: https://www.sacombank.com.kh/en/product/personal/loans/special-loan/market-loan-persen/

= https://www.sacombank.com.kh/ -> https://www.sacombank.com.kh/en/ -> https://www.sacombank.com.kh/en/personal/ -> https://www.sacombank.com.kh/en/product-category/personal/loans/ -> https://www.sacombank.com.kh/en/product-category/personal/loans/special-loan/ -> https://www.sacombank.com.kh/en/product/personal/loans/special-loan/market-loan-persen/

Trong trường hợp này: DFI = 5

Dưới đây bạn có thể thấy mức độ quan tâm của Googlebot đối với DFI của URL

Mức độ quan tâm của Googlebot tới DFI của URL
Mức độ quan tâm của Googlebot tới DFI của URL

Như bạn có thể thấy, với DFI từ 4 trở đi, Googlebot chỉ thu thập dữ liệu của 1 nửa số trang web. Và tỷ lệ phần trăm các trang được xử lý càng giảm nếu DFI càng lớn. (Các chỉ số trong bảng được thống kê từ 18 triệu Url trong dự án nghiên cứu Googlebot của Jetoctopus).

Vậy biện pháp khắc phục các url có DFI >5 là gì? 

  • Đối với Website:  xây dựng trang web với cấu trúc phân tầng thấp để hạn chế DFI >5.
  • Đối với các Url có DFI dài: kiểm tra và ước tính giá trị của các url. Nếu url không có giá trị thì loại bỏ, nếu có tiềm năng thì cân nhắc xem bạn có thể tối ưu Website để giảm DFI được hay không. Nếu không thể rút ngắn DFI được thì cần tăng cường các liên kết nội bộ để điều hướng truy cập đến trang hiện tại. Tuy nhiên chỉ một vài liên kết nội bộ sẽ không thể cứu vãn được tình thế.
Ảnh hưởng của số link nội bộ đến mức độ thu thập dữ liệu của Googlebot
Ảnh hưởng của số link nội bộ đến mức độ thu thập dữ liệu của Googlebot

2. Độ dài nội dung

Nội dung là một trong những khía cạnh phổ biến nhất của phân tích SEO. Tất nhiên, nội dung càng phù hợp trên trang web của bạn, tỷ lệ thu thập dữ liệu của bạn càng cao.

Những nội dung dưới 500 chữ thường bị đánh giá là những nội dung rác, không chất lượng. Với những trang quan trọng, bạn cần cân nhắc thêm những nội dung liên quan. Nếu bạn không có gì để thêm vào, hãy để nguyên như vậy. Nội dung cần tự nhiên để không làm người đọc khó chịu mà rời trang của bạn. 

3.Thời gian tải trang (Page speed)

Tốc độ trang web rất quan trọng đến việc thu thập thông tin và xếp hạng. Bot được lập trình để tối ưu hoá trải nghiệm của người dùng. Do đó, nó sẽ ưu tiên những trang có tốc độ tải nhanh.

4. Orphan page

Đây là những trang không hề có liên kết nội bộ nào trong website của bạn (DFI=0). Có thể bạn cũng không biết đến sự tồn tại của nó. Các Orphan page này gây ảnh hưởng xấu đến SEO. Lý do tương đối dễ hiểu, các công cụ tìm kiếm như Google cho rằng một trang không có bất kỳ liên kết nội bộ nào là những trang rác và không quan trọng. Và vì thế, Google sẽ trừ điểm SEO nếu website của bạn tồn tại những liên kết này.

Có hai cách để khắc phục vấn đề tiềm ẩn này:

  • Cách 1: sắp xếp cấu trúc của trang web, chèn chính xác các liên kết nội bộ, thêm các liên kết từ các trang được lập chỉ mục và chờ lần truy cập tiếp theo của Googlebot.
  • Cách 2: thu thập danh sách orphan page và kiểm tra xem chúng có liên quan hay không. Nếu có, hãy tạo sitemap với các URL này và gửi cho Google. Cách này dễ dàng hơn và nhanh hơn, nhưng chỉ một nửa số orphan page sẽ nằm trong chỉ mục.

 

LEAVE A REPLY

Please enter your comment!
Please enter your name here