Google ngừng hỗ trợ file robot.txt đối với chỉ thị noindex ngày 1-9-2019

Bắt đầu kể từ ngày 1 tháng 9 năm 2019, Google sẽ ngừng hỗ trợ những quy tắc không được hỗ trợ và chưa được công bố trong giao thức độc quyền của file robot, công ty đã thông báo trên một blog đó chính là Google Webmaster. Điều đó có nghĩa là Google sẽ ngừng hỗ trợ các tệp robot.txt với chỉ thị noindex được liệt kê trong tệp.

Google sẽ ngừng hỗ trợ noindex trong file robot.txt

Vì các lợi ích của việc duy trì một hệ sinh thái lành mạnh và chuẩn bị cho các bản phát hành mã nguồn mở tiềm năng trong tương lai, Google sẽ bỏ tất cả các mã xử lý các quy tắc không được hỗ trợ và chưa được công bố (chẳng hạn như noindex) vào ngày 1 tháng 9 năm 2019. Dành cho những ai dựa vào noindex Chỉ thị lập chỉ mục bằng tệp robot.txt, điều khiển thu thập thông tin, có một số tùy chọn thay thế, Google còn cho biết thêm.

Các lựa chọn thay thế là gì?

Google liệt kê các tùy chọn sau, những tùy chọn mà bạn có lẽ nên sử dụng:

• Thẻ meta Noindex trong robot: Được hỗ trợ cả trong tiêu đề phản hồi của HTTP và HTML, chỉ thị noindex là cách hiệu quả nhất để có thể xóa URL khỏi chỉ mục khi cho phép thu thập thông tin.
• 404 và 410 mã trạng thái HTTP : Cả hai mã trạng thái này có nghĩa là trang không còn tồn tại, điều này sẽ loại bỏ các URL như vậy khỏi chỉ mục của Google sau khi chúng được thu thập và xử lý.
• Bảo vệ mật khẩu: Trừ khi đánh dấu được sử dụng để chỉ ra nội dung đăng ký hoặc trả phí , việc ẩn một trang phía sau thông tin đăng nhập thường sẽ xóa nó khỏi chỉ mục của Google.
• Không cho phép trong tệp robots.txt: Công cụ tìm kiếm chỉ có thể lập chỉ mục các trang mà họ biết, do đó, việc chặn các trang không được thu thập thông tin thường có nghĩa là nội dung của nó sẽ không được lập chỉ mục. Mặc dù công cụ tìm kiếm google cũng có thể lập chỉ mục một URL dựa trên các liên kết từ các trang khác, mà không thấy chính nội dung đó, google đã hướng đến việc làm cho các trang đó ít hiển thị hơn trong tương lai.
• Search Console Xóa công cụ URL : Công cụ này là phương pháp nhanh chóng và dễ dàng để xóa URL tạm thời khỏi kết quả tìm kiếm của Google.

Trở thành một tiêu chuẩn. Google tuyên bố công ty đang làm để biến giao thức loại trừ robot thành tiêu chuẩn và đây có lẽ là thay đổi đầu tiên sắp tới. Trên thực tế, Google đã phát hành phân tích cú pháp robot.txt như một dự án nguồn mở cùng với thông báo này.

Tại sao Google thay đổi. Google đã tìm cách thay đổi điều này trong nhiều năm và với việc chuẩn hóa giao thức, giờ đây nó có thể phát triển. Google cho biết, đã phân tích việc sử dụng các quy tắc robot.txt. Google đang tập trung vào việc xem xét các triển khai không được hỗ trợ của dự thảo internet, chẳng hạn như trì hoãn thu thập dữ liệu,Không theo và noindex. Vì các quy tắc này chưa bao giờ được Google ghi lại, nên việc sử dụng chúng liên quan đến Google bot rất thấp, Google cho biết. Những lỗi này làm tổn hại sự hiện diện của các trang web trong kết quả tìm kiếm của Google theo cách google không nghĩ rằng các quản trị viên web có ý định.

Tại sao chúng ta quan tâm. Điều quan trọng nhất là đảm bảo rằng bạn sẽ không sử dụng lệnh noindex trong tệp robot.txt. Bạn có thể thực hiện các thay đổi được đề xuất ở trên trước ngày 1 tháng 9. Ngoài ra, hãy xem liệu bạn đang sử dụng các lệnh nofollow hay crawl-delay và nếu vậy, hãy tìm cách sử dụng phương thức được hỗ trợ thực sự cho các chỉ thị đó trong tương lai.

Trên đây là tất cả những gì Tùng Phát muốn gửi đến mọi người thông tin này! Hy vọng mọi người sẽ có những cải tiến sắp tới trong quá trình sử dụng noindex.