robots.txt กับ AI bot: ปิดกั้น AI อยู่โดยไม่รู้ตัวหรือเปล่า
หลายเว็บปิดกั้น AI bot ไว้โดยไม่รู้ตัวจากไฟล์ robots.txt บทความนี้พาตรวจสอบทีละขั้นตอนและตั้งค่าให้ตรงกับนโยบายที่คุณต้องการ
ทำไมต้องตรวจ robots.txt ตอนนี้
ไฟล์ robots.txt เป็นไฟล์ข้อความเล็ก ๆ ที่วางไว้ที่รากของเว็บไซต์ เช่น yourdomain.com/robots.txt ใช้บอกโปรแกรมที่เข้ามาเก็บข้อมูลจากเว็บว่าควรเข้าถึงส่วนไหนได้บ้าง ปัจจุบันมีบอทจากผู้พัฒนา AI หลายรายที่ใช้กลไกนี้ เช่น GPTBot ของ OpenAI ซึ่งเก็บข้อมูลเว็บเพื่อใช้ในการพัฒนาโมเดล
ปัญหาคือ หลายธุรกิจตั้งค่าไฟล์นี้ไว้นานแล้วโดยไม่ได้คิดถึงบอท AI หรือใช้ไฟล์ที่ติดตั้งมาจากแพลตฟอร์มสำเร็จรูปที่มีกฎกว้าง ๆ อยู่แล้ว ผลคือคุณอาจปิดกั้นบอทบางตัวโดยไม่ได้ตั้งใจ ทั้งที่จริงอาจอยากให้ AI เข้าถึงข้อมูลสินค้าหรือบริการของคุณก็ได้
ขั้นที่ 1: เปิดไฟล์ robots.txt ดูด้วยตัวเอง
พิมพ์ที่อยู่เว็บของคุณตามด้วย /robots.txt ในเบราว์เซอร์ เช่น yourdomain.com/robots.txt ถ้าหน้าขึ้นว่าไม่พบ แปลว่าเว็บไม่มีไฟล์นี้ ซึ่งหมายความว่าบอทส่วนใหญ่จะเข้าถึงได้ตามปกติ แต่ให้ตรวจการตั้งค่าอื่นต่อในขั้นตอนที่ 4
ขั้นที่ 2: มองหากฎที่ปิดทุกบอท
ในไฟล์ให้มองหาบล็อกที่ขึ้นต้นด้วย User-agent: * ถ้ามีบรรทัด Disallow: / ตามหลังโดยไม่มีเงื่อนไขอื่น แปลว่าปิดกั้นบอททุกตัวที่ทำตามมาตรฐานนี้ ซึ่งรวมถึงบอทค้นหาด้วย ถ้าเจอแบบนี้และไม่ได้ตั้งใจ ให้แก้ไขทันที
ขั้นที่ 3: มองหากฎที่ระบุชื่อ AI bot
ค้นหาชื่อบอทที่เกี่ยวข้อง เช่น
- GPTBot ของ OpenAI
- Google-Extended ที่ Google ใช้ควบคุมการนำเนื้อหาไปใช้ฝึกโมเดล Gemini โดยไม่กระทบการค้นหาปกติของ Googlebot
- ClaudeBot และชื่อที่ Anthropic ประกาศไว้
ชื่อบอทอาจเปลี่ยนหรือมีเพิ่มได้ตลอด จึงควรเปิดเอกสารของผู้ให้บริการแต่ละรายเป็นระยะ อย่าอาศัยความจำ
ขั้นที่ 4: ตรวจการปิดกั้นนอกไฟล์
robots.txt เป็นข้อตกลงที่บอทที่ดีจะปฏิบัติตาม แต่ไม่ใช่กำแพงที่บังคับได้จริง การตั้งค่าอื่นก็มีผลเช่นกัน เช่น
- ระบบ CDN หรือ WAF ที่มีโหมดป้องกันบอทเปิดอยู่
- ปลั๊กอินความปลอดภัยบนเว็บที่บล็อก user agent บางตัว
- กฎในไฟล์ .htaccess หรือ server config
ถ้าไฟล์ robots.txt เปิดให้เข้าได้แต่ระบบป้องกันบล็อกไว้ บอทก็ยังเข้าไม่ได้ ให้ตรวจบันทึกการเข้าถึง (access log) หรือแดชบอร์ดของ CDN ว่ามี request จากบอทเหล่านี้ถูกปฏิเสธหรือไม่
ขั้นที่ 5: ตัดสินใจนโยบายของคุณก่อนแก้ไข
ก่อนแก้ไขไฟล์ ให้ตอบคำถามเหล่านี้
- ต้องการให้บอทฝึกโมเดลเก็บเนื้อหาไปใช้หรือไม่
- ต้องการให้ AI ดึงข้อมูลสดจากเว็บเพื่อตอบคำถามลูกค้าหรือไม่
- มีส่วนไหนที่ควรปิด เช่น หน้าบัญชีผู้ใช้ หรือหน้าทดสอบ
คำตอบแต่ละข้อนำไปสู่การตั้งค่าที่ต่างกัน และบอทที่ใช้เพื่อฝึกโมเดลกับบอทที่ดึงข้อมูลเพื่อตอบคำถามมักเป็นคนละตัว จึงควรแยกดูทีละตัว
ขั้นที่ 6: แก้ไขไฟล์อย่างระมัดระวัง
ตัวอย่างการเปิดให้ GPTBot เข้าถึงได้ทั้งเว็บ แต่ปิดเฉพาะโฟลเดอร์ที่เป็นข้อมูลส่วนตัว
User-agent: GPTBot\nAllow: /\nDisallow: /account/\n
ตัวอย่างการปิด GPTBot ทั้งเว็บ
User-agent: GPTBot\nDisallow: /
หลังแก้ไข ให้บันทึกไฟล์ในรูทของเว็บเท่านั้น และอย่าลืมว่าการเปลี่ยนแปลงจะมีผลกับการเข้ามาครั้งถัดไปของบอท ไม่ได้ลบข้อมูลที่เคยถูกเก็บไปแล้ว
ขั้นที่ 7: ทดสอบและติดตามผล
เปิด URL ของไฟล์อีกครั้งเพื่อยืนยันว่าเนื้อหาถูกต้อง จากนั้นตรวจบันทึกการเข้าถึงหลายสัปดาห์เพื่อดูว่าบอทที่เกี่ยวข้องยังเข้ามาหรือไม่ และเข้าถึงส่วนที่คุณตั้งใจให้เข้าได้จริงหรือเปล่า
นอกจากนี้ ลองถามคำถามที่ลูกค้าอาจถามเอง เช่น ขอคำแนะนำบริการประเภทของคุณใน AI ผู้ช่วยหลายตัว แล้วดูว่าแบรนด์ของคุณปรากฏหรือไม่ การวัดแบบนี้อย่างสม่ำเสมอช่วยให้เห็นผลจริงของการตั้งค่า ซึ่งเครื่องมือเช่น NamaRadar ออกแบบมาเพื่อช่วยติดตามเรื่องนี้
ข้อควรระวังก่อนปิดกั้นทุกอย่าง
การปิดกั้นบอท AI ไม่ได้ผิดเสมอไป หลายธุรกิจเลือกทำเพื่อปกป้องเนื้อหาต้นฉบับ แต่ควรรู้ว่าการปิดอาจทำให้ AI ดึงข้อมูลจากเว็บคุณได้น้อยลง ซึ่งอาจกระทบว่าแบรนด์ถูกแนะนำในคำตอบหรือไม่ ทางที่ดีคือตัดสินใจจากเป้าหมายทางธุรกิจ แล้วตรวจสอบผลเป็นระยะ
สรุปขั้นตอนวันนี้
- เปิด yourdomain.com/robots.txt และอ่านทุกบรรทัด
- หา Disallow: / ที่ใช้กับทุกบอทโดยไม่ตั้งใจ
- ตรวจชื่อ GPTBot, Google-Extended และ ClaudeBot ในไฟล์
- ตรวจ CDN, WAF และปลั๊กอินที่อาจบล็อกบอทเพิ่มเติม
- กำหนดนโยบายให้ชัดก่อนแก้ไข
- แก้ไข บันทึก และทดสอบ
- ติดตามผลและวัดการปรากฏของแบรนด์เป็นระยะ
แก้แล้วยังไม่แน่ใจว่าเหลือจุดที่กันบอทอยู่อีกไหม SEO + GEO Audit เช็คให้ครบในรอบเดียว ทั้ง robots.txt, CDN, WAF และการเข้าถึงของบอทแต่ละตัว
เว็บคุณติดข้อไหนบ้าง?
เช็คฟรีในราว 1 นาที ระบบบอกว่า AI แนะนำคุณหรือแนะนำคู่แข่ง หรือให้เราแก้ให้ผ่าน Audit