Search Engine ฺฺส่ง Bot เข้ามาเยี่ยมยังเว็บไซต์ของคุณ

การบริหารเว็บไซต์

ให้สิทธิ์การเข้าถึงแก่โปรแกรมรวบรวมข้อมูลของเราในไฟล์ robot.txt

หากคุณแก้ไขไฟล์ robots.txt ของไซต์ให้ไม่อนุญาตให้โปรแกรมรวบรวมข้อมูลของ AdSense ทำดัชนีหน้าเว็บของคุณ เราจะไม่สามารถแสดงโฆษณา Google บนหน้าเหล่านี้ได้

ในการอัปเดตไฟล์ robots.txt เพื่อให้สิทธิ์การเข้าถึงของโปรแกรมรวบรวมข้อมูลไปยังหน้าเว็บของคุณ ให้ลบข้อความสองบรรทัดต่อไปนี้ออกจากไฟล์ robots.txt

User-agent: Mediapartners-Google
Disallow: /

การเปลี่ยนแปลงนี้จะอนุญาตให้โปรแกรมรวบรวมข้อมูลของเราจัดทำดัชนีเนื้อหาบนเว็บไซต์ของคุณและแสดงโฆษณา Google โปรดทราบว่าการเปลี่ยนแปลงใดๆ ที่คุณทำลงในไฟล์ robots.txt อาจยังไม่ส่งผลต่อดัชนี จนกว่าโปรแกรมรวบรวมข้อมูลของเราจะพยายามเยี่ยมชมเว็บไซต์ของคุณอีกครั้ง

เมื่อใดที่  Search Engine ฺฺส่ง Bot เข้ามาเยี่ยมยังเว็บไซต์ของคุณ สิ่งที่มันจะมองหาอันดับแรกๆ นอกจากลิงก์ หรือไฟล์ต่างๆ แล้วก็จะเป็นไฟล์ Robots.txt นี่ล่ะครับ เปรียบเสมือนเป็นคำสั่งบอกไปยัง Bot ว่าอนุญาตหรือไม่อนุญาตให้เก็บข้อมูลตรงไหนไปหรือให้มองข้ามข้อมูลที่ไหนไป ไม่ต้อง Index เก็บข้อมูล

การสร้าง Robots.txt ก็ไม่มีขั้นตอนอะไรซับซ้อนมากครับ เพียงแค่คุณสร้างไฟล์ robots.txt จากโปรแกรม Text Edittor ธรรมดานี่เอง แล้วก็ เขียนคำสั่งไปทีบรรทัด ดังนี้

User-agent: *
Disallow:

----------------------------------------------------------------------------

User-agent: *  

ส่วนใหญ่ใช้ * แทน bot ทุกตัวเพื่อง่ายต่อการเขียนคำสั่ง

Disallow:

ไม่ต้องใส่อะไรหลังคำสั่ง Disallow:  เป็นคำสั่งให้ Bot นั้น Index เว็บเพจทุกหน้า ไฟล์ทุกไฟล์ เป็นคำสั่งที่นิยมใช้มากที่สุด

Disallow: /admin

ถ้าแบบนี้จะหมายถึงสั่งให้ bot มองข้ามโฟลเดอร์ /admin ไปเลยครับ หรือ

Disallow: /

จะสั่งให้ Bot ไม่ต้อง index อะไรทั้งสิ้นจากเว็บนี้ ไม่ว่าจะโฟลเดอร์ไหน ไฟล์ใดก็ตาม

Robots.txt นี้หากไม่มีก็ไม่ผิด แต่ถ้ามีไว้ก็จะช่วยให้ Google bot รู้ได้ทันทีนะครับว่าต้องทำอะไรต่อบ้าง มีผลดีต่อ Ranking เว็บของคุณแน่นอนครับ