กำหนดค่า robots.txt เพื่อรับชมเพิ่มเติมในการค้นหา

หลายบล็อกและเว็บมาสเตอร์ละเว้นไฟล์ robots.txt เรียนรู้ว่าทำไมไฟล์นี้เป็นสิ่งสำคัญสำหรับ SEO และวิธีที่จะสามารถเพิ่มปริมาณการค้นหาบนเว็บไซต์ของคุณ

A+ A-

ช่วงบ่ายดีผู้อ่าน TechWelkin วันนี้ผมจะบอกคุณเกี่ยวกับความสำคัญของไฟล์ข้อความเล็ก ๆ ที่เรียก robots.txt ในบริบทของ การเพิ่มประสิทธิภาพเครื่องมือค้นหา (SEO) เมื่อเดือนที่แล้วผมทำ SEO สำหรับลูกค้า วัตถุประสงค์ของฉันคือการเพิ่มการจราจรเครื่องมือค้นหาบนเว็บไซต์ของลูกค้า

เมื่อผมวิเคราะห์เว็บไซต์ของพวกเขาผมพบว่าส่วนใหญ่ของสิ่งที่อยู่ในการสั่งซื้อ แต่มีปัญหาที่เห็นได้ชัดน้อยเกินไป หลังจากการวิเคราะห์ผมแนะนำให้เสียบไม่กี่หลุมจากการที่ได้รับการจัดอันดับการค้นหาการรั่วไหล ตอนนี้หลังจากเดือนในเว็บไซต์ที่เข้าชมการค้นหาได้หยิบขึ้นมาและจะยังคงปรับตัวสูงขึ้น

หนึ่งในปัญหาที่สำคัญที่ผมสังเกตเห็นกับเว็บไซต์ที่เป็นตัวตนของไฟล์ robots.txt ลองดูว่าไฟล์นี้อาจมีผลต่อมุมมองของ Google ของเว็บไซต์ของคุณ

robots.txt คืออะไร?
robots.txt เป็นไฟล์ข้อความธรรมดาที่บอกเครื่องมือค้นหาสิ่งที่จะรวบรวมข้อมูลและสิ่งที่ต้องทิ้งไว้บนเว็บเซิร์ฟเวอร์ของคุณ ไฟล์นี้มีคำสั่งสำหรับเครื่องมือค้นหาบอทเช่น Googlebot คำสั่งเหล่านี้บอกแห่งประเทศไทยเกี่ยวกับไฟล์และไดเรกทอรีที่จะได้รับอนุญาตให้รวบรวมข้อมูล ส่วนที่เหลือของสิ่งที่จะใส่ไกลเกินเอื้อมของบอท

ไฟล์นี้จะเรียกว่าหุ่นยนต์เพราะมันเกี่ยวข้องกับการค้นหา (RO) บอท ค้นหาบอท (aka หุ่นยนต์) เป็นโปรแกรมอัตโนมัติที่รวบรวมข้อมูลเว็บไซต์และทำให้ดัชนีของสิ่งที่พวกเขาพบว่ามี

เครื่องมือค้นหาให้เกียรติ robots.txt?
ที่ดีและมีความรับผิดชอบเครื่องมือค้นหา (เช่น Google , Bing, Yahoo! ฯลฯ ) ไม่ให้เกียรติคำสั่งของคุณเขียนในไฟล์นี้ แต่ไฟล์นี้ไม่สามารถบังคับให้หยุดบอค้นหาหากมีการงอเมื่อ spidering / รวบรวมข้อมูลสถานที่ไม่ได้รับอนุญาต

คำแนะนำ robots.txt ค้นหาบอทเช่น Google, เกี่ยวกับสิ่งที่ดัชนีจากเซิร์ฟเวอร์

คำแนะนำ robots.txt ค้นหาบอทเช่น Google, เกี่ยวกับสิ่งที่ดัชนีจากเซิร์ฟเวอร์

ทำไม robots.txt เป็นสิ่งสำคัญสำหรับ SEO?
ในปีที่ผ่านมาเครื่องมือค้นหาที่ได้รับการ ขึ้นโดยมุ่งเน้นคุณภาพของเว็บไซต์ ทุกคนพูดเกี่ยวกับคุณภาพของเนื้อหาและมันเป็นความจริงโดยไม่ต้องน้อยนิดที่มีข้อสงสัยที่ว่าเนื้อหาที่มีคุณภาพสูงเป็นปัจจัยที่ใหญ่ที่สุดของอันดับการค้นหาเว็บไซต์ของคุณ คุณเขียนสิ่งที่ยอดเยี่ยมในเว็บไซต์ของคุณ. แต่ถ้าคุณคิดว่าเครื่องมือค้นหาสามารถค้นหาสิ่งที่คุณโพสต์บนเว็บไซต์ของคุณ -you're ผิด! หากคุณไม่ได้มีการกำหนดค่าอย่างถูก robots.txt ในสถานที่ -The เครื่องมือค้นหาสามารถงูผ่าน ทุกไฟล์และไดเรกทอรีปัจจุบันบนเซิร์ฟเวอร์ของคุณ

ไฟล์เหล่านี้ไม่ได้มีเนื้อหาที่คุณต้องการที่จะนำเสนอให้กับผู้ใช้เว็บไซต์ของคุณ แต่ดัชนีเครื่องมือค้นหาพวกเขากระนั้น; เพราะคุณไม่ได้หยุดพวกเขา จากนั้นการวิเคราะห์เครื่องมือค้นหาอาจพบกับเนื้อหาของไฟล์เหล่านี้ไม่เกี่ยวข้องกับรูปแบบโดยรวมของเว็บไซต์ของคุณ อันเป็นผลมาจากความไม่ถูกจุดนี้รถถังจะจัดอันดับของคุณ

Let 's เข้าใจได้โดยตัวอย่าง
คุณได้รับการ ทำงานในบล็อกของคุณเป็นเวลาหลายเดือน และตอนนี้สมมติว่าคุณได้ 100 โพสต์ที่ดี เครื่องมือค้นหาได้จัดทำดัชนีพวกเขาทั้งหมด แต่เนื่องจาก robots.txt ขาดบอทค้นหาก็อาจจะจัดทำดัชนี "ไฟล์ระบบของคุณ" (เช่นไฟล์รูปแบบไฟล์ CMS ฯลฯ ) และไฟล์อื่น ๆ ที่คุณมีอยู่บนเซิร์ฟเวอร์ ... ตอนนี้สมมติว่าคุณได้ 100 ไฟล์ดังกล่าวที่มีอยู่บน เซิร์ฟเวอร์ -The จำนวนรวมของรายการในดัชนีการค้นหาอาจจะสูงถึง 200 (100 + 100 โพสต์ไฟล์อื่น ๆ ที่อยู่บนเซิร์ฟเวอร์) รายการเหล่านี้ 50% ไม่เกี่ยวข้องกับผู้ใช้เว็บไซต์ของคุณและคุณต้องการที่จะ ได้รับพวกเขาถูกลบออกจากดัชนีของ Google สำหรับนี้คุณควรกำหนดค่าไฟล์ robots.txt ของคุณ

นี่คือเหตุผลที่มันสำคัญมากที่จะปิดกั้นบางส่วนของเว็บเซิร์ฟเวอร์ของคุณจากบอทค้นหา; เพื่อให้พวกเขาดัชนีเฉพาะสิ่งที่คุณต้องการที่จะแสดงให้ผู้เข้าชม

หาก Google ได้จัดทำดัชนี จำนวนมากอย่างมีนัยสำคัญของรายการกว่าจำนวนโพสต์ที่แท้จริงของคุณแล้วคุณจะต้องการที่จะดูเป็นมัน คุณควรจะวิเคราะห์ลึกของสิ่งที่ Google ได้จัดทำดัชนีและสิ่งที่มันควรจะเป็นจริงที่จัดทำดัชนี

ฉันหวังว่าคุณมีความคิดว่าทำไมคุณจะต้องมีการกำหนดค่า robots.txt ดี -you'll แน่นอนเห็นผลที่ดีถ้าคุณกำหนดค่าได้อย่างถูกต้อง ให้เราทราบหากคุณมีคำถามหรือความคิดเห็นใด ๆ

Ads

หุ้น

เมื่อเร็ว ๆ นี้

ทางเลือกที่ดีที่สุดอูบุนตูที่มองหาถ้าคุณเป็นคนรักของลินุกซ์

ขอเริ่มต้นโดยได้รับคุ้นเคยกับบางสิ่งบางอย่าง; พื้นฐาน แต่บิ...

วิธีการเพิ่มลายเซ็นใน Gmail กล่องขาเข้า - เพิ่มลายเซ็นของ Google ใน Gmail

กล่องขาเข้าโดย Google เป็นหนึ่งในสิ่งที่ดีที่สุดของ Google ...

Weekly Tech News: Nokia, Google และนินเทน

สวัสดีครับทุกคนก็ศุกร์ 3 มีนาคมและเช่นเดียวเสมอเรากลับมาพร้...

โครงการ Pi ราสเบอร์รี่สำหรับมือใหม่ - คุณสามารถทำอะไรกับราสเบอร์รี่ Pi

ราสเบอร์รี่ Pi เป็นชุดของพลังงานต่ำคอมพิวเตอร์บอร์ดเดียวที่...

VPN ที่ดีที่สุดสำหรับ Android 2017 - วิธีการใช้ VPN ใน Android

ไปเป็นวันเมื่อ VPNs เพียงสำหรับเทคโนโลยี savvies และแฮกเกอร...

ความคิดเห็น