रोबोट्स.txt फ़ाइल क्या है?
robots.txt फ़ाइल निर्देशों का एक सेट है जिसका उपयोग Website Search engine को यह बताने के लिए करती हैं कि कौन से पेज क्रॉल किए जाने चाहिए और कौन से नहीं। robots.txt फ़ाइलें क्रॉलर एक्सेस को यह बताती है लेकिन Pages को Google के इंडेक्स से बाहर रखने के लिए इसका उपयोग नहीं किया जाना चाहिए।
robots.txt एक टेक्स्ट फ़ाइल है जिसे Web master Web Robert (आमतौर पर Search engine Robert) को यह निर्देश देने के लिए बनाते हैं कि उनकी वेबसाइट पर Pages को कैसे क्रॉल किया जाए। जो वेब standards का एक समूह है जो यह नियंत्रित करता है कि रोबोट वेब को कैसे क्रॉल करते हैं|
Robert.txt फ़ाइल का उपयोग किसके लिए किया जाता है?
robots.txt फ़ाइल का उपयोग मुख्य रूप से आपकी साइट पर क्रॉलर ट्रैफ़िक को प्रबंधित करने के लिए किया जाता है, और आमतौर पर फ़ाइल प्रकार के आधार पर फ़ाइल को Google से दूर रखने के लिए किया जाता है |
एक रोबोट . txt फ़ाइल कैसे बनाएं?
1. एक फ़ाइल बनाएं और इसे robots.txt नाम दें
2. robots.txt फ़ाइल में निर्देश जोड़ें
3. रोबोट्स.txt फ़ाइल अपलोड करें
4. अपने robots.txt का परीक्षण करें
•robots.txt फ़ाइल बनाने के लिए आप लगभग किसी भी टेक्स्ट एडिटर का उपयोग कर सकते हैं। उदाहरण के लिए, नोटपैड, टेक्स्टएडिट, vi और emacs वैध robots.txt फ़ाइलें बना सकते हैं।
•यदि आपको पता चलता है कि आपके पास robots.txt फ़ाइल नहीं है या आप उसे बदलना चाहते हैं, तो एक बनाना एक सरल प्रक्रिया है। Google का यह आलेख robots.txt फ़ाइल निर्माण प्रक्रिया के बारे में बताता है, और यह टूल आपको यह जांचने की अनुमति देता है कि आपकी फ़ाइल सही तरीके से सेट की गई है या नहीं।
रोबोट्स.txt फ़ाइल कैसे खोजें?
•robots.txt फ़ाइल आपकी वेबसाइट पर किसी भी अन्य File की तरह ही आपके Server पर होस्ट की जाती है।
•किसी भी वेबसाइट के होमपेज का पूरा URL Type करके और अंत में “/robots.txt” जोड़कर robots.txt फ़ाइल देखें।
नोट- एक robots.txt फ़ाइल हमेशा रूट डोमेन स्तर पर रहनी चाहिए। www.example.com के लिए, robots.txt फ़ाइल www.example.com/robots.txt पर रहती है।
Robots.txt कैसे काम करता है?
सर्च इंजन के दो मुख्य कार्य हैं-
1.Content Serchers के लिए वेब को क्रॉल करना|
2.उस content को Indexed करना ताकि इसे उन Searchers को serve Kiya जा सके जो जानकारी ढूंढ रहे हैं।
आपको robots.txt की आवश्यकता क्यों है?
•डुप्लिकेट Content को SERPs में प्रदर्शित होने से रोकना |
•किसी वेबसाइट के सभी Sections को निजी रखना|
•साइटमैप का स्थान इंगितकरना
Search इंजनों को आपकी वेबसाइट पर कुछ फ़ाइलों (चित्र, PDF, आदि) को indexed करने से रोकना|
•जब क्रॉलर एक साथ सामग्री के कई load pieces करते हैं तो आपके सर्वर को ओवरलोड होने से बचाने के लिए क्रॉल delay specified करना|
