यदि आपका कोई Website या Blog है तो आप ने यह तो जरूर महसूस किया होगा कि हम कभी वह चीज नहीं जा चाहते कि वह सारी information internet में Publish नहीं हो फिर भी हो जाते है.
क्योंकि ऐसा इसलिए होता है हमारे सबसे अच्छे Content भी बहुत दिनों तक index नहीं हो पाते है. तो आपको इन सभी चीजों को समझने के लिए Robots.txt की पूरी जानकारी को पढ़ना होगा. तो आप इस Post को पूरा पढ़े.
Search Engine को Metatage पढ़ना नहीं आता है. इसी कारण बहुत से Robots बिना Metatags पढ़े ही Unnoticed चले जाते है.
इसके लिए सबसे अच्छा और बेहतरीन तरीका Robots.txt file का उपयोग करना है. इससे बड़ी सरलता से Search Engine को हमारी Blog या website के folders और profile के बारे में सूचना दी जा सके.
Robots.txt क्या है in Hindi ?
Robots एक तरह का text file होता है जिसे हम अपनी website मे रखते है. इससे हम Search bots को यह बता सकते है कि इन को हमारे Site में किन-किन Page को Crawl करना या visit करना है.
Robots.txt का पालन करना सर्च इंजन के लिए कोई मायने नहीं रखता है.
यदि हम इस file का सही स्थान में implementation नहीं करते तो Search Engine को यह लगता है कि आपने Robot.txt File को include नहीं किया है.
इससे शायद हमारी Site में webpage index नहीं हो. यहां छोटे फाइल भी बहुत important होते है. यदि हम इनका इस्तेमाल ठीक से नहीं करते है तो इससे हमारी website की Ranking भी कम हो सकती है.
यदि कोई भी web spiders या search engine अगर हमारे Blog या website में पहली बार आए है तो पहले हमें Robots.txt file को crawl करते है.
क्योंकि इसमें हमारी website की सभी जानकारी होती है. यहां हमें चीजों को crawl करने की जानकारी देनी होती है. यह हमारी निर्देशित Page को ही index करती है.
Robots.txt File को केसे बनाया जाता है ?
यदि आपने कभी भी अपने Blog या website में Robots.txt file Creat नहीं किया है. तो अच्छा रहेगा आप इसे जल्द ही बना लीजिए.
क्योंकि यह आने वाले समय में आपके लिए बहुत उपयोगी हो सकता है. हमें इसे Creat करने के लिए कुछ नियमों का पालन करना पड़ता है.
1.पहले एक text file का निर्माण करें और उसे Robots.txt के नाम से Ad करें. इसके लिए हम Notpad का उपयोग कर सकते है.
अगर आप Window Oprating System का उपयोग करते है तो आप Macs का उपयोग कर सकते है. अब इसे Text Delimited file के रूप में सेव करे.
2.इसके बाद आपको अपनी Website के Root Directory folder में upload करना है.
यह एक Root lavel folder होता है. इसे हम htdocs भी कह सकते है. यह आपके डोमेन नेम का apper होता है.
3.यदि आप अपनी में subdomain का उपयोग करते है तो हमें subdomain के लिए अलग Robot.txt file बनाने की आवश्यकता है.
Robots.txt File हमारे लिए केसे उपयोगी साबित हो सकता है ?
1.आप चाहे कि सर्च इंजन हमारे website में स्थापित duplicate page को ignor कर दे.
2.आप चाहे की हमारी internal सर्च Rrsult पेज को index न करें.
3.आप चाहे कि Search Engine हमारी निर्देशित Pages को index न करें.
4.आप चाहे कि हमारे कुछ file, image, pdf, video आदि को index न करें.
5.आप चाहे की सर्च इंजन को बताना कि हमारी Site Map कहां स्थापित है.
Robots.txt Use करने के लाभ क्या है ?
किसी website या Blog में Robots.txt Use करने के लिए वैसे तो बहुत से फायदे है. परंतु में यहां आपको कुछ महत्वपूर्ण फायदे के बारे में ही बताने वाला हूं.
उनके बारे में सभी को information होनी चाहिए. चलिए तो अब हम इस के कुछ महत्वपूर्ण Advantage के बारे में जान लेते है.
इसको हम Google Bots की सहायता से भी कर सकते है किसी भी Page को index करने के लिए.
हम Robots.txt की सहायता से “Canonicalization” Urls को दूर रख सकते है.
ओर यहां पर किसी भी multiple “canonical” URLs को भी रख सकते है.
हम इस problem को मूलत: “Duplicate Content” भी रख सकते है.
Robots.txt के उपयोग से हमारी Sonsitive जानकारी को (Private) निजी रखा जा सकता है.
आज क्या सीखा ?
आज हमने इस पोस्ट मेे बताया है कि Robots.txt क्या है in Hindi. इसी तरह की ओर नई जानकारियों के लिए हमारे साथ जुड़े रहे.
Robots.txt file बारे मे आपको समझन में कोई भी प्रोब्लम नही होगी. यदि हमारा पोस्ट अच्छा लगा तो इसको Share जरूर करें .
