How To Add Custom Robots.txt File in Blogger

नमस्कार दोस्तों। तो कल तो मैंने आप लोगो को How To Create Meta Tag For Blogger Website के बारे में बताया था लेकिन आज हम Custom Robots.Txt के बारे में बात करेंगे । लेकिन उससे पहले मै आप लोगो को बतादू की आप लोग इससे पहले वाला Post  नहीं पढ़ा है तो जाके पढ़ ले। काहे कि उसमे हमने बात किया था की Meta Tag कैसे बनाये अपने ब्लॉगर (Blogging ) वेबसाइट के लिए का काम है और इससे का होता। लेकिन अगर आप पढ़ लिए है तो कोई बात नहीं चलिए शुरू करते है
लेकिन मै आप को बाता दू की Custom Robots.Txt से भी आपके Site बोलेतो  वेबसाइट का Seo सही होता है।अगर आप Cutom Robots.Txt का गलत इस्तेमाल से आपका SEO ख़राब हो जाएगा। इसलिए मै आप को बतादू की इस पोस्ट को पूरा पढ़े। ताकि पूरा समझ सके।

क्या आप Blogging में नए है तो आप को पता है की Custom Robots.Txt क्या है ?
अगर आप को नहीं पता तो मई आपको बता दू की Robots.txt ये वो फाइल है जो आपके वेबसाइट पर जब  Search Engine Bot Crawl तब सबसे पहले ये file उसे डायरेक्शन देने में मदद करता है।

मैनली ये File Page को Exclude करता है यानि किसी विशेष पेज या पथ को इंडेक्स न करने के लिया किया जाता है। या फिर किसी विशिष्ट bot Crawl होने से रोकने के लिए इसका इस्तेमाल किया जाता है। और तीसरा इसका काम है की sitemap के जरिये आपके Post ,Image को इंडेक्स करवाना।

Blogger में Robots.Txt फाइल किस काम आता है ?


जैसा की मैंने आपको उप्पेर तीन चीज़ो के बारे में बताया है। जिसके लिए हम Robots.txt का हम प्रयोग करते है।
हालाँकि पर क्या हमें ये तीनो चीज़ो के लिए Robots.txt ब्लॉगर में Add करना जरुरी है ?
जवाब नहीं


तो blogger में robots.txt क्यू  add करना  चाहिए?'

तो इसका सीधा जवाब है की Sitemap  के जरिये अपने  सभी पोस्ट को सीधे Search इंजन में index करवाना है जिससे आपके साइट SEO improve करने में मदद  होगा। इससे पहले की कोनसी robots.txt file आपको blogger में लगनी है हम robots.txt के बारे में थोड़ी detail में जानकारी लेते है।

ROBOTS.TXT की  COMPLETE जानकारी  MEANINGS के साथ.

ब्लॉगर में ब्लॉग बनाने के बाद automatically Robots.Txt File बन जाता है वो file देखने का तरीका है।

जैसे की

www.yoursite.com/robots.txt
और 
example.blogspot.in/robots.txt

ये Url से आपको default फाइल मिलेगा जो कुछ इस तरह है

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap:

अब  जानते है इसका meaning क्या होता है।

MEANING

User-agent: Mediapartners-Google
Disallow
इसका मतलब है जो Bot आपके पेज को Crawl करने वाला है। यहाँ ‘Mediapartners-Google’  दिया है यह adsense का bot है. और उसके निचे में Disallow:  है।

में आपको बता दू Allow: / और Disallow: का मतलब एक ही है यानि bot को crawl करने की permission देना क्यों के Disallow के आगे कोई path नहीं दिया है..

याद रखे Disallow: /  इसका मतलब है पूरी Website  को crawl ना करना.

और Disallow: /search  इसका मतलब है  /search और search के through जाने वाले सभी url.

For  example-  /search/lable/smartphones, /search/lable/cloths , ये सभी url bot crawl नहीं कर पाएगा.

user agent: *

यहाँ  ‘*’ का मतलब होता है सभी bots जैसे  googlebot, Mediapartners-Google, yahoo, etc.

‘*’ wild card entry मानी जाती है.

Sitemap

Sitemap: https://www.yoursite.com/sitemap.xml
Sitemap में blog के सभी url रहते है जिसको robots.txt में add करने से ब्लॉग के सारे पोस्ट crawl होते है और search engine में index होने में मदत मिलती है.

BEST ROBOTS.TXT FILE को BLOGGER में कैसे ADD करे ?


निचे बताया गया code seo friendly है आप अपने blog में इस्तमाल कर सकते है.




सबसे पहले यह कोड copy कर ले और example.com को अपने domain name से बदल लें। Blogger में login करे >> blog चुने >> settings में जाये >> Search preference पर क्लीक करे। Custom robots.txt को enable कर ने के लिए edit पर click करे और ‘Yes’ वाला  button चुने। अब  उपर  में जो code copy किया है वो पेस्ट कर के Save Changes पर क्लिक कर दे।
अब  आप देख सकते है आपकी new robots.txt file browser में  www.yoursite.com/robots.txt type करे और देखे कुछ इस तरह दिखेगा। जैसा की आप फोटो में देख सकते है।

How To Add Custom Robots.txt File in Blogger Blogging
Add Custom Robots.txt File in Blogger 

 आशा करता हूँ की आप को हमारा ये पोस्ट अच्छा लगा होगा। धन्यवाद