Robots.txt File क्या है और Blogger Website में Robot.Txt File कैसे Add करें?

आज की इस Post में आप लोग जानेंगे कि Robots.txt File Kya Hai और Robots.txt File को अपने Blogger Blog/Website पर कैसे Add करें पूरी जानकारी हिंदी में तो आइये जानते है।

Robots.txt file एक छोटा सा Text फ़ाइल होता है जो आपके साइट के Root folder में रहता है। यह Search Engine Bots को बताता है कि साइट के किस भाग को Crawl और Index करना है और साइट के किस भाग को Crawl नहीं करना है।

कभी - कभी तो ऐसा हो जाता है कि हम अपने Article/Post को Google में Index करना चाहते है पर वो Index नही होता है। अगर आपके भी article या post google में index नही हो रहे है तो आपके Robots.txt की वजह से ही हो सकता है।

Robots.txt क्या है? (What is Robots.txt)

Robot.txt File क्या है? जैसे कि मैंने ऊपर बताया Robots.txt File एक छोटी सी Text File होती है जो Root Folder में रहता है। ये File छोटी जरूर होती है लेकिन इसका काम बहोत बड़ा है। 

Robots.txt File एक Robot कि तरह होती है जो हम कमांड देते हैं वैसा ही काम करता है। वैसे ही जब आप अपने ब्लॉग पर कोई New Post Publish या Post को Update करते है।

तो Robots.txt File Search Engine को बताता है कि आज आपने यह Post New Publish की गई है या Update की गई है। जिससे Search Engine आपके Post को Index करके अपने Search Result में दिखाता है। 

अभी तो आपको Robots.txt Flie के बारे पता चल ही चुका है कि इसका काम क्या होता है। अभी भी आपको बहोत कुछ जानने की जरूरत है।

Robots.txt File क्या है?

Robots.txt File एक Text File है, इस Text File में हम जो लिखते है या लिखा होता है Google Search Engine वही करता है।

उदाहरण (Example)- अगर आप अपने Blog/Website के Tag, Category, Label को Search Engine में Index नही करना चाहते है तो आप Robots.txt में इनको Disallow कर देंगे जिस से की Search Engine को पता चल जाता है कि किस चीज़ को Index करना है और किसे नही।


इसे भी पढ़े- Instant Approval High DA PA DoFollow Backlink Site List 2020

इसे भी पढ़े- How to Add link in Blogspot Blog Comment for Backlink in hindi

Robots.txt Website के लिए क्यो जरूरी है

जब भी Search Engine के Crawler हमारी Blog या Website पर आते Post/Articles को Crawl या Index करने, तो वो सबसे पहले Robots.txt को देखता है। और जो कुछ भी Robots.txt पर लिखा होता है उसे Follow करता है।

अगर आपके Blog/Website पर Robots.txt File नही मिलेगा तो Search Engine के Crawler आपके Site से सभी चीज़े Index कर लेंगे जो आप नही दिखाना चाहते, जो Index नही होना चाहिए और Google Search Console में Error आ जाते है जिससे आपको काफी problem हो सकती है।

जिससे आपके साइट की Rank नही होती और हो सकता है आपकी साइट को google search engine से भी निकाल दिया जाए। इस लिए ये Robots.txt File को Blogger में Add करना बहोत जरूरी होता है।

Robots.Txt को Blogger में Add करने का फायदा

Blogger में Robots.txt को Add करना बहोत जरूरी होता है, और इससे आपको बहोत फायदे मिलते है जो की आप नीचे पढ़ सकते है-

• आप लोग Robots.txt से Search Engine को बता सकते है कि वो आपके ब्लॉग कि कोन - कोन सी चीजें Index करे और कोन - कोन सी चीजें Index न करें।

• आप अपने Website के Duplicate File या Page को Noindex करा सकते है।

• आप अपने वेबसाइट की Category, Tags, Author Page और Comments को Noindex करा सकते है।

• आप अगर कुछ File, PDF, Image इत्यादि को Index नही करना चाहते है।

• आप इसे अपनी वेबसाइट को Secure कर सकते है।

• Internal Search Results Pages को आप Index नही करना चाहते हैं।

• आप Robots.txt File में Sitemap Add करके किसी भी पोस्ट को Search Engine में जल्द Index करा सकते है।

• आप इससे Low Quality Page block करके अपनी वेबसाइट का SEO कर सकते है।

• आप इससे किसी भी Secure File, Page को Noindex करा सकते हैं।

इसे भी पढ़े- Blogger Post Me HTML Code Box Kaise Lagaye

इसे भी पढ़े- How to Add About of Blog Author in Footer on Blogger 2020 in Hindi

Robots.Txt File कैसी होती है

आपने अगर Robots.txt File नही बनाया है तो आपको जल्दी से जल्दी बना बना लेना चाहिए, क्योंकि आपके Blog/Website के लिए ये बहोत ही ज्यादा जरूरी है। अगर आप इसे अपने ब्लॉग पर नही लगाएंगे तो आपको काफी परेशानियों का सामना करना पड़ सकता है।

Rotobs.txt file बनाने के लिए आपको Internet पर बहोत सारी websit मिल जाएगी जिनपर आपको अपने ब्लॉग का url डालना पड़ता है और वो आपको Robots.txt बना कर दे देती है। जो कि कुछ इस तरह की दिखाई देती है-

User-agent: Mediapartners-Google

Disallow:

User-agent:

Disallow: /search

Allow: /

Sitemap: https://www.techonly99.xyz/sitemap.xml

Robots.txt के Syntax का मतलब क्या है

Robots.txt के जो Syntax है उनके बारे में आपको समझ लेना चाहिए ये आपको बहोत काम आएंगे-

User - agent: Mediapartners - Google : आप इसके द्वारा Google AdSense के Code को User से छिपा सकते है।

User - agent : यह Code आपकी वेबसाइट पर आने वाले User के लिए है कि वो आपकी वेबसाइट पर क्या क्या देख सकते है और क्या क्या नहीं देख सकते है आप इसे हमेशा Disallow ही रहने दें क्युकी यह आपकी वेबसाइट के Security के लिए बहुत जरूरी है।

Disallow: /search : अगर आप अपने पोस्ट के Keyword को नहीं दिखाना चाहते है तो आप इसे हमेशा Disallow ही रखे और अगर आप

• अपने किसी पोस्ट को Google Search में नहीं दिखाना चाहते है तो उस पोस्ट के URL को यहां Paste करके उसको आप Disallow कर सकते है जिससे Search Engine उसको Index नहीं करेगा और वो Search Results में नहीं दिखेगा।

• यहां पर आप किसी भी Post, Page के URL को Paste करके उसे Disallow कर सकते है और Google उसको Index नहीं करेगा।

Allow : इससे आप User को जो दिखना चाहते है वो दिखा सकते है और इसे आप हमेशा Allow ही रहने दें क्युकी यह Search Engine को Index करने की अनुमति देता है।

Sitemap : Sitemap आपके ब्लॉग कि नई पोस्ट कि जानकारी Search Engine को देता है जिससे Search Engine उसे जल्द Index करके अपने Search Results में दिखाता है।

Sitemap इसके अलावा यह भी बताता है कि आपकी वेबसाइट पर कितनी पोस्ट अभी तक Publish हुई है।

इसे भी पढ़े- (Free) Keyword Research Kaise Kare | 2020 Step By Step पूरी जानकारी हिंदी में

इसे भी पढ़े- कितने Post Publish करने के बाद Adsense के लिए Apply करना चाहिए? 2020

Website में Robots.txt File Add है या नहीं कैसे पता करें

Robots.txt File Root Folder में रहता है। इसे आप अपने Website की Robots.txt File को नीचे बताये गए तरीके से पता लगा सकते हैं, Google भी नीचे दिए गए तरीके से ही पता लगाता है-

Step 1 : सबसे पहले आपको Browser Open करना है

Step 2 : अब आपको अपने Website के URL के Last में robots.txt लिखके Search करना है, जैसे-https://www.Example.com/robots.txt

Step 3 : Search करते ही आपके सामने आपकी वेबसाइट की Robots.txt File आ जाएगी आप नीचे Screenshot में देख सकते है मेरी वेबसाइट की Robots.txt File

Blogger me Robots.Txt kaise Add kare

Blogger में Robots.txt Add करने के लिए आपको नीचे बताये गए steps को Follow करना है। जिससे आप बहोत ही आसानी से अपने Blog/Website में Robots.txt को लगा पाएंगे-

Robots.txt File Code
User-agent: Mediapartners-Google Disallow: User-agent: Disallow: /search Allow: / Sitemap: https://www.example.com/sitemap.xml


1- Step: सबसे पहले आपको इस Robots.txt File को Copy करना है, और https://www.techonly99.xyz की जगह अपने Blog/Website का Link (Url) add कर लेंना है।

2- Step: अब आपको अपने Blog के Dashbord पर आना है।

3- Step: अब आपको Settings पर Click करना है।

• उसके बाद Search Preferences पर click करना है।

• उसके बाद आपको Custom robots.txt के सामने Edit लिखा है उस पर किल्क करना है।

4- Step: उसके बाद Yes पर Click करना है।

• अब आपके सामने एक Box Open हो जाएगा।

• उस Box में Copy किया हुआ Code Paste कर देना है, लेकिन Code में https://www.techonly99.xyz कि जगह अपने ब्लॉग कि URL जरूर लगा ले।

• अब आपको Save chenges पर Click कर देना है।

अब आपके Blog/Website में Robots.txt File Add हो चुकी है और अब Search Engine Crawler वहीं Index करेगा जो Robots.txt File उसे Allow करेगा।

इसे भी पढ़े- (Free) Best Top New Premium Blogger Templates 2020 – AdSense Responsive

इसे भी पढ़े- Top 5+ Adsense Friendly Blogger Templates 2020 | Responsive | SEO Friendly

Conclusion

मुझे उम्मीद है कि आपको सबकुछ समझ मे आ गया होगा जैसे- Robots.Txt File क्या है, Robots.txt के फायदे क्या है और Robots.txt को Blogger में कैसे Add करते है। अगर फिर भी कोई चीज़ समझ नही आई हो तो आप नीचे Comment में बता सकते है।

आपको ये पोस्ट Robots.txt File क्या है? और Robots.txt File कैसे बनाये? पसंद आई हो तो आप इसे Social media facebook, instagram, LinkedIn, Twitter, telegram, Reddit, whatsapp पर share करना न भूले ताकि और Blogger तक ये information पहोच सके और उनकी भी थोड़ी हेल्प हो जाए।

How to Add Robot.Txt File on Blogger in Hindi