हेलो दोस्तों! टेक दीवाने ब्लॉग पर आपका स्वागत है। इस पोस्ट में हम सीखेंगे कि Blogger वेबसाइट के लिए custom robots.txt कैसे सेटअप किया जाता है और साथ ही Crawlers और Indexing के बारे में भी जानेंगे। अगर आपने अपने Blogger ब्लॉग में कस्टम डोमेन जोड़ लिया है, तो अब बारी है सही तरीके से custom robots.txt को सेट करने की ताकि आपका ब्लॉग सर्च इंजन में सही से इंडेक्स हो सके।
Custom Robots.txt क्या है?
Robots.txt एक फाइल होती है जो सर्च इंजन बॉट्स को यह बताती है कि आपकी साइट के कौन-कौन से हिस्सों को क्रॉल करना है और किन्हें नहीं। इसे सही तरीके से सेट करना SEO के लिए जरूरी है।
Custom Robots.txt सेटअप कैसे करें?
-
Blogger सेटिंग्स में जाएं:
अपने Blogger डैशबोर्ड में जाकर Settings > Crawlers and Indexing सेक्शन खोलें। -
Custom robots.txt को ऑन करें:
यहां आपको “Enable custom robots.txt” का ऑप्शन मिलेगा। इसे ऑन कर दें और अपना कस्टम robots.txt कोड एंटर करें।एक सामान्य robots.txt कोड इस तरह हो सकता है:
User-agent: *Disallow: /search Allow: / Sitemap: https://www.yourdomain.com/sitemap.xmlध्यान दें, यहां पर “yourdomain.com” की जगह अपने डोमेन का नाम डालें।
-
Home Page Tags:
Settings > Crawlers and Indexing में जाकर “Enable custom robots header tags” ऑन करें।- all: सभी बॉट्स को होम पेज को क्रॉल और इंडेक्स करने की अनुमति दें।
- noodp: डायरेक्ट्री (DMOZ) विवरण को इस्तेमाल करने से रोकें।
-
Archive और Search Pages Tags:
आर्काइव और सर्च पेजों के लिए:- noindex: इन्हें इंडेक्स होने से रोकें ताकि डुप्लिकेट कंटेंट की समस्या न हो।
- nofollow: इन पेजों पर मौजूद लिंक को फॉलो न करें।
-
Individual Post और Page Tags:
पोस्ट और पेजों के लिए:- all: सभी बॉट्स को इन पेजों को क्रॉल और इंडेक्स करने दें।
- noodp: डायरेक्ट्री विवरण का उपयोग न करें।
-
Settings को सेव करें:
जब आप सभी टैग्स को सेट कर लें, तो Save पर क्लिक करके अपने बदलाव सुरक्षित कर लें।
Tips
- HTTPS Enable करें: ब्लॉग को सुरक्षित रखने के लिए HTTPS को इनेबल करें।
- Sitemap अपडेट करें: जब भी आप कस्टम डोमेन सेट करते हैं, अपना सटीक साइटमैप जरूर एड करें।
अब आपका Blogger ब्लॉग सही से SEO के लिए ऑप्टिमाइज हो गया है! अगर कोई दिक्कत आए तो कमेंट करें।
