AIAZHكيفية الاستخدام
- أدخل رابط موقعك — اكتب عنوان موقع الويب الخاص بك لتحديد النطاق. بدون رفع إلى الخادم — كل شيء يبقى في متصفحك للخصوصية الكاملة.
- أضف قواعد الزحف — أضف مسارات Allow أو Disallow لكل وكيل مستخدم. امنع أدلة مثل /admin/ أو /private/ من الفهرسة.
- احظر زواحف AI — اختيارياً، احظر زواحف التدريب AI مثل GPTBot و ClaudeBot و Google-Extended لمنع استخدام محتواك في تدريب LLM.
- أدرج خريطة الموقع — أضف رابط خريطة موقع XML الخاص بك لتساعد محركات البحث على اكتشاف صفحاتك المهمة بشكل أسرع عبر توجيه Sitemap.
- أنشئ وانشر — انقر على توليد، انسخ النتيجة، واحفظها كـ robots.txt في جذر موقعك. حافظ على الخصوصية — قواعدك لا تُخزن أو تُتتبع أبداً.
الأسئلة الشائعة
ما هو منشئ robots.txt عبر الإنترنت وكيف يعمل؟
منشئ robots.txt عبر الإنترنت ينشئ ملف robots.txt لموقعك على الويب دون الحاجة إلى كتابة كود. تقوم بتكوين قواعد السماح والمنع بصرياً من خلال واجهة نموذج، وتقوم الأداة بإخراج نص منسق بشكل صحيح وفقاً لبروتوكول استبعاد الزواحف (RFC 9309). يخبر الملف زواحف محركات البحث مثل Googlebot و Bingbot بأجزاء موقعك التي يمكنهم الوصول إليها والتي لا يمكنهم.
كيف أستخدم منشئ robots.txt لتعيين قواعد السماح والمنع؟
يسمح لك منشئ robots.txt بإضافة توجيهات User-agent متبوعة بمسارات Allow و Disallow. على سبيل المثال، قم بتعيين User-agent: * مع Disallow: /admin/ لحظر جميع الزواحف من منطقة الإدارة الخاصة بك. استخدم Allow: / لإعطاء زواحف محددة وصولاً كاملاً. يتولى المنشئ الصياغة تلقائياً.
كيف أحظر زواحف AI في ملف robots.txt الخاص بي؟
لحظر زواحف تدريب AI، أضف توجيهات User-agent لـ GPTBot (OpenAI) و ClaudeBot (Anthropic) و Google-Extended (تدريب Gemini) و CCBot (Common Crawl)، كل منها متبوع بـ Disallow: /. هذا يمنع هذه الزواحف من الوصول إلى محتواك لمجموعات بيانات التدريب دون التأثير على Googlebot. حظر زواحف AI هو أحد أهم تحديثات robots.txt لأصحاب المواقع في 2026.
ما هي قواعد robots.txt الأكثر شيوعاً لموقعي على الويب؟
تشمل قواعد robots.txt الشائعة: Disallow: /admin/ لحظر لوحات الإدارة، Disallow: /search/ لصفحات نتائج البحث، Disallow: /private/ للأدلة الحساسة، Disallow: /*.pdf$ لملفات PDF، و Sitemap: https://example.com/sitemap.xml. لـ WordPress، فكر في Disallow: /wp-admin/ و Allow: /wp-admin/admin-ajax.php.
هل تبقى بياناتي خاصة عند استخدام منشئ robots.txt هذا؟
نعم. جميع عمليات إنشاء robots.txt تحدث محلياً في متصفحك. عناوين URL ومسارات الأدلة وتكوينات القواعد الخاصة بك لا تُرفع أبداً إلى أي خادم. يمكنك إنشاء ملفات للمواقع قيد التطوير والشبكات الداخلية الخاصة والمشاريع قبل الإطلاق دون كشف معلومات حساسة.
ما هو منشئ Robots.txt عبر الإنترنت؟
منشئ robots.txt عبر الإنترنت هو أداة ويب تنشئ ملف robots.txt لموقعك من خلال واجهة مرئية. بدلاً من كتابة توجيهات User-agent و Disallow يدوياً، تقوم بتحديد الزواحف وإدخال المسارات وتشغيل حظر AI باستخدام مربعات الاختيار. تقوم الأداة بعد ذلك بتوليد ملف robots.txt منسق بشكل صحيح وفقاً لبروتوكول استبعاد الزواحف (RFC 9309). يخبر هذا الملف Google و Bing و Yahoo بالصفحات التي يجب زحفها وأيها يجب تجنبها.
بناء قواعد Allow و Disallow باستخدام منشئ Robots.txt
منشئ robots.txt يبسط عملية إنشاء قواعد الزحف من خلال توفير واجهة قائمة على النماذج لكل توجيه. يمكنك إضافة مجموعات User-agent متعددة تستهدف زواحف مختلفة — على سبيل المثال، مجموعة شاملة لجميع الزواحف ومجموعة منفصلة لـ Googlebot بأذونات محددة. توجيه Disallow يمنع مسارات محددة، بينما Allow يلغي الحظر الأوسع لملفات أو أدلة فرعية فردية.
كيفية حظر زواحف AI في ملف Robots.txt الخاص بك
أصبح حظر زواحف AI ضرورياً لأصحاب المواقع الذين يرغبون في منع استخدام محتواهم لتدريب نماذج اللغات الكبيرة. توجد رموز وكيل مستخدم مخصصة لجميع موردي AI الرئيسيين: GPTBot لتدريب OpenAI، Google-Extended لـ Gemini و Vertex AI، ClaudeBot لـ Anthropic، و CCBot لـ Common Crawl. إضافة Disallow: / تحت كل من وكلاء المستخدم هؤلاء يخبر زواحف AI بالابتعاد.