أرشفة المواقع وملفات Robots & Sitemap

تاريــخ التسجيـــــــل : 30/12/2023

أرشفة المواقع وملفات Robots & Sitemap

قمنا ببناء موقعنا، أنشأنا عدة مقالات، والآن جلسنا ننتظر الفرج!

ننتظر أن يتفضل أحد زواحف جوجل أو غيره من محركات البحث بالاطلاع على موقعنا، ليقوم بإضافته وما أمكن من صفحاته إلى فهرس البحث الخاص بجوجل Search Index، والذي فهمنا في الجزء السابق من هذه السلسلة ما هو وكيف يعمل.

علينا أن نعرف الآن أن الزواحف تصل لموقعنا بأحد طريقتين:

1- أن يجد رابط لموقعنا في موقع آخر ويقوم بتتبعه، فيصل إلى أحد صفحات موقعنا، ومنها ينتقل إلى بقية الصفحات.

2- أن نقوم نحن برفع الموقع لمحرك البحث عن طريق أدوات يتيحها هذا المحرك، فمثلاً جوجل تمكنك من رفع موقعك عن طريق أداة Google Search Console.

الطريقة الأولى هي الأسهل، ولكنك سنتظر أن يقوم أحد الزواحف بإعادة زيارة تلك الصفحة التي ستربط منها على موقعك، فمن الممكن أن تطول، حسب نوع الموقع الذي ربطت منه، ولا تضمن أن يصل لجميع صفحات موقعك من خلالها.

الطريقة الثانية هي الأفضل، وذلك لأنك ستحتاج أداة Google Search Console طيلة الوقت، فهي مرجعيتك الأولى لجميع ما يتعلق بظهور موقعك على محرك البحث جوجل، وعليك إتقانها ومعرفة كيفية استخدام التقارير فيها وتحليل نقاط قوتك وضعفك، فاستخدامها ليس مقصوراً على رفع موقعك لمحرك البحث، بل أكثر بكثير من هذا.

نظراً لأن الأداة مهمة وتقدم العديد من التقارير فسنخصص لها مقالاً شاملاً يشرح ما أمكن منها، ولكن في الوقت الحالي، سنحاول التعريف قدر الإمكان كيف يمكنك إثبات ملكية الدومين الخاص بك عليها، والبدء باستخدامها.

كيفية استخدام Google Search Console لرفع الموقع لجوجل
عليك في البداية إنشاء حساب على GSC، قم بالذهاب إلى الموقع الرسمي للأداة من هنا.

بعد تسجيل الدخول، سيطلب منك جوجل اختيار إن كنت ترغب باختيار نطاق كامل (وهذا يشمل إن كان يبدأ بـ www أو لا، يستخدم http أو https، نطاقات فرعية، وغير ذلك)، أو عن طريق رابط موقعك مباشرة (بتحديد العنوان كاملاً).

النوع الأول يمكن إثبات ملكيته عن طريق معلومات النطاق فقط، أما النوع الثاني فخيارات التحقق فيه أكثر، مثل كود HTML أو إعدادات DNS أو رفع ملف نصي على الموقع.

الطريقة الأولى هي الأفضل، لأنها تجمع لك جميع طرق كتابة موقعك (ولاحظ أنها تدخل الدومينات الفرعية مثل blog.domain.com).

بالمناسبة، بما أننا تكلمنا عن عدة طرق لكتابة اسم الموقع، هذه الحالة من الممكن أن تسبب لك مشكلة مع جوجل، فلا يجب أن يكون هناك لديك أكثر من رابط لموقعك، فمثلاً في موقعنا هنا، حاول كتابة اسم الموقع بهذه الطرق:

https://www.des-best.com

https://www.des-best.com

https://www.des-best.com

https://www.des-best.com

ستجد أن جميعا تقوم بإعادة توجيهك إلى عنوان واحد، وهو اسم الموقع دون www، ومع إعادة توجيه لاستخدام بروتوكول https.

بعد إدخال اسم نطاقك بالطريقة الأولى، ستعطيك الأداة نص TXT كما في الصورة، ستقوم بالذهاب إلى مسجّل نطاقك (مثل GoDaddy أو NameCheap)، وتقوم بإضافة سجل (مدخل) جديد إلى نظام الـ DNS الخاص بدومينك (يمكنك البحث عن كيفية فعل هذا فهو خارج نطاق مقالنا)، قم باختيار نوع السجل TXT وقم بنسخ النص الذي حصلت عليه من الأداة، كقيمة للسجل الجديد.

في حال رغبت بتفعيل النطاق عن طريق عنوان URL واحد، سيتيح لك النظام التوثيق بعدة طرق أخرى، أسهلها رفع ملف HTML إلى المجلّد الرئيسي لموقعك.

عند إتمام العملية (وقد تستغرق بعض الوقت للتحقق)، ستصل إلى الشاشة الرئيسية للأداة، وستجد في القائمة قسماً يتيح لك رفع خريطة الموقع إلى محرك البحث كما سنرى الآن، وهذا يتيح لجوجل إمكانية التعرّف على جميع صفحات موقعك وإضافتها إلى فهرس البحث.

إدارة ومعرفة جميع تفاصيل أداة Google Search Console أطول من أن يتم تغطيتها في هذا المقال، سنقوم بالتوسّع في شرح الأداة في مقال وفيديوهات لاحقة بإذن الله.

سنتعرف الآن على خريطة الموقع، ما هي، وكيف يمكن إنشائها، وجميع ما يتعلق بها.

خريطة الموقع Sitemap: إنشائها ورفعها وتحديثها

وصل أحد زواحف جوجل إلى موقعنا، وجد أن هذا الموقع جديد عليه! ولا يعرف أي معلومات عنه وعن صفحاته الداخلية، ما الذي سيقوم به الآن؟

سيحاول معرفة أكبر عدد من صفحاته لإضافتها إلى الفهرس الخاص بجوجل بطريقتين:

البحث عن خريطة الموقع والتي فيها جميع روابط الموقع (يفترض هذا)، وهي بالعادة تكون بصيغة XML

أو بتتبع الروابط الداخلية من صفحة إلى أخرى، وهنا لا نضمن الوصول إلى جميع الصفحات، في حال كانت هناك صفحات غير مشار لها من صفحات أخرى.

فهمنا الآن أهمية وجود خريطة الموقع بشكل دائم ومحدّث، بحيث إن قام أحد الزواحف بزيارتها، يمكنه إضافة جميع الروابط الجديدة بسهولة وسرعة للفهرس.

كيف يمكن إنشاء خريطة موقع Sitemap.xml؟
لديك الكثير من الطرق، إما أن تقوم بكتابة script يقوم بإنشاءها لك، أو استخدام مواقع تنشئلها لك بمحاولة معرفة أكبر عدد من روابط موقعك، لكن الأفضل دائماً هو أن تقوم بإنشائها أنت، إما باستخدام Plugins في حال كنت تستخدم نظام مثل ووردبريس، وهناك العديد منها التي بمجرد تنصيبها على موقعك، سيكون لها صلاحية الاطلاع على جميع روابط موقعك، بما في ذلك المقالات والتصنيفات والصور وغير ذلك.

هذه الطريقة بالطبع أدق من أن تنشئ خريطة الموقع باستخدام موقع خارجي ليس له صلاحيات لمعرفة جميع روابط موقعك، يمكنك استخدام إضافة Yoast أو Google XML Sitemaps لإنشاء الخريطة وتحديثها بشكل دوري وتلقائي دون أي تدخل منك، وقد خصصنا مقالاً شاملاً لأهم إضافات الـ SEO على نظام ووردبريس.

في حال كنت تستخدم نظاماً غير ووردبريس، فالأمر ممكن أيضاً، يمكنك كتابة script يقوم بالاطلاع على جميع روابط موقعك وترتيبها في ملف على شكل XML، ثم تقوم بعمل جدولة لإعادة تشغيل هذا الكود بشكل دوري لضمان بقاء الخريطة محدّثة.

كيف يمكن رفع خريطة الموقع إلى محرك البحث؟
لهذا قمنا بتفعيل أداة Google Search Console، كي نخبر جوجل أن لدينا خريطة موقع وموجودة على هذا الرابط.

بالعادة، تكون الخريطة على هذا الرابط: domain.com/sitemap.xml كل تصلها الزواحف بشكل مباشر وسريع، لكن بعض الإضافات (مثل Yoast) تقوم بإنشاء ملف XML يتضمن عدة خرائط حسب نوع الرابط، يكون اسم الملف sitemap_index.xml (أي فهرس الخرائط المتاحة للموقع) بشكل تلقائي، هذا الرابط أيضاً مألوف للزواحف، لكن الأفضل أن نشير إليه في ملف robots.txt والذي سنتكلم عنه بعد قليل.

من شاشة Google Search Console، اذهب إلى قسم خرائط الموقع (أو Sitemaps)، ستظهر لك الشاشة التالية:

قم بإضافة رابط خريطة الموقع الخاصة بك في الخانة المخصصة، ثم اضغط على Submit.

الجزء الأسفل من الشاشة يطلعك على الخرائط التي تم رفعها من موقعك، وحالة كل خريطة وكم عدد الروابط التي اكتشفت فيها، والأهم من ذلك هو متى قام محرك البحث بآخر قراءة لهذه الخريطة، يجب أن يكون التاريخ حديثاً هنا لكي نضمن أن جوجل يعرف جميع مقالاتنا، ففي حال كان هناك فترة طويلة (شهر مثلاً)، من الممكن أن يكون هناك خطأ ما، وعليك التحقق من الخريطة وإمكانية الوصول إليها.

ما هو ملف الروبوت robots.txt ولماذا يستخدم؟
ملف الروبوتات robots.txt هو أبسط مما تتخيل، هو ملف نصّي من الممكن أن يحتوى على سطرين فقط، لكنه مهم جداً، وخطير جداً جداً!

لماذا خطير؟ لأن خطأ صغير فيه يمكن أن يخفي موقعك من محركات البحث خلال أيام، وسنوضح هذا بعد قليل.

عندما يصل زاحف جوجل أو غيره من محركات البحث إلى أي موقع (مثل هذا الموقع الذي تقرأ منه)، يقوم بالذهاب مباشرة إلى هذا الرابط:

des-best.com/robots.txt

هذا الرابط يجب أن يحوي على ملف نصّي text، وظيفته أن يخبر زواحف محركات البحث بما يمكنها أن تقوم بفهرسته في هذا الموقع، وما لا يجب فهرسته في هذا الموقع.

بالعادة، جميع صفحات الموقع يجب أرشفتها، لكن لو أردت إخفاء جزء معين من الصفحات، مثل صفحات الإدارة، صفحات البحث، صفحات متعلقة بنسخ احتياطية للموقع، أو أي شيء آخر.

ما هي المواقع التي تحتاج ملف robots.txt؟
جميع مواقع العالم! بدءاً من جوجل نفسه، وانتهاءً بآخر موقع تم إنشاءه قبل دقائق.

نعم، محرك البحث العملاق جوجل لديه ملف للروبوتات، وتجده على عنوان https://www.google.com/robots.txt، كذلك الحال لأي موقع في العالم، جرب facebook.com/robots.txt أو أي موقع تريده، في الغالب ستجده يستخدم هذا الملف.

كيف يمكن إنشاء ملف الروبوتات robots.txt؟
بسيط جداً، ومن الممكن أن يأتي تلقائياً مع القالب الذي تستخدمه، عموماً، لنفترض أنك تريد من زواحف جميع محركات البحث أن تقوم بأرشفة جميع صفحات موقعك، ومنعها من أرشفة صفحة تسجيل الدخول (لموقع ووردبريس مثلاً)، وأن خريطة الموقع على الموقع الافتراضي لها، العملية سهلة جداً.

قم بفتح ملف نصي (باستخدام Notepad مثلاً)، ونكتب هذه السطور:

User-agent: *
Allow: /
Disallow: /wp-admin
sitemap: https://www.des-best.com/sitemap.xml
لنفهم الآن ماذا يعني هذا:

السطر الأول معناه أن هذا الملف موجّه لجميع زواحف محركات البحث وليس فقط جوجل، فالنجمة تعني “كل شيء” هنا، لو أردت تخصيص إعدادات معينة لزواحف جوجل مثلاً، فعليك كتابة اسمه مباشرة، مثل: User-agent: Googlebot، بالضبط هكذا، لكي تكون الإعدادات موجهة لزاحف جوجل فقط.

السطر الثاني يخبر أي زاحف يصله أن بإمكانك فهرسة جميع صفحات الموقع (باسثناء السطر الثالث)، هذا السطر بشكله هذا تقريباً لا معنى له، وهو فقط للتأكيد على فهرسة كل شيء، لكن الطبيعي حتى لو تكتبه، أن تقوم الزواحف بفهرسة كل شيء سوى ما تستثنيه في السطر الثالث.

السطر الثالث، الأخطر، والأهم، والكارثي لأي خطأ فيه، يخبر زواحف محركات البحث بما يجب عليها تجنبه من صفحات، وعدم إضافتها إلى فهرس محرك البحث، هل تعرف ما الذي يمكن أن يحصل في هذا السطر؟

تخيل أن شخصاً قام بالخطأ بكتابته بهذا الشكل:

Disallow: /
هل تعرف ما الذي قام به هذ الشخص لتوّه؟

قام بإيقاف ظهور جميع صفحات موقعه من على جميع محركات البحث، نعم بكل بساطة!

حتى الصفحات التي كان يعرف عنها محرك البحث في فهرسه، هذا الخطأ قام بحذف جميع هذه الصفحات وأي معلومات عنها.

ما إمكانية حدوث مثل هذا الخطأ؟

شخصياً وجدتها على موقعين مختلفين لعميلين كانا يشتكيان عدم ظهور مواقعهم على محركات البحث! فنعم من الممكن لشخص هاوٍ أن يقوم بهذه الكارثة.

السطر الرابع بسيط جداً لكنه مهم أيضاً، يخبر زواحف محركات البحث عن مكان وجود خريطة الموقع ليقوم بزيارتها وإضافة جميع صفحاتها لفهرسه.

كيفية تسمية ملف الروبوتات robots.txt
هل لاحظت أنني قمت بكتابة اسم الملف عدة مرات وكانت كل الأحرف صغيرة؟ وبالذات أقصد حرف الـ r.

عناوين صفحات الإنترنت تختلف بحسب حالة الحرف، أي أنها Case-sensitive، فمثلاً في هذا الموقع، يمكنني إنشاء مقالين مختلفين، ولكن الرابط يظهر أنه نفسه، مثل:

des-best.com/Hello

des-best.com/hello

هذان رابطان مختلفان، من الممكن أن يشيرا إلى صفحتين مختلفتين (بعض البرمجيات تحوّل جميع الأحرف إلى lower-case لكن هذا ليس الوضع الافتراضي)، فمثلاً رابط ملف الروبوتات الخاص بجوجل أعلاه، قم بإعادة كتابته مع حرف R وليس r، ستجد نفسك على صفحة 404!

بالمناسبة، هذا الاختلاف يكون على ما بعد اسم الدومين، فاسم الدومين يتم إعادة تحويله لأحرف صغيرة تلقائياً، لذلك لو كتبت des-best.com فلن تصل إلى موقع آخر.

الآن عرفت كيف عليك تسمية الملف الذي قمت بإنشائه، بقي أن نقوم برفعه لمكانه الصحيح على موقعك، عليك أن ترفعه إلى المجلد العلوي في موقعك، وليس داخل أي مجلد داخلي، فلا يجب أن يكون على des-best.com/series/robots.txt مثلاً!

الخلاصة
بهذا نكون قد أنهينا الجزء الثاني من سلسلة مقالات تحسين محركات البحث SEO، والتي تعرفنا فيه على كيفية تجهيز مواقعنا لمحركات البحث، إنشاء وتوثيق مواقعنا على أداة جوجل Search Console.

قمنا أيضاً بالتعرف على أهمية خرائط المواقع، كيفية رفعها لمحركات البحث، وختاماً تعلّمنا ما يلزمنا عن ملف الروبوتات robots.txt من كتابة وحفظ ورفع.

ــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ

تاريــخ التسجيـــــــل : 13/11/2023

أرشفة المواقع وملفات Robots & Sitemap

شكرا لك على الموضوع الرائعة

ــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ

أرشفة المواقع وملفات Robots & Sitemap 16-121

أرشفة المواقع وملفات Robots & Sitemap Gkppfz10

أن الله أمركم بأمر بدأ فيه بنفسه، وثنى بملائكته المسبحة بقدسه، وثلث بكم أيها المؤمنون من جنه وأنسه، فقال قولا كريما:
{إِنَّ اللَّهَ وَمَلَائِكَتَهُ يُصَلُّونَ عَلَى النَّبِيِّ يَا أَيُّهَا الَّذِينَ آمَنُوا صَلُّوا عَلَيْهِ وَسَلِّمُوا تَسْلِيماً}
[الأحزاب: 56].
اللهم صلِّ وسلم على عبدك ورسولك محمدٍ3

تاريــخ التسجيـــــــل : 02/02/2024

أرشفة المواقع وملفات Robots & Sitemap

سلمت يمينك ع المجهود والطرح الرائع
لا عدمنا وجودك وجديدك
ربي يع ـطيك الع ـوآفي
كــــــــل الـــــــــود.,