كيف تعمل محركات البحث

تاريــخ التسجيـــــــل : 30/12/2023

سؤال منطقي يجب البدء به قبل أن تتعلم أي شيء آخر عن تحسين محركات البحث، فعلينا فهم مبدأ عمل محركات البحث أولاً، لكي نستطيع القيام بما يلزم من تحسينات على موقعنا لكي نرفع ترتيبه على صفحة نتائج محرك البحث.

عندما تقوم ببحث على جوجل، ومثلاً ليكون عنوان هذا المقال “كيف تعمل محركات البحث”، لننظر إلى هذه الصورة فهناك أمران مهمّان فيها:

أولاً: لاحظ أن لدينا 7 مليون نتيجة لهذا البحث، نعم لا نذكر متى وصلنا الصفحة الثانية من أي بحث على جوجل، لكن هذا العدد يمثل عدد الصفحات التي يعتقد جوجل أن فيها إجابتك، لكنه بدلاً من أن يعطيك هذه الروابط بشكل عشوائي، يقوم بترتيبها وفقاً لمعايير محركات البحث.

ثانياً: استغرقت عملية البحث أقل من ثلث الثانية، أو لنكون أدق، عملية استرجاع النتائج استغرقت هذا الوقت، فلو كان محرك البحث سيبحث في مليارات الروابط التي يعرف عنها، ويطبق خوارزميات محركات البحث عليها، ثم يرتبها، لن يكون بالإمكان أن تتم العملية بهذه السرعة.

إذاً، متى حدثت العملية؟ ومن أي عرف محرك البحث عن ان هناك 7 مليون صفحة يمكن أن تجيب على عملية البحث؟

فهم هذا السؤال سيساعدنا بشكل كبير على معرفة كيفية عمل محركات البحث، متى وكيف تتم، سنبدأ مقالنا هذا بالتعرّف على زواحف / عناكب البحث والأرشفة.

ما هي زواحف الشبكة Web Crawlers؟
لها العديد من الأسماء، عناكب، بوتات، زواحف (Spiders, bots, crawlers) لكن المقصد واحد هنا، هي برمجيات تنشئها محركات البحث (مثل جوجل، ياهو، بينج وغيرها) بغرض تتبع ومعرفة جميع الروابط على شبكة الإنترنت لإضافتها على الفهرس الخاص بمحرك البحث.

الغرض من هذه الزواحف هو تزويد محركات البحث بمعلومات عن جميع المواقع وصفحات هذه المواقع المتاحة للفهرسة لتقوم أنظمة محركات البحث هذه بأخذ نسخ عن هذه الروابط ومحتوياتها، ثم إضافة جميع الروابط إلى فهرس ضخم جداً، يتكون من مئات مليارات الصفحات التي يعرف عنها محرك البحث (حجم فهرس بحث جوجل أكثر من 100 مليون جيجا بايت، أي ما يقارب 100 ألف تيرا بايت)

اقتباس :

The Google Search index contains hundreds of billions of webpages and is well over 100,000,000 gigabytes in size. It’s like the index in the back of a book — with an entry for every word seen on every webpage we index. When we index a webpage, we add it to the entries for all of the words it containsالمصدر

هذه الزواحف لا تبدأ عملها من العدم، فهناك ملايين المواقع المعروفة أصلاً لمحرك البحث، وتنطلق منها الزواحف عن طريق تتبع الروابط التي فيها (إلى مواقع أخرى)، أو يمكن للزواحف أن تبدأ مباشرة من موقع قام صاحبه برفعه لمحرك البحث مثل جوجل (عن طريق Google Search Console)، أو عن طريق خرائط المواقع sitemaps، وغير ذلك.

من المهم أيضاً معرفة أن هذه الزواحف لا تزور الرابط مرة واحدة، الزيارة الأولى تكون بغرض إضافة الرابط المكتشف إلى فهرس محرك البحث، بل تعيد الزيارة بشكل دوري لكي تقوم بتبليغ محركات البحث عن أي تحديثات أو نسخ جديدة ظهرت من هذه الصفحة، كي يقوم محرك البحث بإعادة تقييمها.

تقوم أيضاً الزواحف بتتبع الروابط للتحقق أنها لا زالت تعمل، فلو كان رابط xyz.com/something موجوداً في فهرس جوجل، ولكن الزواحف وجدته مرة أخرى كغير متاح (يسمى dead / broken link)، يتم إخبار محرك البحث ليقوم بإزالته من الفهرس، فهناك ملايين المواقع التي ظهرت واختفت، فلا داعي لإبقائها في فهارس محركات البحث.

كيف تتم فهرسة روابط المواقع؟
فهمنا الآن مبدأ عمل الزواحف وأنها تخبر أنظمة محرك البحث عن الروابط التي تجدها وإن حصل عليها أي تغيير، ما الذي يحدث بعدها؟ وكيف يتم ترتيب هذا الفهرس الهائل؟

تقوم أنظمة محرك البحث بالاطلاع على نسخة من صفحة الرابط، تقريباً كما تتصفحها أنت لكن تقرأها بصيغة HTML، الفهرس Index يحتوي على جميع الصفحات التي يعرف محرك البحث عنها، ويربطها على جميع الكلمات المفتاحية التي يمكن أن تكون إجابتها في هذه الصفحات، فلذلك نرى 7 مليون نتيجة لبحث عن كلمة “كيف تعمل محركات البحث”.

تشرح جوجل تصنيف الفهرس بالجملة التالية:

اقتباس :: والفهرس يشبه الجزء الخلفي من الكتاب، إذ نُدخِل جميع الكلمات التي نرصدها في كل صفحة نفهرسها. وعندما نفهرس صفحة ويب، نضيفها إلى كل الكلمات التي تم إدخالها والموجودة في هذه الصفحة (المصدر)

هذا الفهرس يتم تحديثه باستمرار، سواءً عند اكتشاف رابط جديد، أو إعادة تقييم صفحة مربوطة مع كلمات مفتاحية معينة، أو عند خروج رابط / موقع من الفهرس كلياً.

لذلك، الأصح أننا عندما نقوم باستخدام جوجل للبحث على الإنترنت، نحن فعلياً لا نبحث على الإنترنت، بل نبحث في ما يعرفه جوجل من صفحات الإنترنت، أي في فهرس جوجل فقط، فلو كان محرك البحث جوجل لا يعرف عن هذه المقالة، مع أنها موجودة ويمكنك تصفحها، فلن تظهر قطعاً على محرك البحث، ولن يصل أحد إليها من جوجل.

كيف يتم ترتيب المواقع Website Ranking؟
ما الذي يقرر أن رابطاً معيناً يجب أن يكون في النتيجة الأولى عندما يقوم شخص بالبحث عن كلمة معينة؟

خوارزميات محرك البحث هي التي تقرر هذا.

محرك البحث يعرف ما هي الصفحات (الروابط) التي من الممكن أن تجيب على عملية البحث عن طريق الفهرس، فلن يذهب جوجل للبحث في مليارات الروابط لديه، سيكتفي بالروابط التي يعتقد أنها مناسبة.

ثم تقوم المحركات بتطبيق عدد من الخوارزميات التي يدخل فيها أكثر من 200 عامل على هذه الصفحات، لمعرفة مدى مطابقتها لكلمات البحث التي ممكن أن تجيب عليها هذه الصفحات، فمثلاً عندما يجد محرك البحث هذه الصفحة، سيقوم بتحليلها، ومعرفة الكلمات الرئيسية التي يمكن أن تكون هذه الصفحة إجابة لها، ثم يقوم بعملية الترتيب.

فكل كلمة مفتاحية هناك آلاف وملايين المواقع التي تحدثت عنها من قريب أو بعيد، ولكي تكون الإجابات على صفحة نتائج محرك البحث مرتبة بناءً على مدى “احتمالية” أن تكون النتائج الأولى أقرب للإجابة، تقوم محركات البحث بترتيب هذه الصفحات بناءً على خوارزمياتها، فتقرر أن هذه الصفحة ترتيبها السابع على كلمة معينة، ولكن هناك كلمة أخرى يعتقد محرك البحث أن هذه الصفحة تستحق أن تكون الأولى عليها.

محركات البحث متطورة وتقوم بتعلّم النتائج، فيكون لديها معرفة سابقة تساعد على تسريع عملية إظهار نتائج البحث، وعموماً فهذه النتائج يتم تحديثها باستمرار، فالخوارزميات يجري عليها تعديل يومي تقريباً (لكن التحديثات الكبيرة والتي تغير بشكل واضح في النتائج قليلة جداً)، لذلك من الممكن أن تلاحظ تغيراً في ترتيب الصفحات من شهر إلى آخر، أو حتى خلال فترات أقل.

هل تختلف نتائج البحث من شخص إلى آخر ومن منطقة إلى أخرى؟
نعم بالطبع، جوجل مثلاً كأشهر محرك بحث في العالم، يهتم كثيراً بالتفضيلات التي يعرفها عن الشخص الذي يقوم بعملية البحث، مثل إعدادات البحث لديه، المنطقة التي يبحث منها، والأهم من ذلك، هو سجل البحث السابق لهذا الشخص.

فمثلاً عندما أقوم بالبحث (من الأردن) عن كلمة “طبيب أسنان” ستظهر لي جميع النتائج متعلقة بأطباء أسنان في منطقتي، سواءً كانت نتائج من “جوجل نشاطي التجاري Google My Business” أو حتى المواقع في أسفل شاشة نتائج البحث، حتى مع استخدام google.com وليس google.jo الذي تكون نتائجه محلية.

اختلاف النتائج من شخص إلى آخر بناءً على سجل البحث السابق يلعب دوراً أيضاً في تغيير ترتيب النتائج، ولكنه ليس بشكل جذري على كلمات رئيسية، فمن الممكن أن يعرف محرك البحث عنك بعض المعلومات التفضيلية التي من الممكن أن تؤثر على نتيجة البحث، لكن الأوضح من هذا هو أن جوجل يقدم لك اقتراحات بحث بشكل واضح جداً بناءً على ما تقوم به من عمليات بحث.

دعني أوضح لك بمثال، قمت بالبحث عن كلمة Apple من متصفح خفي incognito (كي لا يكون هناك سجل سابق لبحثي)، فظهرت لي هذه الاقتراحات:

ثم قمت بعدها بالبحث عن كلمة Orange juice، هنا بدأ جوجل يعرف أنني أقوم بالبحث عن الفواكه وليس منتجات شركة Apple، قمت بعد ذلك بكتابة Apple مرة أخرى، انظر الآن إلى الاقتراحات التي قدّمها جوجل:

هل لاحظت الفرق؟ ظهرت 4 اقتراحات تتعلق بالتفاح الفاكهة وليس منتجات شركة Apple.

نتائج البحث يمكن أن تتأثر أيضاً بهذا الشكل، بناءً على ما أقوم بالبحث عنه بشكل عام.

الخلاصة
وصلنا إلى نهاية الجزء الأول من سلسلة تحسين محركات البحث SEO، وتعرفنا فيه على مبدأ عمل محركات البحث، فهمنا في هذا الجزء كيف تعمل زواحف البحث، كيف تقوم بتتبع الروابط من موقع لآخر، وكيف ترسل معلوماتها إلى أنظمة جوجل.

تعرفنا أيضاً كيف تقوم محركات البحث بتخزين معلومات عن مليارات الصفحات وربطها بكلمات مفتاحية معينة، بحيث تكون هذه الروابط جاهزة عندما يقوم أحد بعملية البحث، فتقوم المحركات بتطبيق خوارزمياتها على هذه الروابط لمعرفة الترتيب الذي يجب أن تظهر عليه هذه النتائج، لتعرضها لك في أقل من ثانية.

في الجزء التالي من السلسلة سنتعرف على كيفية تجهيز موقعنا الإلكتروني للأرشفة وضمان أن تقوم زواحف محركات البحث بمعرفة جميع روابط موقعك باستخدام ملف الروبوت وخريطة الموقع، وهذه روابط لبقية أجزاء السلسلة:

ــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ

تاريــخ التسجيـــــــل : 13/11/2023

كيف تعمل محركات البحث

شكرا لك على الموضوع الرائعة

ــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ

أن الله أمركم بأمر بدأ فيه بنفسه، وثنى بملائكته المسبحة بقدسه، وثلث بكم أيها المؤمنون من جنه وأنسه، فقال قولا كريما:
{إِنَّ اللَّهَ وَمَلَائِكَتَهُ يُصَلُّونَ عَلَى النَّبِيِّ يَا أَيُّهَا الَّذِينَ آمَنُوا صَلُّوا عَلَيْهِ وَسَلِّمُوا تَسْلِيماً}
[الأحزاب: 56].
اللهم صلِّ وسلم على عبدك ورسولك محمدٍ3

تاريــخ التسجيـــــــل : 02/02/2024

كيف تعمل محركات البحث

سلمت يمينك ع المجهود والطرح الرائع
لا عدمنا وجودك وجديدك
ربي يع ـطيك الع ـوآفي
كــــــــل الـــــــــود.,