كيفية عمل محركات البحث هل فكرت يوما كيف تجيب محركات البحث على جميع تساؤلاتنا! وما هي العمليات التي تقوم بها لتستخرج الاجابات لنا؟!
قبل البدء بكيف تعمل محركات البحث بالتفصيل إذا كنت تتسائل كيف وصلنا الى هنا؟! وتريد مقال عن السيو وتحسين محركات البحث اضغط هنا .
كما ذكرنا في المقال السابق، فإن محركات البحث هي آلات للإجابة. فهي موجودة لاكتشاف محتوى الإنترنت وفهمه وتنظيمه من أجل تقديم النتائج الأكثر صلة بالأسئلة التي يطرحها الباحثون.
من أجل الظهور في نتائج البحث، يجب أن يكون المحتوى الخاص بك مرئيًا لمحركات البحث أولاً.
يمكن القول أنه أهم جزء من لغز تحسين محركات البحث: إذا تعذر العثور على موقعك، فلا توجد طريقة ستظهر بها في صفحة نتائج محرك البحث (SERPs).
اذن ما هي الية عمل محركات البحث!
تعمل محركات البحث من خلال ثلاث وظائف أساسية:
الزحف(Crawling): البحث في الإنترنت عن المحتوى، وابحث في رمز أو محتوى لكل عنوان URL يعثرون عليه.
الفهرسة(Indexing): قم بتخزين وتنظيم المحتوى الموجود أثناء عملية الزحف. بمجرد أن تصبح الصفحة في الفهرس، فإنها قيد التشغيل ليتم عرضها كنتيجة لتساؤلات ذات الصلة.
الترتيب(Ranking): قم بتوفير أجزاء المحتوى التي ستجيب بشكل أفضل على لتساؤل الباحث، مما يعني أن النتائج مرتبة حسب الأكثر صلة بالأقل صلة لتسهيل على الباحث.
ماذا تعني عملية الزحف في محركات البحث!!
تبدأ سلسلة عمل محركات البحث بعملية الزحف وهي عملية الاستكشاف التي ترسل فيها محركات البحث فريقًا من الروبوتات (المعروفة باسم برامج الزحف أو العناكب) للعثور على محتوى جديد ومحدث. يمكن أن يختلف المحتوى – فقد يكون صفحة ويب أو صورة أو مقطع فيديو أو ملف PDF وما إلى ذلك – ولكن بغض النظر عن التنسيق، يتم اكتشاف المحتوى بواسطة الروابط.
يبدأ Googlebot بجلب بضع صفحات ويب، ثم يتبع الروابط الموجودة على صفحات الويب هذه للعثور على عناوين URL جديدة. من خلال التنقل على طول مسار الروابط، يكون الزاحف قادرًا على العثور على محتوى جديد وإضافته إلى فهرسهم المسمى Caffeine -وهو قاعدة بيانات ضخمة لعناوين URL المكتشفة – ليتم استردادها لاحقًا عندما يبحث الباحث عن معلومات تفيد بأن المحتوى الموجود على عنوان URL هذا مطابق جيدًا.
ما هي فهرسة محركات البحث؟
ببساطة تقوم الفهرسة بمعالجة وتخزين المعلومات التي يجدونها في فهرس، وهو قاعدة بيانات ضخمة لجميع المحتوى الذي اكتشفوه ويعتبرونه جيدًا بما يكفي لخدمة الباحثين.
كيفية ترتيب محركات البحث؟
الية الترتيب في عمل محركات البحث حيث عندما يقوم شخص ما بإجراء بحث، تقوم محركات البحث بالبحث في فهرسها بحثًا عن محتوى وثيق الصلة ثم تطلب ذلك المحتوى على أمل حل تساؤل الباحث. يُعرف ترتيب نتائج البحث حسب الصلة.
بشكل عام، يمكنك افتراض أنه كلما تم تصنيف موقع ويب أعلى، كلما كان محرك البحث يعتقد أن الموقع مرتبط بالتساؤل المقدم من الباحث ارتباط وثيق.
من الممكن منع برامج الزحف لمحركات البحث من جزء من موقعك أو كله، أو توجيه محركات البحث لتجنب تخزين صفحات معينة في فهرسها. على الرغم من وجود أسباب للقيام بذلك، إذا كنت تريد أن يعثر الباحثون على المحتوى الخاص بك، فعليك أولاً التأكد من أنه يمكن الوصول إليه من قبل برامج الزحف وقابل للفهرسة.
بنهاية هذا المقال، سيكون لديك السياق الذي تحتاجه للعمل مع محرك البحث، وليس ضده.
هل جميع محركات البحث متساوية؟!
في تحسين محركات البحث، ليست كل المحركات متساوية يتساءل العديد من المبتدئين عن الأهمية النسبية لمحركات البحث الخاصة. يعرف معظم الناس أن Google لديها أكبر حصة في السوق، ولكن ما مدى أهمية تحسين Bing و Yahoo وغيرهما؟ الحقيقة هي أنه على الرغم من وجود أكثر من 30 محرك بحث رئيسي على الويب، فإن مجتمع تحسين محركات البحث (SEO) يهتم فقط بـ Google.
لماذا؟ الإجابة المختصرة هي أن Google هو المكان الذي يبحث فيه الغالبية العظمى من الناس على الويب. إذا قمنا بتضمين صور Google ، وخرائط Google ، و YouTube (أحد مواقع Google) ، فإن أكثر من 90٪ من عمليات البحث على الويب تتم على Google – أي ما يقرب من 20 ضعفًا لـ Bing و Yahoo معًا.
هل يمكن لمحركات البحث العثور على صفحاتي؟
كما تعلمت للتو، فإن التأكد من الزحف إلى موقعك وفهرسته شرط أساسي للظهور في SERPs. إذا كان لديك موقع ويب بالفعل، فقد يكون من الجيد أن تبدأ بمعرفة عدد صفحاتك في الفهرس. سيؤدي ذلك إلى الحصول على بعض الأفكار الرائعة حول ما إذا كان محرك بحث Google يقوم بالزحف والعثور على جميع الصفحات التي تريدها أم لا.
إحدى طرق التحقق من صفحاتك المفهرسة هي “site: yourdomain.com“، وهو عامل بحث متقدم. توجه إلى Google واكتب “site: yourdomain.com” في شريط البحث. سيؤدي هذا إلى عرض نتائج Google في فهرسها للموقع المحدد:
عدد النتائج التي يعرضها Google ليس دقيقًا، ولكنه يمنحك فكرة قوية عن الصفحات التي تمت فهرستها على موقعك وكيف يتم عرضها حاليًا في نتائج البحث.
للحصول على نتائج أكثر دقة، راقب واستخدم تقرير تغطية الفهرس في Google Search Console. يمكنك التسجيل للحصول على حساب Google Search Console مجاني إذا لم يكن لديك حساب حاليًا. باستخدام هذه الأداة، يمكنك إرسال خرائط مواقع لموقعك ومراقبة عدد الصفحات المرسلة التي تمت إضافتها بالفعل إلى فهرس Google ، من بين أشياء أخرى.
إذا كنت لا تظهر في أي مكان في نتائج البحث، فهناك بعض الأسباب المحتملة لذلك:
- موقعك جديد تمامًا ولم يتم الزحف إليه بعد.
- موقعك ليس مرتبطًا بأي مواقع خارجية.
- يجعل التنقل في موقعك من الصعب على الروبوت الزحف إليه بشكل فعال.
- يحتوي موقعك على بعض التعليمات البرمجية الأساسية تسمى توجيهات الزاحف والتي تحظرها محركات البحث.
- عاقبت Google موقعك على الويب بسبب الأساليب غير المرغوب فيها.
أخبر محركات البحث بكيفية الزحف إلى موقعك
إذا استخدمت Google Search Console أو مشغل البحث المتقدم “site: domain.com” ووجدت أن بعض صفحاتك المهمة مفقودة من الفهرس أو تمت فهرسة بعض صفحاتك غير المهمة عن طريق الخطأ، فهناك بعض التحسينات التي يمكنك القيام بها التنفيذ لتوجيه Googlebot بشكل أفضل بالطريقة التي تريد الزحف بها إلى محتوى الويب الخاص بك. أو إخبار محرك البحث بكيفية الزحف إلى موقعك يمكن أن يمنحك تحكمًا أفضل فيما ينتهي به الأمر في الفهرس.
يفكر معظم الناس في التأكد من أن Google يمكنه العثور على صفحاتهم المهمة، ولكن من السهل أن تنسى أن هناك صفحات محتملة لا تريد أن يعثر عليها Googlebot. قد يتضمن ذلك أشياء مثل عناوين URL القديمة التي تحتوي على محتوى رفيع وعناوين URL مكررة وصفحات الرموز الترويجية الخاصة وصفحات التدريج أو الاختبار وما إلى ذلك.
لتوجيه Googlebot بعيدًا عن صفحات وأقسام معينة في موقعك، استخدم ملف robots.txt.
ملف robots.txt
توجد ملفات Robots.txt في الدليل الجذر لمواقع الويب (على سبيل المثال، yourdomain.com/robots.txt) وتقترح أي أجزاء من محركات البحث يجب ألا تزحف إليها، بالإضافة إلى السرعة التي تزحف بها إلى موقعك، عبر توجيهات محددة لملف robots.txt.
كيف يتعامل Googlebot مع ملفات robots.txt
- إذا لم يتمكن Googlebot من العثور على ملف robots.txt لأحد المواقع، فسيواصل الزحف إلى الموقع.
- إذا عثر Googlebot على ملف robots.txt لأحد المواقع، فعادة ما يلتزم بالاقتراحات ويتابع الزحف إلى الموقع.
- إذا واجه Googlebot خطأً أثناء محاولة الوصول إلى ملف robots.txt الخاص بالموقع ولم يتمكن من تحديد ما إذا كان موجودًا أم لا، فلن يقوم بالزحف إلى الموقع.
تحسين ميزانية الزحف!
ميزانية الزحف هي متوسط عدد عناوين URL التي سيزحف إليها Googlebot على موقعك قبل مغادرته، لذا فإن تحسين ميزانية الزحف يضمن أن Googlebot لا يضيع الوقت في الزحف عبر صفحاتك غير المهمة معرّضة الصفحات المهمة لخطر التجاهل. تعتبر ميزانية الزحف أكثر أهمية في المواقع الكبيرة جدًا التي تحتوي على عشرات الآلاف من عناوين URL، ولكن ليس من الجيد أبدًا منع برامج الزحف من الوصول إلى المحتوى الذي لا تهتم به بالتأكيد. فقط تأكد من عدم حظر وصول الزاحف إلى الصفحات التي أضفت إليها توجيهات أخرى، مثل علامات canonical أو noindex. إذا تم حظر Googlebot من إحدى الصفحات، فلن يتمكن من رؤية الإرشادات الموجودة في تلك الصفحة.
هل تستطيع برامج الزحف العثور على كل المحتوى المهم الخاص بي؟
الآن بعد أن تعرفت على بعض الأساليب لضمان ابتعاد برامج زحف محركات البحث عن المحتوى غير المهم، دعنا نتعرف على التحسينات التي يمكن أن تساعد Googlebot في العثور على صفحاتك المهمة.
في بعض الأحيان، سيتمكن محرك البحث من العثور على أجزاء من موقعك عن طريق الزحف، ولكن قد يتم إخفاء الصفحات أو الأقسام الأخرى لسبب أو لآخر. من المهم التأكد من أن محركات البحث قادرة على اكتشاف كل المحتوى الذي تريد فهرسته، وليس صفحتك الرئيسية فقط.
اسأل نفسك هذا السؤال: هل يستطيع الروبوت الزحف عبر موقع الويب الخاص بك، وليس فقط إليه؟
هل المحتوى الخاص بك مخفي وراء نماذج تسجيل الدخول؟
إذا طلبت من المستخدمين تسجيل الدخول أو ملء النماذج أو الإجابة على الاستطلاعات قبل الوصول إلى
محتوى معين، فلن ترى محركات البحث تلك الصفحات المحمية. بالتأكيد لن يقوم الزاحف بتسجيل الدخول.
هل تعتمد على استمارات البحث؟
لا يمكن للروبوتات استخدام نماذج البحث. يعتقد بعض الأفراد أنه إذا وضعوا مربع بحث على موقعهم، فستتمكن
محركات البحث من العثور على كل ما يبحث عنه زوارهم.
هل النص مخفي داخل محتوى غير نصي؟
لا يجب استخدام نماذج الوسائط غير النصية (الصور، الفيديو، ملفات GIF، إلخ) لعرض النص الذي ترغب في فهرسته. بينما تتحسن محركات البحث في التعرف على الصور، ليس هناك ما يضمن أنها ستكون قادرة على قراءتها وفهمها حتى الآن. من الأفضل دائمًا إضافة نص داخل ترميز <HTML> لصفحة الويب الخاصة بك.
هل يمكن لمحركات البحث متابعة التنقل في موقعك؟
مثلما يحتاج الزاحف إلى اكتشاف موقعك عبر روابط من مواقع أخرى، فإنه يحتاج إلى مسار من الروابط على
موقعك لتوجيهه من صفحة إلى أخرى. إذا كانت لديك صفحة تريد أن تجدها محركات البحث ولكنها غير مرتبطة
بأي صفحات أخرى، فهي غير مرئية. ترتكب العديد من المواقع خطأً فادحًا في هيكلة التنقل بطرق يتعذر الوصول
إليها لمحركات البحث، مما يعيق قدرتها على الإدراج في نتائج البحث.
أخطاء التنقل الشائعة التي يمكن أن تمنع برامج الزحف من رؤية موقعك بالكامل:
- التنقل عبر الجوال الذي يعرض نتائج مختلفة عن التنقل على سطح المكتب
- أي نوع من التنقل حيث لا تكون عناصر القائمة في HTML، مثل التنقلات التي تدعم JavaScript. لقد تحسنت قدرة Google كثيرًا في الزحف إلى جافا سكريبت وفهمها، لكنها لا تزال ليست عملية مثالية. الطريقة الأكثر ضمانًا لضمان العثور على شيء ما وفهمه وفهرسته بواسطة Google هي وضعه في HTML.
- قد يبدو التخصيص، أو عرض التنقل الفريد لنوع معين من الزائرين مقابل الآخرين، وكأنه إخفاء هوية لزاحف محرك البحث.
- نسيان الارتباط بصفحة أساسية على موقع الويب الخاص بك من خلال التنقل وتذكر، الروابط هي المسارات التي تتبعها برامج الزحف إلى الصفحات الجديدة!
هذا هو السبب في أنه من الضروري أن يحتوي موقع الويب الخاص بك على بنية تنقل واضحة ومفيدة لمجلد URL.
بمجرد التأكد من تحسين موقعك من أجل إمكانية الزحف ، فإن الترتيب التالي للعمل هو التأكد من إمكانية فهرسته.
الفهرسة: كيف تفسر محركات البحث صفحاتك وتخزينها؟
بمجرد التأكد من الزحف إلى موقعك ، فإن الترتيب التالي للعمل هو التأكد من إمكانية فهرسته. هذا صحيح – فقط لأنه يمكن اكتشاف موقعك والزحف إليه بواسطة محرك بحث لا يعني بالضرورة أنه سيتم تخزينه في فهرسها. في القسم السابق حول الزحف ، ناقشنا كيفية اكتشاف محركات البحث لصفحات الويب الخاصة بك.
الفهرس هو المكان الذي يتم فيه تخزين صفحاتك المكتشفة. بعد أن يعثر الزاحف على صفحة ، يعرضها محرك البحث تمامًا كما يفعل المتصفح. في عملية القيام بذلك ، يقوم محرك البحث بتحليل محتويات تلك الصفحة. يتم تخزين كل هذه المعلومات في فهرسها.
هل سبق إزالة الصفحات من الفهرس؟
نعم ، يمكن إزالة الصفحات من الفهرس!
تتضمن بعض الأسباب الرئيسية وراء إمكانية إزالة عنوان URL مثل:
- يعرض عنوان URL خطأ “لم يتم العثور عليه” (4XX) أو خطأ في الخادم (5XX) – قد يكون هذا عرضيًا (تم نقل الصفحة ولم يتم إعداد إعادة التوجيه 301) أو متعمدًا (تم حذف الصفحة و 404 من أجل إزالته من الفهرس)
- تمت إضافة علامة تعريف noindex إلى عنوان URL – يمكن إضافة هذه العلامة بواسطة مالكي المواقع لإرشاد محرك البحث إلى حذف الصفحة من فهرسها.
- تمت معاقبة عنوان URL يدويًا لانتهاكه إرشادات مشرفي المواقع الخاصة بمحرك البحث ، ونتيجة لذلك ، تمت إزالته من الفهرس.
- تم حظر عنوان URL من الزحف مع إضافة كلمة مرور مطلوبة قبل أن يتمكن الزوار من الوصول إلى الصفحة.
إذا كنت تعتقد أن صفحة على موقع الويب الخاص بك كانت موجودة مسبقًا في فهرس Google لم تعد تظهر ، فيمكنك استخدام أداة فحص عنوان URL لمعرفة حالة الصفحة ، أو استخدام ” مثل Inspection Google” الذي يحتوي على ميزة “طلب الفهرسة” إرسال عناوين URL الفردية إلى الفهرس.
أخبر محركات البحث بكيفية فهرسة موقعك
التوجيهات الوصفية للروبوتات
التوجيهات الوصفية هي إرشادات يمكنك تقديمها لمحركات البحث فيما يتعلق بالطريقة التي تريد أن تُعامل بها صفحة الويب الخاصة بك.
يمكنك إخبار برامج زحف محركات البحث بأشياء مثل “عدم فهرسة هذه الصفحة في نتائج البحث” أو “عدم تمرير أي ملكية ارتباط إلى أي روابط على الصفحة”. يتم تنفيذ هذه التعليمات عبر Robots Meta Tags في <head> من صفحات HTML الخاصة بك (الأكثر استخدامًا) أو عبر X-Robots-Tag في رأس HTTP.
العلامة الوصفية لبرامج الروبوت
يمكن استخدام العلامة الوصفية لبرامج الروبوت داخل <head> من HTML لصفحة الويب الخاصة بك. يمكن أن يستبعد كل أو محركات البحث المحددة. فيما يلي توجيهات التعريف الأكثر شيوعًا ، جنبًا إلى جنب مع المواقف التي قد تطبقها فيها.
يخبر index / noindex المحركات ما إذا كان يجب الزحف إلى الصفحة والاحتفاظ بها في فهرس محركات البحث لاسترجاعها. إذا اخترت استخدام “noindex” ، فأنت تخبر برامج الزحف بأنك تريد استبعاد الصفحة من نتائج البحث. بشكل افتراضي ، تفترض محركات البحث أنها تستطيع فهرسة جميع الصفحات ، لذا فإن استخدام قيمة “index” ليس ضروريًا.
يمكنك اختيار وضع علامة “noindex” على الصفحة إذا كنت تحاول اقتطاع الصفحات الرفيعة من فهرس Google لموقعك (على سبيل المثال: صفحات الملف الشخصي التي ينشئها المستخدم) ولكنك لا تزال تريد وصول الزوار إليها.
يخبر Follow / nofollow محركات البحث بما إذا كان يجب اتباع الروابط الموجودة على الصفحة أو عدم متابعتها. ينتج عن “متابعة” روبوتات تتبع الروابط الموجودة على صفحتك وتمرير ملكية الرابط من خلال عناوين URL هذه. أو ، إذا اخترت استخدام “nofollow” ، فلن تتبع محركات البحث أو تمرر أي سهم رابط إلى الروابط الموجودة على الصفحة. بشكل افتراضي ، من المفترض أن تحتوي جميع الصفحات على السمة “متابعة”.
متى يمكنك استخدام: غالبًا ما يتم استخدام nofollow مع noindex عندما تحاول منع فهرسة صفحة وكذلك منع الزاحف من تتبع الروابط الموجودة على الصفحة.
يتم استخدام noarchive لتقييد محركات البحث من حفظ نسخة مخبأة من الصفحة. بشكل افتراضي ، ستحتفظ المحركات بنسخ مرئية من جميع الصفحات التي تمت فهرستها ، بحيث يمكن للباحثين الوصول إليها من خلال الرابط المخبأ في نتائج البحث.
إذا كنت تدير موقعًا للتجارة الإلكترونية وتتغير أسعارك بانتظام ، فقد تفكر في علامة noarchive لمنع الباحثين من رؤية أسعار قديمة.
سيساعدك فهم الطرق المختلفة التي يمكنك من خلالها التأثير في الزحف والفهرسة على تجنب المخاطر الشائعة التي قد تمنع العثور على صفحاتك المهمة.
الترتيب: كيف ترتب محركات البحث عناوين URL؟
كيف تضمن محركات البحث أنه عندما يكتب شخص ما استعلامًا في شريط البحث ، يحصل في المقابل على نتائج ذات صلة؟ تُعرف هذه العملية باسم الترتيب ، أو ترتيب نتائج البحث حسب الأكثر صلة إلى الأقل صلة باستعلام معين.
و لتحديد مدى الصلة بالموضوع ، تستخدم محركات البحث الخوارزميات ، وهي عملية أو صيغة يتم من خلالها استرداد المعلومات المخزنة وترتيبها بطرق مفيدة. مرت هذه الخوارزميات بالعديد من التغييرات على مر السنين من أجل تحسين جودة نتائج البحث. تقوم Google ، على سبيل المثال ، بإجراء تعديلات على الخوارزمية كل يوم – بعض هذه التحديثات عبارة عن تعديلات طفيفة على الجودة ، في حين أن البعض الآخر عبارة عن تحديثات خوارزمية أساسية / واسعة يتم نشرها لمعالجة مشكلة معينة ، مثل Penguin لمعالجة الروابط غير المرغوب فيها. تحقق من سجل تغييرات خوارزمية Google الخاص بنا للحصول على قائمة بكل من تحديثات Google المؤكدة وغير المؤكدة التي تعود إلى عام 2000.
لماذا تتغير الخوارزمية كثيرًا؟ هل تحاول Google فقط إبقائنا متيقظين؟
على الرغم من أن Google لا تكشف دائمًا عن تفاصيل حول سبب قيامهم بما يفعلونه ، فإننا نعلم أن هدف Google عند إجراء تعديلات الخوارزمية هو تحسين جودة البحث الإجمالية. لهذا السبب ، ردًا على أسئلة تحديث الخوارزمية ، ستجيب Google بشيء على غرار: “نحن نجري تحديثات الجودة طوال الوقت.” يشير هذا إلى أنه إذا كان موقعك يعاني بعد تعديل الخوارزمية ، فقم بمقارنته بإرشادات الجودة الخاصة بـ Google أو إرشادات مقيم جودة البحث ، وكلاهما يخبرنا كثيرًا بما تريده محركات البحث.
ماذا تريد محركات البحث؟
لطالما أرادت محركات البحث نفس الشيء تقديم إجابات مفيدة لأسئلة الباحث بأكثر التنسيقات فائدة. إذا كان هذا صحيحًا ، فلماذا يبدو أن مُحسّنات محرّكات البحث مختلفة الآن عما كانت عليه في السنوات الماضية؟
فكر في الأمر من منظور شخص يتعلم لغة جديدة.
في البداية ، كان فهمهم للغة بدائيًا للغاية – “See Spot Run.” بمرور الوقت ، يبدأ فهمهم في التعمق ويتعلمون الدلالات – المعنى الكامن وراء اللغة والعلاقة بين الكلمات والعبارات. في النهاية ، مع الممارسة الكافية ، يعرف الطالب اللغة جيدًا بما يكفي حتى لفهم الفروق الدقيقة ، ويكون قادرًا على تقديم إجابات للأسئلة الغامضة أو غير المكتملة. وكذلك تحسين محركات البحث وتهيئة الخوارزميات.
هذه الية عمل محركات البحث اذا كنت تريد تصدر محركات البحث يجب الاهتمام بهذه العمليات ووضعها بعين الاعتبار نظرًا لأن Google تريد تقديم أفضل الشركات المحلية وأكثرها صلة بالباحثين ، فمن المنطقي تمامًا استخدام مقاييسها لتحديد الجودة والأهمية اذا كنت لم تفهم أهميتها اقرأ المقال السابق عن تحسين محركات البحث وأهميتها…
