همه چیز درباره سئو قسمت دوم (پایش)

اگر تصمیم گرفتید این متن را مطالعه کنید احتمالا به اهمیت سئو در موفقیت وب‌سایت آگاهی دارید. در نخستین قسمت سری مقاله‌های دنباله‌دار سئو، به‌طور کلی مفهوم آن را مورد بررسی قرار دادیم. در این قسمت به ساز و کار موتورجستجو پرداختیم. پایش یا crawling، فهرست کردن یا indexing و رتبه بندی سه مرحله اصلی کار موتور جستجو برای یافتن تا نشان دادن وبسایت در نتایج یک پرسش است که در این قسمت به طور کامل به آن میپردازیم. فراموش نکنید کوچک‌ترین آگاهی نسبت به‌سئو می‌تواند منجر به تغیرات بسیارمفیدی در وب‌سایت شما شود. در ادامه همراه باشد.

• موتورهای جستجو چگونه کار می‌کنند؟

• عمل پایش در موتورهای جستجو به چه معناست؟

• عمل Indexing یا دسته بندی در موتورهای جستجو به چه معناست؟

• رتبه بندی بعد از راه‌اندازی سایت فروشگاهی در موتورهای جستجو

• موتورهای جستجو سایت شما را بعد از ساخت فروشگاه اینترنتی پیدا می‌کنند؟

• به ربات‌ها دستور دهید چگونه وبسایت شما را پیمایش و ثبت کنند

• تعریف پارامترهای URL در GSC

• اما گوگل چگونه تشخیص دهد که کدام آدرس را به کاربران نشان دهد؟

• آیا پایشگرها می‌توانند تمام محتوای مفید وبسایت شما را بیایند؟

• آیا محتوا در پشت صفحه فرم ثبت نام پنهان شده است؟

• یا محتوای شما درون محتوای غیر متنی پنهان است؟

• اشتباهات متداول در طراحی سایت فروشگاهی

• کلام آخر

موتورهای جستجو چگونه کار می‌کنند؟

Crawling.Indexing-Ranking

همان‌طور که در قسمت قبلی توضیح دادیم، موتور‌های جستجو ماشین پاسخگویی هستند. فلسفه‌ی به وجود آمدن موتورهای جستجو، یافتن، درک و سازماندهی محتوای اینترنت جهت ارائه بهترین پاسخ به پرسش کاربران است. محتوای وب‌سایت شما باید برای این موتورها قابل مشاهده باشد. این نکته اولین قدم جهت حرفه ای شدن در بحث سئو است.

موتورهای جستجو چگونه کار می‌کنند

آن‌ها به طور کلی سه عملکرد اصلی دارند:

Crawling (پایش):

یافتن محتوا و نشانی‌هایی که در سطح وب وجود دارند و می‌شود از آن‌ها به‌عنوان پاسخ کاربران استفاده کرد.

Indexing(طبقه بندی):

اطلاعات به دست آمده از مرحله پایش را سازماندهی و ذخیره می‌کند. زمانی که یک وب‌سایت در فهرست سازماندهی شده موتور جستجو قرار بگیرد، به این معنا خواهد بود که در صورت درخواست می‌تواند به کاربران پیشنهاد شود.

Ranking (رتبه بندی):

رنکینگ یا رتبه‌بندی، ترتیب قرار گرفتن نتایج در صفحات موتورهای جستجو است. این نتایج طبق استانداردهایی که موتورهای جستجو ارائه می‌کنند، با توجه به نیازهای مخاطب در صفحات قرار خواهند گرفت. به این معنا که کامل‌ترین و نزدیک‌ترین پاسخ در سریع‌ترین زمان در دسترس کاربر قرار ‌می‌گیرد.

عمل پایش در موتورهای جستجو به چه معناست؟

Crawling در لغت به معنای خزیدن است و در همان‌طور که از نامش هم می‌توان حدس زد در این فرآیند، پایش وبسایت را انجام می‌دهد. در این مرحله موتور‌های جستجو ربات‌هایی را که به عنکبوت معروف هستند برای یافتن مطالب و محتوای تازه و مفید ارسال می‌کند. ذات محتوا می‌تواند گوناگون باشد. می‌تواند در قالب متن، صفحات وب، تصویر یا ویدئو باشد اما صرف نظر از قالب، ربات‌ها از طریق لینک‌ به این محتوا می‌رسند. عملکرد این ربات‌ها در گوگل به این شکل است که کار خود را با چند صفحه‌ی‌ وب آغاز کرده و در ادامه لینک‌های داخل آن صفحات را دنبال می‌کنند. با جست‌و‌خیز در مسیر لینک‌ها، پایش‌گر قادر است محتوای جدیدی پیدا کند و آن را به فهرست خود که پایگاه داده گسترده‌ای از لینک های کشف شده است، اضافه کند. پس از آن زمانی که جستجو صورت گرفت محتوای مورد نظر از طریق همان لینک بازیابی خواهد شد.

عمل Indexing یا دسته بندی در موتورهای جستجو به چه معناست؟

عمل دسته‌بندی و ذخیره‌ی تمام اطلاعات دریافت شده را Indexing می‌نامند. موتور‌های جستجو در فهرست خود، یک پایگاه داده‌ی عظیم دارند که در آن تمام اطلاعات دریافتی از عمل پایش را سازماندهی و ذخیره می‌کنند.

رتبه بندی در موتورهای جستجو

زمانی که کاربر درمورد یک موضوع جستجو می‌کند، موتورهای جستجو از میان فهرست داده‌ی دسته بندی شده نزدیک‌ترین اطلاعات را جدا کرده و به هدف رساندن کاربر در کمترین زمان به پاسخ مورد نظر،‌ آن‌ها را در صفحه نتایج قرار می‌دهند. نحوه قرار گیری نتایج، رتبه بندی یا رنکینگ نامیده می‌شود. پس هر چه یک آدرس، رتبه و رنک بهتری داشته باشد، در صفحات اولیه و در ردیف بالاتری به کاربر نشان داده می‌شود. شما می‌توانید بخشی از وبسایت خود یا تمام آن را برای ربات‌های ‌پایشگر غیرقابل مشاهده کنید یا اجازه ندهید که بخشی از آدرس‌های وبسایت شما در فهرست داده‌های موتور جستجو قرار گیرد. اما اگر بخواهید کاربران، از طریق موتورهای جستجو شما را پیدا کنند، باید مطمئن شوید که این دسترسی را به ربات‌ها داده اید. در غیر این صورت شما دیده نمی‌شوید تا در باقی پروسه دسته بندی و رتبه بندی شوید.

آیا موتورهای جستجو وبسایت شما را پیدا می‌کنند؟

همان طور که بالاتر اشاره کردیم، لازمه‌ی حضور در صفحات جستجو، دسترسی ربات‌های موتور جستجو به وبسایت شما و دسته‌بندی محتوای شما در داده‌های آن موتور است. اگرهمین حالا وبسایت شما ساخته شده و فعال است، برای شروع می‌توانید بررسی کنید که چه تعداد از لینک‌های وبسایت شما در داده‌های دسته بندی شده موتور جستجو قرار دارد؟ به این شکل شما می‌فهمید که آیا ربات گوگل به صفحات مورد نظر شما دسترسی دارد یا نه؟‌ یکی از راه‌های بررسی صفحات خود، در فهرست Index، جستجوی آدرس خود به صورت site:yourdomain.com در یک اپراتور جستجوی پیشرفته است. به گوگل بروید و دامنه‌ی وبسایت خود را به صورت عبارت site:yourdomain.com جستجو کنید. با این کار تمام صفحات وبسایت شما که در داده‌های گوگل قرار گرفته است، در نتایج نشان داده می‌شود.

با فروشگاه ساز سازیتو در سریع‌ترین زمان ممکن سایت خودتان را طراحی کنید.

تعداد نتایج نمایش داده شده، که در تصویر مشخص کردیم، دقیق نیست اما می‌تواند دیدی کلی از دسترسی صفحات وبسایتتان به گوگل و ترتیب رتبه بندی آن‌ها می‌دهد. برای مشاهده نتایج دقیق‌تر از اطلاعات بخش index Coverage استفاده کنید. برای این کار باید درسرچ کنسول گوگل رایگان ثبت نام کنید. با داشتن این حساب کاربری می‌توانید نقشه سایت خود را داشته و به بسیاری ابزارهای دیگر دسترسی داشته باشید. اگر در هیچ کجای نتایج جستجو نشان داده نشدید، ممکن است یکی از دلایل زیر عامل باشد؛

• وبسایت شما تازه تاسیس شده و هنوز توسط ربات های گوگل یافته نشده است.
• وبسایت شما توسط هیچ وبسایت دیگری لینک داده نشده است.
• اختلالی در پیمایش ربات‌ها در سایت شما وجود دارد.
• سیات شما به دلیل عدم رعایت قوانین توسط گوگل از فهرست حذف شده است

به ربات‌ها دستور دهید چگونه وبسایت شما را پیمایش و ثبت کنند.

ممکن است در روش‌های بالا متوجه شوید برخی صفحات مهم وبسایت شما در داده‌های موتور جستجو ثبت نشده یا برخی صفحات بی‌اهمیت بالاتر از باقی صفحات ثبت شده است. شما می‌توانید ربات‌های موتور جستجو را راهنمایی کنید تا کنترل بهتری بر محتوای وبسایت شما برای انتقال به فهرست داشته باشند. برای هدایت ربات گوگل به صفحات و بخش‌های خاص سایت خود، از robots.txt استفاده کنید.

Robots.txt

فایل‌های robots.txt در فهرست اصلی وبسایت‌ها قرار دارد. ( مثلا yourdomain.com/robots.txt) و پیشنهاد می ‌کند که ربات جستجوی گوگل به کدام صفحات توجه کرده وبه کدام یک وارد نشود. اما ربات گوگل چگونه با این فایل برخورد می‌کند؟

• اگر ربات وارد یک سایت شود و نتواد فایل را پیدا کند، پس تمام سایت را بررسی و ذخیره می‌کند.
• اگر ربات وارد یک سایت شود و بتواد یک فایل robots.txt را پیدا کند، پس طبق پیشنهاد فایل سایت را دنبال کرده و اطلاعات را بررسی و ذخیره می‌کند.
• اگر ربات در هنگام تلاش برای دسترسی به فایل robots.txt با خطا روبرو شود، نمی‌تواند سایت را به کلی به داده تبدیل کند.

همه‌ی ربات‌ها از این فایل استفاده نمی‌کنند. برخی افراد که با هدف سوء استفاده از اطلاعات ربات ایجاد می‌کنند، به کلی از این قوانین و فایل‌ها پیروی نمی‌کنند. در واقع برخی از این افراد، برای یافتن صفحات شخصی و محرمانه شما استفاده کرده و به سرعت به آن صفحات می‌رسند. اگر چه به نظر می‌رسد محدود کردن ربات‌ها به صفحات خصوصی همچون صفحه‌ی ثبت نام و … منطقی است چرا که دسترسی آسان از طریق موتورهای جستجو به آن سخت می‌شود اما همین امر، دسترسی ربات‌های مخرب را به صفحات خصوصی آسان‌تر ‌می‌کند. که می‌توان گفت آثار سوء این دسترسی بیشتر از دسترسی موتورهای جستجو باشد. پس شاید بهتر باشد برای محدود کردن دسترسی، به‌جای استفاده از robots.txt بتوان از یک سری صفحه‌ی پوشاننده و اولیه و فرم ورود به سیستم بهره برد.

تعریف پارامترهای URL در GSC

برخی سایت‌ها (علی الخصوص سایت‌هایی با هدف تجارت الکترونیک) با استفاده از پارامتر‌هایی خاص محتوای یکسانی در آدرس‌های متفاوت قرار می‌دهند. اگر تا به حال از طریق اینترنت جنس یا خدماتی را خریده باشید، احتمالا از طریق فیلتر‌ها گزینه‌های پیشنهادی را محدود کرده‌اید. برای مثال ممکن است کلمه کفش را در دیجی کالا جستجو کنید. سپس در میان گزینه‌های پیشنهاد شده با انتخاب رنگ، جنس، زنانه یا مردانه بودن و… انتخاب خود را محدودتر کنید.هر بار که فیلتری را روشن کرده و دوباره جستجو کنید، آدرس صفحه اندکی تغییر می‌کند.

اما گوگل چگونه تشخیص دهد که کدام آدرس را به کاربران نشان دهد؟

گوگل به خوبی می‌تواند آدرس URL اصلی را تشخیص دهد اما شما برای هدایت گوگل می‌توانید با استفاده از بخش URL Parameters در کنسول جستجوی گوگل، به طور دقیق نحوه ارائه صفحات خود به گوگل را دستور دهید. اگر شما با این امکان، به گوگل بگویید هیچ آدرسی با داشتن پارامتر X را دنبال نکند، درواقع این محتوا را از ربات‌های گوگل مخفی کرده اید و آن آدرس‌ها در داده‌های گوگل ثبت نمی‌شوند. در نتیجه دیگر هیچگاه در نتایج پیشنهاد داده نمی‌شوند. پس اگر می‌خواهید این صفحات نیز در فهرست داده‌های گوگل قرار بگیرند، نباید از این روش استفاده کنید.

آیا پایشگرها می‌توانند تمام محتوای مفید وبسایت شما را بیایند؟

اکنون که به طور حدودی می‌دانیم چگونه محتوایی را از پایشگرها دور کنیم، وقت آن رسیده که بدانیم چگونه صفحات خود را بهینه سازی کنیم تا ربات‌های گوگل محتوای مهم‌تر ما را یافته و تشخیص دهند. گاهی یک موتور جستجو با کمک پایشگرها می‌تواند صفحات اصلی یک وبسایت را پیدا کند، اما صفحات دیگر ممکن است به نحوی پنهان شود. باید مطمئن شوید که موتورجستجو به تمام صفحات و مطالب مورد نظر شما دسترسی داشته و آن‌ها را میابد. پس همین حالا از خود بپرسید؛ آیا تنها با وارد شدن به وبسایت می‌توان به تمام صفحات دیگر آن دست یافت؟

آیا محتوا در پشت صفحه فرم ثبت نام پنهان شده است؟

اگر دسترسی به محتوای وبسایت شما تنها با استفاده از ثبت نام و پاسخ به سوالات باشد، ربات‌ها قابلیت دسترسی به محتوای شما را نخواهند داشت. چرا که یک پایشگر قصد ثبت نام در وبسایت را ندارد.

آیا محتوای شما درون محتوای غیر متنی پنهان است؟

اگر قصد دارید محتوای شما در داده‌های موتور جستجو فهرست شود، نباید بستر انتقال محتوای غیر متنی مثل عکس، فیلم، GIF، … نماینده‌ی معرفی یک محتوای متنی باشد. هرچند امروزه موتورهای جستجو در تشخیص و تحلیل تصاویر هم پیشرفت کرده اند، اما تضمینی نیست که محتوای شما به خصوص به زبان فارسی، بتواند تنها با تصویر و فیلم، به درستی فهرست شود. بهتر است همواره متن را در نشانه صفحات وب خود اضافه کنید.

آیا موتورهای جستجو می‌‌توانند مسیر وبسایت را تشخیص دهند؟

همان طور که وبسایت شما از طیق لینکی از وبسایت دیگر یافته شد، صفحات مختلف وبسایت شما نیز از طریق ارتباطی که با صفحات اصلی‌تر دارند پیدا و ثبت می‌شوند. یعنی اگر شما صفحه‌ای داشته باشید که در هیچ کجا از سایت لینک ورود به آن قرار نگرفته باشد، برای یک ربات به منزله‌ی نبود آن صفحه است.

اشتباهات متداول در طراحی صفحات وبسایت که می‌تواند پایشگر‌ها را از دیدن تمام بخش‌‌های سایت دور کند:

• داشتن نسخه متفاوت روی موبایل و دسکتاپ.
• هر نوع طراحی که آیتم‌های موجود در مِنو با استفاده از HTML پیاده نشده‌اند؛ مانند جاوا اسکریپت فعال. با این که پایشگرهای موتور جستجو گوگل جاوا اسکریپت را بهتر درک می‌کنند، اما باید توجه داشته باشید که با این وجود هنوز این کار به صورت کامل انجام نمی‌شود. بهترین راه برای مطمئن شدن از این که محتوایی در سایت شما پیدا شود، درک شود و توسط گوگل فهرست بندی شود، این است که آن‌ها را در قالب HTML قرار دهید.
• شخصی‌سازی، نشان دادن برخی صفحات خاص وبسایت برای یک سری از بازدیدکنندگان خاص (مانند کاربران پریمیوم یا VIP) نسبت به دیگر کاربران عادی، باعث پنهان شدن محتوا از دید ربات‌های موتور جستجو می‌شود.
• لینک نکردن یک صفحه اصلی در وبسایت. همیشه به یاد داشته باشید که لینک‌های موجود در یک صفحه، همان راه‌هایی هستند که پایشگرهارا به دیگر صفحات هدایت می‌کند. عمدتا، به این دلایل است که داشتن یک مسیر مشخص و ساختار URL درست برای موفقیت در سئو و دیده شدن در موتور جستجو بسیار ضروری است. .

آیا شما یک سازماندهی اطلاعات شفاف دارید؟

سازماندهی اطلاعات، پروسه‌ی دسته بندی و عنوان‌گذاری محتوا در وبسایت برای بهبود کارایی و دسترسی برای کاربران است. بهترین شکل سازماندهی اطلاعات، سازماندهدی بصری است. به گونه‌ای که کاربران در کمترین زمان و بدون نیاز به تحلیل به صفحه مورد نظر خود برسند.

آیا از سایت مپ استفاده می‌کنید؟

سایت مپ یا نقشه‌ی سایت همان‌طور که از اسمش پیداست، نقشه‌ی دسترسی به تمام صفحات وبسایت است. لیستی کامل از تمام آدرس‌های وبسایت که هر رباتی می‌تواند با استفاداه از آن محتوا و آدرس‌های وبسایت شما را دسته بندی کند. یکی از مطمئن‌ترین روش‌ها برای یافتن تمام صفحات وبسایت، تهیه چنین فایلی با تمام اطلاعات مطابق با استاندارد گوگل و ارسال آن به خود گوگل از طریق کنسول جستجوی گوگل است. هرچند ارسال سایت مپ هم نمی‌تواند جایگزین کافی و هم ترازی با گشت و ثبت خود ربات ها در مرحله ‌پایش باشد اما بدون شک می‌تواند کمک بسزایی به یافتن و دسترسی بهتر این ربات‌ها بکند.

اگر هیچ سایت دیگری آدرس وبسایت شما را قرار نداده و پیوندی با وبسایت‌های بهینه‌سازی شده ندارید، همچنان شانسی برای فهرست شدن صفحات وبسایت شما در داده‌های گوگل وجود دارد. شما همچنان می‌توانید با ارسال سایت مپ خود به کنسول جستجوی گوگل شانس حضور در نتایج گوگل را داشته باشید. اما قطعا تضمینی در ثبت صحیح اطلاعات و قرار گیری در صفحات نخست وجود ندارد. اما ارزش امتحان کردن را دارد.

آیا پایشگرها در هنگام بررسی وبسایت شما دچار خطا می‌شوند؟

در هنگام ورود و ثبت اطلاعات وبسایت شما، پایشگرها ممکن است با خطایی روبرو شوند. شما می‌توانید با جستجوی کلمه‌ی “Crawl Errores” در کنسول جستجوی گوگل، خطاهای سرور در این فرایند را بشناسید. در نتایج این جستجو اطلاعات پیشرفته تری هم به شما ارائه می‌شود که توضیح آن در این بحث نمی‌گنجد.

کلام آخر

حالا با اطلاع از چگونگی فرایند و چگونگی آگاه شدن نسبت به اطلاعات وبسایت خود می‌توانید از پایش وبسایتتان توسط موتورهای جستجو مطمئن شده و در قسمت بعدی از این مجموعه آموزش، به چگونگی طبقه بندی و ذخیره اطلاعات بپردازیم. فراموش نکنید که اگر صرفا وبسایت شما پایش شود به معنای حضور در نتایج جستجوی موتورهای جستجو نیست.

با طراحی سایت سازیتو در سریع‌ترین زمان ممکن سایت خودتان را طراحی کنید