نحوه درخواست اسکن مجدد صفحات نحوه درخواست صفحات برای خزیدن مجدد موتورهای جستجوی خارجی

Yandex Webmaster به شما امکان می دهد:

  • اضافه کردن نقشه سایت
  • به روز رسانی؛
  • حذف؛
  • تجزیه و تحلیل.

نحوه اضافه کردن نقشه سایت به وب مستر Yandex

برای افزودن یک فایل نقشه سایت به صف فهرست بندی، باید مانند همیشه به سرویس وبمستر - webmaster.yandex.ru بروید. به علاوه:

  1. در بخش Indexing گزینه Sitemaps را خواهید دید.
  2. آدرس کامل فایل های نقشه سایت را اضافه کنید، به عنوان مثال، https://site/sitemap.xml.
  3. روی افزودن کلیک کنید.
  4. صبر کنید تا Yandex Webmaster فایل را بررسی کند.

پس از افزودن، فایل برای پردازش در صف قرار می گیرد. ربات ظرف دو هفته آن را اضافه خواهد کرد. هر فایل اضافه شده، از جمله فایل های پیوست شده به فهرست نقشه سایت، توسط ربات به طور جداگانه پردازش می شود.

پس از بارگذاری، در مقابل هر نقشه سایت، یکی از وضعیت ها را در Yandex Webmaster مشاهده خواهید کرد:

وضعیت شرح توجه داشته باشید
"خوب" فایل به درستی تشکیل شده و در پایگاه داده ربات بارگذاری می شود تاریخ آخرین بارگیری در کنار فایل نمایش داده می شود.صفحات نمایه شده ظرف دو هفته در نتایج جستجو ظاهر می شوند.
« » URL مشخص شده به آدرس دیگری هدایت می شود تغییر مسیر را حذف کنید و به ربات در مورد به روز رسانی اطلاع دهید
"خطا" فایل به درستی تشکیل نشده است برای جزئیات بیشتر روی پیوند خطا کلیک کنید. پس از ایجاد تغییرات در فایل، ربات را از بروز رسانی مطلع کنید
"ایندکس نشده" هنگام دسترسی به نقشه سایت، سرور یک کد HTTP غیر از 200 را برمی گرداند با استفاده از ابزار Check Server Response با مشخص کردن مسیر کامل فایل، بررسی کنید که آیا فایل در دسترس ربات است یا خیر. اگر فایل در دسترس نیست، با مدیر سایت یا سروری که در آن قرار دارد تماس بگیرید. اگر فایل موجود است. ، ربات را از به روز رسانی مطلع کنید
دسترسی به فایل در robots.txt با استفاده از دستور Disallow ممنوع است اجازه دسترسی به نقشه سایت و اطلاع ربات در مورد به روز رسانی

نقشه سایت را به روز کنید

وقتی تغییراتی در نقشه سایت رخ می دهد، نیازی به حذف آن از وب مستر Yandex و اضافه شدن مجدد آن نیست. خود موتور جستجو هر از گاهی آن را از نظر تغییرات و خطا بررسی می کند.

اگر نقشه سایت شما ایندکس نشده باشد، می توان سرعت آن را افزایش داد. شما باید به بخش "نمایه سازی" و سپس به آیتم "فایل های نقشه سایت" بروید. روی نماد به روز رسانی روبروی نقشه سایت کلیک کنید. Yandex داده ها را ظرف سه روز دانلود می کند. می توانید تا 10 بار برای یک هاست از این تابع استفاده کنید.

هنگامی که تمام تلاش ها را تمام کردید، تلاش بعدی 30 روز پس از اولین تلاش در دسترس خواهد بود. تاریخ دقیق در رابط وب مستر نمایش داده می شود.

نقشه سایت را از وب مستر حذف کنید

در رابط Yandex.Webmaster، می توانید فایل هایی را که در صفحه "فایل های نقشه سایت" اضافه شده اند حذف کنید:

اگر دستورالعملی به نقشه سایت در فایل robots.txt شما اضافه شده است، آن را حذف کنید. پس از ایجاد تغییرات، اطلاعات مربوط به نقشه سایت ظرف چند هفته از ربات و پایگاه داده Yandex.Webmaster ناپدید می شود.

فرمت های پشتیبانی شده توسط Yandex Webmaster

Yandex نقشه سایت را در قالب های زیر می پذیرد:

قالب نقشه سایت XML

بهتر است در قالب XML ارسال شود، زیرا می تواند حاوی داده های اضافی باشد.

Yandex از پروتکل نقشه سایت پشتیبانی می کند. اگر می خواهید گزارش دهید از این قالب استفاده کنید:

  • تاریخ آخرین به روز رسانی صفحه (عنصر lastmod)؛
  • فرکانس تغییر صفحه (عنصر changefreq)؛
  • اهمیت صفحه (عنصر اولویت) - ربات صفحات را یک به یک با در نظر گرفتن حضور و مقدار ضریب از 0.0 تا 1.0 بارگیری می کند. ضریب URL هایی را که برای سایت مهم هستند مشخص کنید.

https://сайт/ssylki-v-yandex-webmaster/ 2018-06-06 monthly 0.8 ...

نقشه سایت با فرمت TXT

در این فرمت فقط می توانید آدرس های صفحه را انتقال دهید. همین. بله، غم و اندوه، بهتر است از XML استفاده کنید :)

از این قالب فقط برای گزارش آدرس های صفحه استفاده کنید.

https://site/ssylki-v-yandex-webmaster/ https://site/zerkala-sajta-v-yandex-webmaster/

برای انتقال اطلاعات درباره ویدیوها، پیوندهایی به فیدهای XML را در نقشه سایت مشخص کنید (به جزئیات در راهنمای سرویس Ya.Video مراجعه کنید).
جستجو از اشتراک گذاری اطلاعات تصویر، RSS و فید Atom با استفاده از نقشه سایت پشتیبانی نمی کند.

چه زمانی به نقشه سایت نیاز است؟

Yandex در حال توسعه الگوریتم‌های ویژه‌ای است که توسط آن ربات نمایه‌ساز درباره سایت یاد می‌گیرد. به عنوان مثال، استفاده از پیوندهای داخلی و خارجی - حرکت از یک صفحه به صفحه دیگر. گاهی اوقات ربات ممکن است صفحات را رد کند. اگر سایت شما:

  • تعداد زیادی صفحه؛
  • صفحات فردی بدون پیوندهای ناوبری؛
  • لانه سازی عمیق

نحوه ایجاد فایل


Sitemap.xml را به Yandex Webmaster اضافه کنید - ویدیو

برای راحتی وب مسترها و موتورهای جستجو، یک قالب نقشه سایت ویژه - نقشه سایت ایجاد شده است. این لیستی از پیوندها به صفحات داخلی سایت است که در قالب XML ارائه شده است. این قالب توسط Yandex نیز پشتیبانی می شود. در بخش ویژه این سرویس می توانید نقشه سایت را برای وب سایت خود دانلود کنید. این به شما امکان می دهد بر اولویت خزیدن ربات در برخی از صفحات سایت خود تأثیر بگذارید. به عنوان مثال، اگر برخی از صفحات بسیار بیشتر از سایرین به روز می شوند، باید این اطلاعات را نشان دهید تا ربات Yandex کار خود را به درستی برنامه ریزی کند.

Yandex انواع اصلی اسناد توزیع شده در اینترنت را فهرست می کند. اما محدودیت هایی وجود دارد که تعیین می کند سند چگونه نمایه شود و آیا اصلاً نمایه می شود یا خیر:

  • تعداد زیاد پارامترهای cgi در یک URL، تعداد زیادی زیرشاخه های تکراری و طول کل URL بسیار طولانی می تواند منجر به نمایه سازی ضعیف سند شود.

    اندازه سند برای نمایه سازی مهم است - اسناد بزرگتر از 10 مگابایت نمایه نمی شوند.

    نمایه سازی فلش:

    1. * فایل‌های swf در صورتی ایندکس می‌شوند که پیوند مستقیم داشته باشند یا در html با تگ‌های شی یا جاسازی شده باشند.

      اگر فلش حاوی محتوای مفید باشد، سند اصلی html را می توان با محتوای فهرست شده در فایل swf پیدا کرد.

  • در اسناد PDF، فقط محتوای متنی نمایه می شود. متن ارائه شده در قالب تصویر نمایه نمی شود.

    Yandex به درستی اسناد را در قالب Open Office XML و OpenDocument (به ویژه اسناد Microsoft Office و Open Office) فهرست می کند. اما به خاطر داشته باشید که اجرای پشتیبانی از فرمت های جدید ممکن است کمی طول بکشد.

    استفاده از برچسب ها قابل قبول است و ، ربات Yandex محتوای بارگذاری شده در آنها را نمایه می کند و به شما امکان می دهد سند منبع را با محتوای فریم ها پیدا کنید.

اگر رفتار سرور را برای URL های موجود لغو کرده اید، مطمئن شوید که سرور یک کد خطای 404 را برمی گرداند. وقتی موتور جستجو کد پاسخ 404 را دریافت کرد، سند را از فهرست خود حذف می کند. اطمینان حاصل کنید که تمام صفحات لازم در سایت کد 200 OK را نشان می دهد.

افزودن سایت برای نمایه سازی در Rambler.

"از 23 ژوئن 2011، Rambler-Search از فناوری های جستجوی Yandex استفاده می کند که توسط خدمات خود تکمیل شده است. می توانید یک سایت را از طریق سیستم Yandex به فهرست موتور جستجو اضافه کنید".

فراموش نکنید که سایت خود را به Top100.Rambler اضافه کنید، ضرری ندارد.

اضافه کردن یک سایت برای نمایه سازی در Mail.ru.

اضافه کردن سایت بسیار ساده است، URL را ارسال کنید و منتظر بمانید، فراموش نکنید که یک برنامه رایگان ارسال کنید تا در کاتالوگ Mail.ru قرار گیرد، در صورت تایید، خوب است. بدون بستن صفحه برای افزودن سایت به جستجو، پیوند را برای افزودن به کاتالوگ Mail.ru دنبال کنید و فرم را پر کنید (در این صورت می توانید یک درخواست رایگان به کاتالوگ ارسال کنید).

افزودن یک سایت برای نمایه سازی به کاتالوگ Aport.ru.

برای افزودن یک سایت باید 5 مرحله ساده را طی کنید. ابتدا آدرس سایت را اضافه کنید. در مرحله اول از نظر پاسخ سایت و وجود سایت در دایرکتوری بررسی می شود و اگر آنجا نباشد مرحله دوم ظاهر می شود. در مرحله دوم اطلاعات مربوط به سایت، نام، توضیحات، کلمات کلیدی و ... را پر کنید. در مرحله سوم، یک بخش را انتخاب کنید (بخش ها شبیه به کاتالوگ Mail.ru هستند). مرحله چهارم اضافه کردن منطقه سایت (همچنین تا حدودی یادآور Mail.ru) است. مرحله پنجم، کپچا را وارد کنید (با حروف بزرگ در نظر گرفته شده است) و داده های وارد شده را بررسی کنید، اگر همه چیز درست است، روی next کلیک کنید. شما اضافه شده اید، ما منتظر تعدیل در صندوق پستی شما هستیم.

اضافه کردن یک سایت برای نمایه سازی در GOGO.ru.

من نمی توانم در مورد اهمیت این منبع و حضور در آن بگویم، اما می توانم یک چیز را بگویم، ضرری ندارد، و ناگهان آنها از آن بیرون می آیند (در عمل این اتفاق نیفتاده است، اما همه چیز در حال تغییر است). برای افزودن در اینترنت پیوندی وجود دارد http://gogo.ru/wmaster/add_site.html، پس از کلیک بر روی آن، متوجه شدم که این قبلاً موتور جستجوی Mail.ru است (لینک را گذاشتم، فقط در مورد) .

افزودن سایت برای نمایه سازی در NIGMA.ru.

سیستم بعدی nigma.ru است. آنها در مورد آن می نویسند که هجوم مردم را به همراه دارد، من متوجه نشدم، اما اضافه کردم، شاید مفید باشد. علاوه بر این، سریع است. URL، صندوق پستی و فرکانس به‌روزرسانی را مشخص کنید، ذخیره کنید و تمام.

افزودن سایت برای نمایه سازی در TAGOO.

موتور جستجوی Tagoo ظاهراً در زمینه محتوای رسانه ای تخصص دارد، اگر آن را دارید یا ممکن است ظاهر شود، آن را اضافه کنید. من نمی توانم اهمیت این موتور جستجو را قضاوت کنم، آن را نمی دانم، اما آن را اضافه کردم.

افزودن سایت به ایندکس لاک پشت.

این سیستم بر منابع کشورهای مشترک المنافع کشورهای مستقل مشترک المنافع به هر زبانی و همچنین منابع روسی زبان سایر کشورها متمرکز است. شما می توانید اضافه کنید . اما به دلیل مرگ بنیانگذار آن دیمیتری کریوکوف، این منبع به طور موقت فعالیت های خود را به حالت تعلیق درآورد. همانطور که در وب سایت به طور موقت نوشته شده است، این بدان معنی است که ما آن را از حساب های خود حذف نمی کنیم.

اکنون به موتورهای جستجوی خارجی رسیده ایم.

افزودن سایت به نمایه سازی یاهو و بینگ.

یاهو موتور جستجوی خود را با Bing ادغام کرده و URL قدیمی را به Bing منتقل می کند تا http://search.yahoo.com/info/submit.html را اضافه کند. به بینگ اضافه کنید. ما اضافه می کنیم و خوشحال می شویم، همچنین می توانیم ثبت نام کنیم و یک پنل وب مستر دریافت کنیم، من آنجا ثبت نام نکردم، اما این نشانگر نیست. برای وضوح آن را امتحان کنید.

  • اسکن ممکن است چند روز یا چند هفته طول بکشد. می توانید با استفاده از یک گزارش ویژه یا ابزار بررسی URL از پیشرفت آن مطلع شوید.
  • زمان رسیدگی به درخواست های ارسالی با هر یک از روش های فوق تقریباً یکسان است.
  • سهمیه هایی برای درخواست های خزیدن URL جداگانه وجود دارد.
  • درخواست مکرر یک URL یا نقشه سایت باعث خزیدن سریعتر آن نمی شود.

نحوه درخواست خزیدن صفحه

برای درخواست خزیدن URL، مراحل زیر را دنبال کنید:

  1. URL را بررسی کنیدبا استفاده از این ابزار
  2. انتخاب کنید درخواست نمایه سازی. این ابزار صفحه را برای مشکلات نمایه سازی بررسی می کند. اگر هیچکدام یافت نشد، صفحه برای نمایه سازی به صف اضافه می شود. اگر ابزار مشکلاتی را شناسایی کرد، سعی کنید آنها را حل کنید.

چندین راه برای درخواست خزیدن نقشه سایت وجود دارد:

  • از گزارش ویژه استفاده کنید
  • درخواست پینگ را انجام دهید.در یک مرورگر یا خط فرمان، یک درخواست GET را به آدرس زیر ارسال کنید، شامل URL کامل فایل نقشه سایت و اطمینان از در دسترس بودن فایل:
    http://www.google.com/ping?sitemap=
    مثال
    http://www.google.com/ping?sitemap=https://example.com/sitemap.xml
  • یک خط در هر جایی از فایل robots.txt درج کنید، که به مکان نقشه سایت اشاره می کند (این در طی خزیدن بعدی پیدا می شود). مثال:
    نقشه سایت: http://example.com/my_sitemap.xml