페이지 재검사를 요청하는 방법. 페이지를 다시 크롤링하도록 요청하는 방법 외국 검색 엔진

Yandex 웹마스터를 사용하면 다음을 수행할 수 있습니다.

  • 사이트맵 추가;
  • 업데이트;
  • 삭제;
  • 분석하다.

Yandex 웹마스터에 사이트맵을 추가하는 방법

색인 생성을 위해 Sitemap 파일을 대기열에 추가하려면 항상 그렇듯이 웹마스터 서비스인 webmaster.yandex.ru로 이동해야 합니다. 더 나아가:

  1. 색인 섹션에는 사이트맵 옵션이 있습니다.
  2. Sitemap 파일의 전체 주소를 추가하세요(예: https://site/sitemap.xml).
  3. 추가를 클릭합니다.
  4. Yandex 웹마스터가 파일을 확인하는 동안 기다리세요.

추가한 후 파일은 처리를 위해 대기열에 들어갑니다. 로봇은 2주 이내에 이를 추가할 것입니다. Sitemap 색인에 첨부된 파일을 포함하여 추가된 각 파일은 로봇에 의해 별도로 처리됩니다.

로드 후 각 사이트맵 반대편에 Yandex 웹마스터의 상태 중 하나가 표시됩니다.

상태 설명 메모
"좋아요" 파일이 올바르게 구성되어 로봇 데이터베이스에 로드되었습니다. 마지막 다운로드 날짜가 파일 옆에 표시됩니다. 색인된 페이지는 2주 이내에 검색 결과에 나타납니다.
« » 지정된 URL이 다른 주소로 리디렉션됩니다. 리디렉션을 제거하고 로봇에 업데이트에 대해 알립니다.
"오류" 파일 형식이 올바르지 않습니다. 자세한 내용을 보려면 오류 링크를 클릭하세요. 파일을 변경한 후 업데이트에 대해 로봇에 알립니다.
"인덱싱되지 않았습니다." Sitemap에 액세스할 때 서버가 200이 아닌 HTTP 코드를 반환합니다. 서버 응답 확인 도구를 사용하여 파일의 전체 경로를 지정하여 로봇이 파일을 사용할 수 있는지 확인하십시오. 파일을 사용할 수 없는 경우 해당 파일이 있는 사이트나 서버의 관리자에게 문의하십시오. , 업데이트에 대해 로봇에 알립니다.
Disallow 지시문을 사용하여 robots.txt에서 파일에 대한 액세스가 거부되었습니다. 사이트맵에 대한 액세스를 허용하고 로봇에게 업데이트에 대해 알립니다.

사이트맵 업데이트

사이트맵이 변경되면 Yandex 웹마스터에서 삭제하고 다시 추가할 필요가 없습니다. 검색 엔진 자체는 수시로 변경 사항과 오류를 확인합니다.

Sitemap의 색인이 생성되지 않은 경우 속도가 빨라질 수 있습니다. "색인생성" 섹션으로 이동한 다음 "사이트맵 파일" 항목으로 이동해야 합니다. 사이트 맵 반대편에 있는 업데이트 아이콘을 클릭하세요. Yandex는 3일 이내에 데이터를 다운로드합니다. 하나의 호스트에 대해 최대 10회까지 기능을 사용할 수 있습니다.

모든 시도를 모두 사용한 후에는 첫 번째 시도로부터 30일 후에 다음 시도를 이용할 수 있습니다. 정확한 날짜는 웹마스터 인터페이스에 표시됩니다.

웹마스터에서 사이트맵 제거

Yandex.Webmaster 인터페이스에서는 "사이트맵 파일" 페이지에 추가된 파일을 삭제할 수 있습니다.

robots.txt 파일의 Sitemap에 지시문이 추가된 경우 이를 제거하십시오. 변경 후 사이트맵에 대한 정보는 몇 주 내에 로봇 및 Yandex.Webmaster 데이터베이스에서 사라집니다.

Yandex 웹마스터가 지원하는 형식

Yandex는 다음 형식의 사이트맵을 허용합니다.

XML 사이트맵 형식

XML 형식으로 전송하는 것이 바람직합니다. 추가 데이터가 포함될 수 있습니다.

Yandex는 Sitemap 프로토콜을 지원합니다. 보고하려면 다음 형식을 사용하세요.

  • 마지막 페이지 업데이트 날짜(lastmod 요소)
  • 페이지 변경 빈도(changefreq 요소);
  • 페이지 중요도(우선순위 요소) - 로봇은 0.0에서 1.0까지 계수의 존재 여부와 값을 고려하여 페이지를 하나씩 로드합니다. 사이트에 가장 중요한 URL에 대한 계수를 지정합니다.

https://сайт/ssylki-v-yandex-webmaster/ 2018-06-06 monthly 0.8 ...

TXT 형식 사이트맵

이 형식에서는 페이지 주소만 전송할 수 있습니다. 그게 다야. 예, 슬픔과 슬픔, XML을 사용하는 것이 좋습니다 :)

페이지 주소만 보고하려면 이 형식을 사용하십시오.

https://site/ssylki-v-yandex-webmaster/ https://site/zerkala-sajta-v-yandex-webmaster/

비디오에 대한 정보를 전송하려면 사이트맵에서 XML 피드에 대한 링크를 지정하십시오(자세한 내용은 Ya.Video 서비스 도움말 참조).
검색에서는 Sitemap을 사용한 이미지, RSS, Atom 피드 정보 공유를 지원하지 않습니다.

Sitemap은 언제 필요합니까?

Yandex는 색인 생성 로봇이 사이트에 대해 학습하는 특수 알고리즘을 개발하고 있습니다. 예를 들어 내부 및 외부 링크를 사용하여 한 페이지에서 다른 페이지로 이동합니다. 때때로 로봇이 페이지를 건너뛸 수도 있습니다. 사이트가 다음과 같은 경우 Sitemap을 사용하세요.

  • 많은 수의 페이지;
  • 탐색 링크가 없는 개별 페이지;
  • 깊은 중첩.

파일을 만드는 방법


Yandex 웹마스터에 Sitemap.xml 추가 - 비디오

웹마스터와 검색 엔진의 편의를 위해 특별한 사이트맵 형식인 사이트맵이 개발되었습니다. 이는 XML 형식으로 표시되는 사이트 내부 페이지에 대한 링크 목록입니다. 이 형식은 Yandex에서도 지원됩니다. 서비스의 특별 섹션에서 귀하의 웹사이트에 대한 사이트맵을 다운로드할 수 있습니다. 이를 통해 사이트의 일부 페이지를 크롤링하는 로봇의 우선순위에 영향을 줄 수 있습니다. 예를 들어 일부 페이지가 다른 페이지보다 훨씬 더 자주 업데이트되는 경우 Yandex 로봇이 작업을 올바르게 계획할 수 있도록 이 정보를 표시해야 합니다.

Yandex는 인터넷에 배포된 주요 문서 유형을 색인화합니다. 그러나 문서가 색인화되는 방법과 색인화 여부를 결정하는 제한사항이 있습니다.

  • URL에 cgi 매개변수 수가 많고, 중복된 하위 디렉터리가 많고, 총 URL 길이가 너무 길면 문서 색인이 제대로 생성되지 않을 수 있습니다.

    인덱싱에는 문서 크기가 중요합니다. 10MB보다 큰 문서는 인덱싱되지 않습니다.

    플래시 인덱싱:

    1. *.swf 파일은 직접 링크가 있거나 object 또는 embed 태그와 함께 html에 포함된 경우 색인이 생성됩니다.

      플래시에 유용한 콘텐츠가 포함되어 있으면 원본 html 문서는 swf 파일에 색인된 콘텐츠로 찾을 수 있습니다.

    • PDF 문서에서는 텍스트 내용만 색인화됩니다. 그림 형태로 제시된 텍스트는 색인화되지 않습니다.

    Yandex는 Open Office XML 및 OpenDocument 형식의 문서(특히 Microsoft Office 및 Open Office 문서)를 올바르게 색인화합니다. 그러나 새로운 형식에 대한 지원을 구현하는 데 시간이 걸릴 수 있다는 점을 명심하세요.

    태그를 사용하는 것이 허용됩니다. 그리고 , Yandex 로봇은 로드된 콘텐츠의 색인을 생성하고 프레임의 콘텐츠로 소스 문서를 찾을 수 있도록 합니다.

존재하지 않는 URL에 대한 서버 동작을 재정의한 경우 서버가 404 오류 코드를 반환하는지 확인하세요. 검색 엔진이 404 응답 코드를 받으면 해당 문서가 해당 색인에서 제거됩니다. 사이트의 모든 필수 페이지에 코드 200 OK가 표시되는지 확인하세요.

Rambler에서 색인 생성을 위한 사이트를 추가합니다.

"2011년 6월 23일부터 Rambler-Poisk는 자체 서비스로 보완된 Yandex 검색 기술을 사용해 왔습니다. Yandex 시스템을 통해 검색 엔진 색인에 사이트를 추가할 수 있습니다.".

귀하의 사이트를 Top100.Rambler에 추가하는 것을 잊지 마십시오. 문제가 되지 않을 것입니다.

Mail.ru에 색인 생성 사이트를 추가합니다.

사이트를 추가하는 것은 매우 간단합니다. URL을 보내고 기다리세요. Mail.ru 카탈로그에 포함될 무료 신청서를 제출하는 것을 잊지 마세요. 승인되면 좋을 것입니다. 검색에 사이트를 추가하기 위한 페이지를 닫지 않은 채 링크를 따라 Mail.ru 카탈로그에 추가하고 양식을 작성하세요(이 경우 카탈로그에 무료 신청서를 제출할 수 있습니다).

Aport.ru 카탈로그에 인덱싱할 사이트를 추가합니다.

사이트를 추가하려면 간단한 5단계를 거쳐야 합니다. 먼저 사이트 URL을 추가하세요. 첫 번째 단계에서는 사이트의 응답과 디렉토리에 사이트가 있는지 확인하고 사이트가 없으면 두 번째 단계가 나타납니다. 두 번째 단계에서는 사이트, 이름, 설명, 키워드 등에 대한 정보를 입력합니다. 세 번째 단계에서는 섹션을 선택합니다(섹션은 Mail.ru 카탈로그의 섹션과 유사함). 네 번째 단계는 사이트 영역을 추가하는 것입니다(Mail.ru와 다소 유사함). 다섯 번째 단계, 보안 문자(대문자 고려)를 입력하고 입력된 데이터를 확인한 후 모든 것이 정확하면 다음을 클릭하세요. 귀하가 추가되었습니다. 귀하의 사서함이 조정되기를 기다리고 있습니다.

GOGO.ru에 색인 생성 사이트를 추가합니다.

나는 이 자원의 중요성과 그 안에 있는 것에 대해 말할 수 없지만, 한 가지 말할 수 있는 것은 그것이 아프지 않을 것이고 갑자기 그것이 그것에서 나올 것이라는 것입니다(실제로는 이런 일이 일어나지 않았지만 모든 것이 변하고 있습니다). 인터넷에 추가하려면 http://gogo.ru/wmaster/add_site.html 링크가 있습니다. 링크를 클릭하면 이것이 이미 Mail.ru 검색 엔진이라는 것을 깨달았습니다. (만약을 대비해 링크를 남겨 두었습니다) .

NIGMA.ru에 색인 생성을 위한 사이트를 추가합니다.

다음 시스템은 nigma.ru입니다. 사람들이 유입된다는 글을 썼는데 눈치 채지 못했지만 아마도 유용 할 것이라고 덧붙였습니다. 게다가 속도도 빠릅니다. URL, 메일함, 업데이트 빈도를 지정하고 저장하면 끝입니다.

TAGOO에 색인을 생성할 사이트를 추가합니다.

tagoo 검색 엔진은 미디어 콘텐츠를 전문으로 하는 것으로 보입니다. 해당 콘텐츠가 있거나 나타날 수 있으면 추가하세요. 이 검색 엔진의 중요성을 판단할 수 없고, 모르지만 추가했습니다.

Turtle 색인 생성에 사이트를 추가합니다.

이 시스템은 모든 언어로 된 CIS 독립 국가 연합 국가의 리소스와 다른 국가의 러시아어 리소스에 중점을 둡니다. 을 추가할 수 있습니다. 그러나 창립자 Dmitry Kryukov의 사망으로 인해 자원은 일시적으로 활동을 중단했습니다. 웹사이트에 임시로 기록되어 있으므로 이는 계정에서 해당 항목을 제거하지 않는다는 의미입니다.

이제 우리는 외국 검색 엔진에 도달했습니다.

Yahoo 및 Bing 색인 생성에 사이트를 추가합니다.

Yahoo는 검색 엔진을 Bing과 통합했으며 이전 URL을 Bing으로 이동하여 http://search.yahoo.com/info/submit.html을 추가했습니다. 빙에 추가하세요. 우리는 추가하고 기뻐하며 웹 마스터 패널을 등록하고 얻을 수도 있습니다. 저는 거기에 등록하지 않았지만 이것은 지표가 아닙니다. 명확성을 위해 시도해보십시오.

  • 스캔에는 며칠 또는 몇 주가 걸릴 수 있습니다. 특별 보고서나 URL 확인 도구를 사용하여 진행 상황을 확인할 수 있습니다.
  • 위의 방법으로 제출된 요청의 처리 시간은 거의 동일합니다.
  • 개별 URL 크롤링 요청에는 할당량이 있습니다.
  • 동일한 URL이나 사이트맵을 여러 번 크롤링하도록 요청해도 크롤링 속도가 더 빨라지지는 않습니다.

페이지 크롤링을 요청하는 방법

URL 크롤링을 요청하려면 다음 단계를 따르세요.

  1. URL을 확인하세요이 도구를 사용하여.
  2. 선택하다 인덱싱 요청. 도구는 페이지의 색인 생성 문제를 확인합니다. 아무 것도 발견되지 않으면 페이지가 인덱싱을 위해 대기열에 추가됩니다. 도구가 문제를 식별하면 문제를 해결해 보십시오.

사이트맵 크롤링을 요청하는 방법에는 여러 가지가 있습니다.

  • 특별보고서를 활용하세요.
  • 핑 요청을 수행합니다.브라우저나 명령줄에서 Sitemap 파일의 전체 URL을 포함하고 파일에 액세스할 수 있는지 확인하는 GET 요청을 다음 주소로 보냅니다.
    http://www.google.com/ping?sitemap=
    예
    http://www.google.com/ping?sitemap=https://example.com/sitemap.xml
  • robots.txt 파일의 아무 곳에나 줄을 삽입하세요., Sitemap의 위치를 ​​나타냅니다. 이는 다음 크롤링 중에 발견됩니다. 예:
    사이트맵: http://example.com/my_sitemap.xml