Yenilənmiş və ya yeni bir Robots.txt sənədini necə yenidən göndərmək olar

robotlar txt

Bizim agentlik idarə edir üzvi axtarış konsaltinqi sənayedəki bir neçə SaaS satıcıları üçün. Bu yaxınlarda işləməyə başladığımız bir müştəri, tətbiqlərini bir alt domenə yerləşdirərək broşura saytını əsas domenə köçürərək kifayət qədər standart bir təcrübə etdi. Bu, həm istehsal komandanızın, həm də marketinq qrupunuzun digərinə heç bir asılılıq olmadan ehtiyac olduqda yeniləmələr etməsini təmin etdiyi üçün standart bir təcrübədir.

Üzvi axtarış sağlamlıqlarını analiz etmək üçün ilk addım olaraq həm broşuranı həm də tətbiq domenlərini Webmasters-də qeyd etdik. O zaman dərhal bir problem müəyyən etdik. Bütün tətbiq səhifələrinin axtarış motorları tərəfindən indeksləşdirilməsi qadağan edildi. Webmasters-də onların robots.txt girişinə keçdik və problemi dərhal müəyyən etdik.

Köçməyə hazırlaşarkən, inkişaf qrupları, tətbiq alt domeninin axtarış yolu ilə indeksləşdirilməsini istəmədilər, buna görə axtarış motorlarına girişi qadağan etdilər. Robots.txt faylı saytınızın kökündə olan bir sənəddir - alaniniz.com/robots.txt - bu, axtarış motoruna saytı taramalı olub-olmadığını bilmələrini təmin edir. Bütün saytlarda və ya xüsusi yollarda indeksləşdirməyə icazə vermək və ya qadağan etmək üçün qaydalar yaza bilərsiniz. Sayt xəritəsi sənədinizi göstərmək üçün bir sətir də əlavə edə bilərsiniz.

The robots.txt fayl saytın axtarış nəticəsi sıralamasında taranmasına və indekslənməsinə mane olan aşağıdakı girişə sahib idi:

İstifadəçi agent: * İcazə verilmir: /

Aşağıdakı kimi yazılmalı idi:

İstifadəçi agent: * İcazə verin: /

İkincisi, saytı tarayan hər hansı bir axtarış motoruna sayt içərisindəki hər hansı bir qovluğa və ya fayla daxil ola biləcəklərinə icazə verir.

Böyük ... indi ki robots.txt fayl mükəmməldir, lakin Google haradan bilir və saytı nə vaxt yoxlayacaq? Tamamilə Google-dan robots.txt-i yoxlamasını istəyə bilərsiniz, amma bu çox asan deyil.

gedin Google Axtarış Konsolu Axtarış Konsolu qədər Tarama> robots.txt Tester. Tester-də ən son sürünən robots.txt sənədinin məzmununa baxacaqsınız. Robots.txt dosyanızı yenidən göndərmək istəyirsinizsə, Göndər düyməsini vurun və bir popup bir neçə seçim tapacaq.

robots.txt yenidən göndərin

Son seçim budur Google'dan yeniləməsini istəyin. Bu seçimin yanındakı mavi Göndər düyməsini vurun və sonra geri qayıdın Tarama> robots.txt Tester səhifəni yenidən yükləmək üçün menyu seçimi. İndi yenilənmiş robots.txt sənədini yenidən tarandığını göstərən bir tarix möhürü ilə birlikdə görməlisiniz.

Yenilənmiş bir versiyanı görmürsənsə, göndər düyməsini vurub seçin Yüklənmiş versiyaya baxın faktiki robots.txt faylınıza getmək üçün. Bir çox sistem bu faylı önbelleğe alacaq. Əslində, IIS bu faylı istifadəçi interfeysi vasitəsilə daxil edilmiş qaydalara əsasən dinamik olaraq yaradır. Böyük ehtimalla qaydaları yeniləməli və yeni bir robots.txt faylı dərc etmək üçün önbelleği yeniləməlisiniz.

robotlar-txt-tester

Siz nə düşünürsünüz?

Bu sayt spam azaldılması üçün Akismet istifadə edir. Yorumunuzun necə işləndiyini öyrənin.