Robots.txt faylını yazmaq üçün sürətli bələdçi

Axtarış motoru hörümçək ilə əlaqə qurmağın yeganə yolu və ya tarayıcı, adlı fayl vasitəsilədir robots.txt. Və ya daha yaxşı. Veb sayt təklifinizi Google-a təqdim etdiyiniz zaman o, sadəcə olaraq böyük miqdarda məlumatla qarşılaşır.

Lazım olan hər şeyi heç vaxt tapa bilməyəcəyinizi hiss edəcək qədər böyük bir dərsliyə necə müraciət edirsiniz? Siz məsləhətləşin ipucu. Yaxşı: robots.txt faylı veb saytınızın indeksidir.

Bu, axtarış motoru tarayıcısına nə axtarmaq lazım olduğunu izah edən, doldurulması asan bir sənəddir. Qısacası: siz ona saytınızın nədən ibarət olduğunu anlamağa kömək edəcəksiniz ki, alqoritm sizə gördüyünüz işə uyğun bir reytinq verə bilsin.

Kim robots.txt faylı yaza bilər?

Qısa cavab bəli. Dürüst cavab xeyrdir. Robots.txt faylının qrammatikası son dərəcə sadə olsa da və onun tərkibi bir neçə sətirdən ibarət olsa da, əllərini hara qoyacağını bilən ekspert vebmasterin qayğısına etibar etmək daha yaxşıdır. Axı, kiçik bir səhv veb saytınızın mövqeyini pozmaq üçün kifayətdir və buna görə də başlamazdan əvvəl bütün SEO əməliyyatlarını dayandırın.

Başlamazdan əvvəl bir şeyi bilin: hər kəs domendən sonra /robots.txt yazaraq istənilən saytın robots.txt faylına müraciət edə bilər. Siz hətta Google-a müraciət edə bilərsiniz!

Xüsusi proqram yükləmədən belə bir fayl yaza bilərsiniz. Əslində, notepaddan istifadə edib .txt formatında saxlamaq kifayətdir.

Gəlin birlikdə robots.txt yazaq: başlıq

Bunu etmək həmişə məntiqli olduğu üçün əvvəldən başlayaq. Faylın açılması, daha doğrusu, başlıq tamamilə hörümçəyin adına həsr olunub, ondan əvvəl həmişə eyni olan kiçik bir ifadə var. Tutaq ki, siz Google tərəfindən diqqəti cəlb etmək istəyirsiniz. Beləliklə, ilk sətir belə olacaq:

İstifadəçi-agent: Googlebot

Bu çox qısa sətir Google-a deyir ki, sonrakı hər şey şübhəsiz ki, onun üçün maraqlı olacaq. Bu növ faylı oxuyan bütün taramaçıların sənədlə məsləhətləşə bilməsini istəyirsinizsə, Googlebot-u sadə *, a ulduz.

İndi hansı hörümçəyi, yəni ÜST-ü göstərdiyiniz üçün göstərməlisiniz həm də O NƏ Oxumalı olacaq.

Hər bir kod sətri, tərifinə görə, maşının hərəkətinə uyğundur. Sözsüz ki, robots.txt faylındakı hər bir əmr maşının etməməli olduğu işə uyğun gəlir. Və bu, həqiqətən təsirli bir yazmağa imkan verən açardır. Söhbət DISALLOW əmrindən gedir.

DISALLOW əmri nədir?

Il icazə vermə əmri istisna etməklə əsaslandırmağa imkan verir. Başqa sözlə, deyiləndə ki, ilk növbədə nə etmək lazım deyil - yaxşı, siz istisna olmaqla əsaslandırırsınız. İcazə verilməməsinə əlavə olaraq, blok üçün istisna olan icazə də var.

Yaxşı bir robot faylı yazmaq istəyirsinizsə, bunun əksini düşünməli olacaqsınız, ona görə də Google-a onun oxumaması lazım olanları söyləməli olacaqsınız. Yazsanız:

İcazə verilmir:

Hörümçək heç bir əyləc olmadan bütün saytınızı oxuyacaq.

Əgər “Disallow:”dan sonra kəsik işarəsi qoysanız (buna görə də Disallow: /), sayt axtarış sistemlərinə daxil edilməyəcək, nöqtə nöqtəsi.

İcazə ver: /kataloqlar/

Söz qovluğunu hörümçək görünüşündən imtina etmək istədiyiniz qovluqla əvəz edin. Eyni şeyi xüsusi bir fayl ilə edə bilərsiniz.

İcazə verməyin: /myfile.html

DİQQƏT durğu işarələri və hərflər, böyük və ya kiçik hərf. Bu tip fayl bu cür "xırda-xırdaları" yüksək qiymətləndirir, lakin onlar böyük fərq yaradır.

Niyə Google-a saytınızın böyük bir hissəsini oxumağa mane olursunuz? Bu tip bir fayl yazarkən, hansı faylların axtarış sistemində görünməməsi lazım olduğunu, lakin onlardan sui-istifadə etmədən anlamaq vacibdir. Ancaq bilin ki, həmin faylın dəqiq ünvanını bilən hər kəs istənilən halda ona daxil ola biləcək.

ALLOW əmri nədir?

Faylda əmrlə bir istisna əlavə edə bilərsiniz ALLAH. Qrammatika eynidir, lakin bu, Hörümçək üçün maraqlı kəşfiyyat sərhədləri açmağa imkan verən DIS ALLOW-a bəzi istisnalar yaradacaq.

Kiçik bir nümunə faylı:

İstifadəçi-agent: Googlebot

İcazə verməyin: /şəkillər/

İcazə verin: /images/holidays.jpg

Əsasən biz Googlebot-a dedik ki, şəkil qovluğuna baxma, onun içindəki xüsusi bir fotoşəkil, yəni bayramlardan başqa.

Və bu, uşaqlar, budur. İlk robots.txt faylımızı yazdıq. Əlbəttə, bizim real sayt üçün edəcəyimiz işlər bir qədər fərqli ola bilər, lakin çox deyil. Şübhə varsa, həmişə ixtisaslaşmış veb ustasından məsləhət alın. Biz sizə məsləhət görürük ki, ilk növbədə özünüz yazmağa çalışın və onu yoxlamaq üçün ona göndərin ki, əsasları mənimsəsin və saytınızın necə işlədiyini daha yaxşı başa düşəsiniz.

robots.txt və sayt xəritələri arasında hansı əlaqə var?

Sayt xəritəsi, saytdakı bütün bağlantıları ehtiva edən xüsusi plaginlər tərəfindən yaradılan bir fayldır. Hörümçək sayta daxil olanda əvvəlcə robotları oxuyur, sonra saytı tarar. Tarama zamanı robot sayt xəritəsinin ünvanını tapsa, bütün proses daha asan olacaq.

Yuxarıdakı koda aşağıdakıları əlavə edin:

Sayt xəritəsi: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

Sonda

Bütün robot faylları eynidir. Bu o deməkdir ki, Google üçün yazılmış Robotlar faylı Bing üçün də yaxşı işləyəcək və eyni qrammatikaya əməl edəcək.

Yaxşı təşkil edilmiş robots.txt faylı sizə imkan verir tarama vaxtına qənaət edin. Ruhdan düşməyin: bu uğura doğru ilk addımdır!