Cum de a bloca motoarele de căutare (cu ilustrații)

Motoarele de căutare sunt echipate cu roboți (păianjeni web sau boturi) care scanează și indexează paginile web. Dacă site-ul sau pagina dvs. este în curs de dezvoltare sau conține conținut nedorit, roboții pot fi interzise să scaneze și să indice site-ul dvs. Web. Aflați cum să blocați site-urile, paginile și legăturile utilizând fișierul roboți.TXT sau pagini specifice și link-uri utilizând etichete HTML . Citiți mai departe pentru a afla cum să interziceți accesul la conținut la anumite roboți.

Pași

Metoda 1 din 2:

Blocați motoarele de căutare utilizând fișierul roboți.TXT

unu. Verificați fișierul roboților.TXT. Robots dosar.Txt este un fișier text simplu sau un fișier ASCII care indică păianjenilor de pe motoarele de căutare la care părți ale site-ului pot accesa. Fișiere și foldere enumerate în fișierul roboți.Txt, nu poate fi scanat și indexat de către roboții de căutare. Utilizați fișierul roboți.Txt dacă:

Doriți să ascundeți un anumit conținut din motoarele de căutare;
Sunteți în curs de dezvoltare a site-ului și nu sunteți pregătiți pentru scanare și indexare a site-ului de către păianjeni de motoare de căutare;
Doriți să limitați accesul la bots autoritar.

2. Creați și salvați fișierul roboți.TXT. Pentru a crea un fișier, deschideți editorul de text obișnuit sau editorul de coduri. Salvați fișierul ca roboți.TXT. Numele fișierului trebuie să fie scris cu litere mici.

Nu uitați să adăugați "s" la sfârșit.

Când salvați fișierul, selectați extensia ".TXT ". Dacă utilizați Word, selectați opțiunea "Text obișnuit".

3. Creați fișierul de roboți.TXT cu Directiva necunator necondiționată. Directiva necondițională a dezvăluirii vă va permite să blocați roboții de căutare a tuturor motoarelor de căutare importante, evitând astfel scanarea și indexarea site-ului. Adăugați următoarele linii în fișierul text:

Agent de utilizator: * Nu permiteți:

Utilizați o directivă necondiționată în dosarul roboților.TXT este puternic nu este recomandat. Când botul, cum ar fi Bingbot, consideră acest fișier, acesta nu va indexa site-ul dvs., iar motorul de căutare nu se afișează.

Agenți de utilizator (Agenți de utilizator) - acesta este un alt nume de păianjeni web sau de căutare a roboților.

*: Un asterisc înseamnă că codul se aplică tuturor agenților utilizatorului.

Nu permiteți:: Diavolul nu indică faptul că întregul site este închis pentru roboți.

4. Creați fișierul de roboți.TXT cu directiva condiționată. În loc să blocheze toate robotul, luați în considerare blocarea accesului unor păianjeni specifici în anumite părți ale site-ului. Comenzile principale ale Directivei Condițională Permite includ ::

Blocarea unui bot de beton: Înlocuiți asteriscul de lângă Agent utilizator pe GoogleBot, GoogleBot-News, GoogleBot-Image, Bingbot sau Teoma.

Blocarea unui catalog sau a conținutului acestuia:

Agent de utilizator: * Nu permiteți: / Eșantion-director /

Blocarea unei pagini web:

Agent de utilizator: * Nu permiteți: / Private_File.HTML

Blocarea imaginilor:

Agent de utilizator: GoogleBot-imageDizall: / images_mypicture.JPG

Blocați toate imaginile:

Utilizator-agent: GoogleBot-imageDizallow: /

Blocarea unui format de fișier separat:

Agent de utilizator: * Nu permiteți: / P *.jpg $

cinci. Satisfaceți roboții pentru indexarea și scanarea site-ului dvs. Mulți oameni nu numai că nu blochează, ci, dimpotrivă, autentici atenția păianjenilor motorului de căutare pe site-ul lor, astfel încât acesta să fie complet indexat. Pentru a realiza acest lucru poate fi în trei moduri. În primul rând, puteți refuza să creați fișierul de roboți.TXT. Dacă robotul nu găsește fișierul roboți.TXT, va continua să scaneze și să indice întregul site. În al doilea rând, puteți crea un fișier robot gol.TXT. Robotul va găsi fișierul roboți.TXT va vedea că este gol și va continua să scaneze și să indice site-ul. În cele din urmă, puteți crea un fișier de roboți.TXT cu o directivă de rezoluție necondiționată utilizând codul:

Agent utilizator: * Nu permiteți:

Când botul, cum ar fi GoogleBot, consideră acest fișier, poate vizita liber întregul dvs. web independent.

Agenți de utilizator (Agenți de utilizator) - acesta este un alt nume de păianjeni web sau de căutare a roboților.

*: Un asterisc înseamnă că codul se aplică tuturor agenților utilizatorului.

Interzice: Comanda de dezactivare goală înseamnă că toate fișierele și folderele sunt disponibile.

6. Salvați fișierul text în directorul rădăcină al domeniului. După editarea fișierului de roboți.TXT Salvați modificările. Introduceți fișierul în directorul rădăcină al site-ului. De exemplu, dacă aveți un domeniu Youdomain.Com, Plasați fișierul roboților.TXT la adresa Youdomain.Com / roboți.TXT.

Metoda 2 din 2:

Blocarea motoarelor de căutare Metategas

unu. Verificați roboții HTML Metateg. Roboții de metater permite programatorilor să se stabilească parametrii pentru bătrâni sau pentru păianjeni de motor de căutare. Cu ajutorul acestor etichete, boturile sunt interzise să indice și să scaneze întregul site sau părți separate. De asemenea, le puteți utiliza pentru a bloca un păianjen specific motorului de căutare din indexarea conținutului. Aceste etichete sunt specificate în antetul fișierului HTML.

Această metodă este utilizată în mod obișnuit de programatori care nu au acces la directorul rădăcină al site-ului.

2. Dezactivați accesul la Bots la o pagină. Indicarea paginilor și / sau conectarea la pagină de pe pagină pe care o puteți interzice pentru toate robotul. Această etichetă este utilizată de obicei atunci când site-ul este în curs de dezvoltare. După finalizarea site-ului, este recomandat să ștergeți această etichetă. Dacă nu eliminați eticheta, pagina nu va fi indexată sau disponibilă pentru căutarea prin motoarele de căutare.

Dezactivați roboții pentru a indexa pagina și pentru a vă deplasa pe oricare dintre link-uri:

 Nume = "Roboții" Conținut = "NoIndex, Nofollow">

Dezactivați toate robotul pentru a indexa pagina:

 Nume = "Roboții" Conținut = "NoIndex">

Interzice toate boturile să meargă pe linkurile de pe pagină:

 NAME = "Roboții" Conținut = "Nofollow">

3. Permiteți roboților să indice pagina, dar nu mergeți la legăturile sale. Dacă permiteți roboților să indice pagina, acesta va fi indexat. Dacă ați interzis păianjenilor să porniți link-urile, modul în care linkul de pe această pagină la alții va fi blocat. Introduceți următoarea linie de cod în titlu:

 Name = "Roboții" Conținut = "Index, Nofollow">

4. Permiteți păianjenilor motorului de căutare peste link-uri, dar nu indexați pagina. Dacă permiteți roboților să se deplaseze pe link-uri, legăturile de cale de pe această pagină la alții vor rămâne deschise. Dacă dezactivați roboții pentru a indexa pagina, aceasta nu va apărea în index. Introduceți următoarea linie de cod în titlu:

 Name = "roboți" conținut = "NoIndex, urmați">

cinci. Blocați legătura de ieșire. Pentru a ascunde o legătură pe pagină, plasați eticheta Rel În interiorul referinței de etichete . Utilizați această etichetă pentru a bloca linkurile de pe alte pagini care duc la o anumită pagină pe care doriți să o blocați.

 href ="Youdomain.HTML" Rel ="Nofollow"> Introduceți link-ul la pagina blocată

6. Blocați un păianjen specific de căutare. În loc să blocați accesul la o pagină pentru toate robotul, setați interzicerea scanării și indexării paginii numai pentru un bot. Pentru a face acest lucru, înlocuiți cuvântul "roboți" în numele metiletului unui bot specific. Exemple: GoogleBot, GoogleBot-News, GoogleBot-Image, Bingbot și Teoma.

 Name = "Bingbot" Content = "NoIndex, Nofollow">

7. Îmbunătățiți roboții pentru a scana și indexarea paginii. Dacă doriți să vă asigurați că pagina va fi indexată, iar legăturile vor comuta, adăugați roboții meta tag de rezoluție "la antetul dvs. Utilizați următorul cod:

 NAME = "Roboții" Conținut = "Index, urmați">