robots.txt cache intervall?


2 innlegg i emnet

Skrevet

#web-crawler

Har endelig fått tid til å begynne implementeringen av robots.txt filer, men hvor ofte bør de hentes egentlig?

Ser det skrives noen steder 24t mellom hver innhenting / cache update, men er dette virkelig nødvendig å oppdatere så ofte?

Selv var jeg inne på tanken om 1 gang ukentlig, men har foreløpig satt intervallet til 2 uker.

Mange nettsteder oppdaterer robots.txt listen svært sjelden, kan gå flere år mellom hver gang...

Driver ikke akkurat noe gigantisk søkemotor ala google / bing / yahoo, så evt blokkerte lenker vil aldri bli synlig på nett uansett. Robotenes innsamlede data påvirker bare på en indirekte måte.

Noen som vet hva som er vanlig praksis?

0

Del dette innlegget


Lenke til innlegg
Del på andre sider

Skrevet

Dette er det egentlig ikke noe fasit svar på, hvis det er lenker til ganske statiske sider med lite endring ville jeg først prøvd meg fram med 1 ukes intervall og justert deretter hvis dette ikke er godt nok

0

Del dette innlegget


Lenke til innlegg
Del på andre sider

Opprett en konto eller logg inn for å kommentere

Du må være et medlem for å kunne skrive en kommentar

Opprett konto

Det er enkelt å melde seg inn for å starte en ny konto!


Start en konto

Logg inn

Har du allerede en konto? Logg inn her.


Logg inn nå

  • Hvem er aktive   0 medlemmer

    Ingen innloggede medlemmer aktive