Søk i nettsamfunnet

Søkefiltre


 Søkefiltre

Innhold merket 'web-crawler' i Emner

Fant 1 resultat


Resultater

  1. #web-crawler
    Har endelig fått tid til å begynne implementeringen av robots.txt filer, men hvor ofte bør de hentes egentlig?

    Ser det skrives noen steder 24t mellom hver innhenting / cache update, men er dette virkelig nødvendig å oppdatere så ofte?

    Selv var jeg inne på tanken om 1 gang ukentlig, men har foreløpig satt intervallet til 2 uker.

    Mange nettsteder oppdaterer robots.txt listen svært sjelden, kan gå flere år mellom hver gang...
    Driver ikke akkurat noe gigantisk søkemotor ala google / bing / yahoo, så evt blokkerte lenker vil aldri bli synlig på nett uansett. Robotenes innsamlede data påvirker bare på en indirekte måte.

    Noen som vet hva som er vanlig praksis?