advista.no / nettkatalogen.no ignorerer robots.txt.
Kort sagt vil det si at "Vi besøker de sidene på ditt nettsted vi vil samme faen hva du har å si til det".
Jeg vil også sammenligne det med uønskede gjester som banker på, tvinger seg inn og attpåtil skal drikke morrakaffen i lag med meg.
"Agent: AdSearch 2.01 (www.advista.no)"
Konkret fra IP-adressen 80.241.88.76.
Like greit å blokke hele greia (80.241.88.64/28) totalt i .htaccess:
inetnum: 80.241.88.64 - 80.241.88.79 netname: DIGNET-NO-ADVISTA descr: Advista Oslo country: NO admin-c: RM3017-RIPE tech-c: RM3017-RIPE status: ASSIGNED PA mnt-by: DIGNET-MNT source: RIPE # Filtered
For å ramse opp de som respekterer robot.txt, ut fra hukommelsen og de siste treffene:
Yahoo, Google, msn, schibstedsokbot, findexa (=Eniro ?).
Ut fra den samme rustne hukommelsen er det stort sett diverse spammere som ikke respekterer fila. F.eks. fra et bestemt afrikansk land hvor det brukes roboter som tydelig høster e-postadresser i deres generøse leting. Som regel ser de vel etter e-postadresser til noen som kan hjelpe en uheldig arving som har problemer med å få ut noen millioner fra f.eks. Nigeria. Av og til leter de vel også etter adressene til heldige vinnere i diverse lotterier.
Og advista.no / nettkatalogen.no som den eneste norske/nordiske som ikke finner seg i å bli høflig fortalt at de ikke er ønsket.
De slår seg til og med på brystet og annonserer at de er medlem i bransjekatalogen "Trygg Katalog" (http://www.tryggkatalog.no).
Hmm, tro om ikke de andre medlemmene vil reagere på en slik oppførsel? Når advista / nettkatalogen i teorien indekserer sider de andre medlemmene høflig forlater lukter jeg noen som mumler om "konkurransevridning" eller hvilke mystiske begreper de enn bruker i den bransjen. De medlemmene av "Trygg Katalog" som har besøkt mitt nettsted med sine roboter har som sagt banket høflig på, spurt om robots.txt var hjemme og hva haun hadde å si. Og gått igjen etter å ha hørt på haun.
Jeg stjeler litt fra tryggkatalog.no:
Det er mange aktører som opererer innenfor katalogmarkedet både på nett og i trykte medier. Mange næringsdrivende opplever at ikke alle disse følger god forretningsskikk. Bransjen har, med bakgrunn i mange henvendelser, tatt initiativ til å opprette Trygg Katalog.
Etter min mening mangler advista/nettkatalogen både forretnings- og folkeskikk ved å ignorere robots.txt. Direkte uhøflige er de.
Jeg foreslår et nytt punkt i eventuelle retningslinjer "Trygg Katalog" har:
"Vær høflig - respekter robots.txt."
Det er i grunnen synd at de useriøse burde oppdras som små barn ved ha slike ting på trykk i sin egen "bransjeforening". Den lista med retningslinjer er antakeligvis en murstein allerede.
Men nettkatalogen.no får ikke lov å drikke morrakaffe med meg lenger.
Jeg åpner ikke hoveddøra lenger. Ikke for drittsekker med manglende folkeskikk og høflighet.
Jeg vil ikke bli forundret om de kommer klatrende opp på baksida og prøver verandadøra neste gang.
