Källor & länkar:
Det är inte helt lätt att få reda på när googlebot och de andra robotarna har besökt din sida men
omöjligt är det inte.
Naturligtvis kan du slå på loggning i webservern och där kan du i sin tur läsa loggarna men det är
inte många som har tillgång till sin egen webserver eller har ork att filtrera loggarna.
C1 - Vad heter sökrobotarna?
Här följer en lista på namnen på några av de mest populära sökrobotarna. Webbens bästa lista över
webspindlar hittar du annars på ipbots.info
- Archive.org = Archive.org
- Baiduspider = Baidu.com
- Feedfetcher-Google = Google RSS Bot
- Gigabot = GigaBlast.com
- Googlebot = Google.com
- Gsa-crawler = Google.com
- Harvest-NG = Yahoo.com
- Ia_archiver = Archive.org
- Inktomi = Yahoo.com
- InternetArchive = Archive.org
- Mediapartners = Google Adsense
- Msnbot = MSN.com
- MSNPTC = MSN.com
- Speedy Spider = EntireWeb.com
- Speedy_Spider = EntireWeb.com
- SpiderMan = Yahoo.com
- Teoma = Ask.com
- Vespa Crawler = Yahoo.com
- Yahoo = Yahoo.com
C2 - Logga sökrobotarnas besök!
Har man tillgång till ett server side skriptspråk som tex ASP så kan man göra
ett enkelt program som visar när sökrobotarna besöker din sida.
- Kopiera innehållet i _inc_skapaSpindelLogg.asp.txt
- Skapa en fil med innehållet ovan. Lägg filen bland de filer du vill logga spindelaktivitet.
- DÖP OM filen till _inc_skapaSpindelLogg.asp (ta bort .txt).
- I din ASP sida som du vill logga lägger du till följande rad:
<!-- #include file="_inc_skapaSpindelLogg.asp"-->
- Nu får du vänta ett tag men så fort en känd spindel besöker din sida så ska det skapas en ny fil i samma katalog
som din ASP fil. Loggfilen börjar på samma namn som din ASP fil med tillägget ...spindelLogg.html
Öppna den för att se aktiviteten.
Jag har lagt ut filen på min webserver och då ser loggen ut så här.
Öppna testsida med includerad spindellog