Motverka fantasi-länkar

[Holger]

Hejsan,

jag har ett öga på diverse loggar när det gäller Maskinisten.
En av loggarna visar en del konstigheter.
Ett exempel:
Vi har en portal, den finns på

Kod: Markera allt

portal.php

I loggen hittar jag dock en massa sådana här upprop:

Kod: Markera allt

/portal.php/compare/shoppen/shoppen/downloads.php
/portal.php/compare/shoppen/downloads.php
/portal.php/vykort/shoppen/viewtopic.php

Alla dessa resulterar i Forbidden urls (HTTP code 403)

I 404 Not Found kategorin hittar jag sådana:

Kod: Markera allt

/viewforum.php/styles/prosilver/template/ajaxlike/js/common.js

Även där har alltså någon sökmaskin eller så helt enkelt försökt lägga till en bunt mappar och filer till en php-fil.

Hur kan jag förhindra detta?

/Holger

[hartagga]

För länge sedan, när jag pysslade med sådant använde man URLn "/robots.txt". Det var en fil med en speciell syntax som räknade upp URLer en “web crawler” inte skulle indexera/besöka. Även om detta byggde på frivillighet kommer jag ihåg att detta då för 20 år sedan(?) fungerade överlag väl. Jag kommer också ihåg att Google som vanligt inte spelade riktigt rent med systemet.

I alla fall, läs på https://en.wikipedia.org/wiki/Robots.txt. Jag är inte alls bekant med Wordpress (som ju Maskinisten körs på?), men skulle bli förvånad om det inte finns stöd för “/robots.txt" eller motsvarande!

[tortap]

Om det är dåliga avsikter bakom massa slagningar så kan man inte hindra att en request kommer in på en URL som man inte förväntar sig. Du kan blocka den med nån ModSecurity eller mod_rewrite i apache men behövs det? Möjligen att blocka tar lite mindre resurser än att lista ut att de är obehöriga (403) men 404 är bara att en resurs inte finns. Du kan blocka exakt styles/positive/template/ajaxlike/js/common.js men... är det ett problem med 404 i loggen?

[Holger]

Tack för era tankar och tips!

hartagga, vi kör inte WP, forumet körs i phpBB.
robots.txt har jag också funderat på. Ska googla lite på det.

tortap, du har nog rätt, problemet är inte sååååå stort. Men det blir svårt att "läsa" loggarna med alla dessa onödiga rader.

[magloman]

Borde väl va lätt att filtrera bort dom raderna i loggarna oxå, om det inte går o lösa tidigare

[Ulf]

Ja, en stilla grep -x ...

[Holger]

Äh

[Ulf]

Filtrera loggarna...

[Jope]

vad kommer loggarna från phpBB eller någon proxy/gateway innnan, Nginx/apache etc..
men att inte logga request är ju fel väg att gå, bättre ha något verktyg för att enkelt söka filtrera i loggarna.
Nu för tiden om man har flera servrar så skickar man loggarna till något verktyg typ elasticsearch eller liknande för att enkelt hantera dem.
men lite overkill om det bara en en server.