Een Forbidden-melding bij bezoek website

[nirwana]

Hallo,

Als iemand vanochtend de website heeft proberen te bezoeken, dan resulteerde dat helaas in een Forbidden-melding.

Na enig zoeken bleek dat de website veelvuldig werd bezocht door bepaalde search-bots (spiders / crawlers). Daarmee had de website het zo druk dat er weinig anders meer mee gedaan kon worden. Aangezien de zoekopdrachten vanaf verschillende IP-adressen afkomstig waren kon niet eenvoudig 1 specifiek adres geblokkeerd worden. Daarom is tijdelijk elk adres geblokkeerd en dat leverde die Forbidden-melding op.

Dit is later vanochtend teruggedraaid, zodat de website weer bereikbaar werd.
Ook is deze specifieke bot in een robots.txt geplaatst, zodat die in de toekomst geblokkeerd wordt.

Verder is de zoekfunctie van ons forum nu beperkt tot ingelogde gebruikers. Als je op het forum wilt zoeken, zorg er dan voor dat je bent ingelogd. Het maakt ons verder niet uit waar iemand op zoekt, dus zoekopdrachten worden niet aan een ingelogde persoon gekoppeld. MozBrowser hoeft geen zoekprofielen van haar gebruikers bij te houden.

Mogelijk worden er in de toekomst nog meer aanpassingen in het forum doorgevoerd om zo het indexeren te vereenvoudigen. Enkele suggesties zijn het toevoegen van een sitemap voor zoekmachines (als dat het indexeren kan verbeteren). Of mogelijk het verwijderen van jaren-oude berichten.

[Koen_92]

Hmm, ik blijf het toch gek vinden dat searchbots een website zo zwaar kunnen belasten. Hopelijk gebeurt dat nu niet meer. Toch mooi dat er zo snel ingegrepen wordt!

Mogelijk worden er in de toekomst nog meer aanpassingen in het forum doorgevoerd om zo het indexeren te vereenvoudigen. Enkele suggesties zijn het toevoegen van een sitemap voor zoekmachines (als dat het indexeren kan verbeteren). Of mogelijk het verwijderen van jaren-oude berichten.

Het verwijderen van oude berichten zou ik toch wel zonde vinden. Het is momenteel inderdaad lastig zoeken, maar ik weet wel dat er zeker nog waardevolle informatie te vinden is (zoals bijvoorbeeld het "Linux voor beginners-topic").
Als de zoek-functie de servers te zwaar belast, is het dan niet mogelijk om deze te vervangen voor een Google custom search?

[nirwana]

Koen,

Ik zie jouw reactie nu pas, dus krijg je wat later antwoord dan gebruikelijk.

Dit was geen reguliere search-bot. Google c.s. zijn welkom, hoor. Dit was meer een gedistribueerde aanval:

008 runs on a grid computing platform that consists of several thousand computers, which is why you may see our web crawler access your site from many different IP addresses.

Zie www.80legs.com/spider.html voor meer info.

Ik wil ook niet zomaar diverse onderwerpen weggooien. Wel denk ik soms dat er diverse oudere onderwerpen zijn die op dit moment niet meer van belang zijn voor de huidige generatie software van Mozilla, bijvoorbeeld uit de tijd van Phoenix / Firebird. Maar dan zou je onderwerpen stuk voor stuk op hun waarde moeten beoordelen. Voorlopig blijft dat nog een idee voor de toekomst.

[Koen_92]

Ik weet niet hoe groot de impact op de performance van dit forum is van die duizenden oude berichten/topics, de databasetabellen zullen in ieder geval wel erg groot worden.
Als de performance geen probleem is, zou ik die onderwerpen gewoon laten staan, ze kunnen dan verder geen kwaad.

Als performance wel een probleem is of wordt moet er op termijn natuurlijk iets gebeuren. Misschien dat alle topics met een script in een enorm pdf-document of zoiets omgezet kunnen worden? Daarna kunnen ze uit de database gehaald worden en kan de pdf ter download op een archief-plek aan geboden worden?
Ook alle oude topics in een archief-sectie stoppen en die op een aparte database laten draaien kan heel wat schelen denk ik (onder de aanname dat er niet veel mensen door het archief gaan bladeren dagelijks en dat het mogelijk/wenselijk is om een tweede database te draaien).

Zoveel verstand heb ik hier nu ook weer niet van, maar dit zijn maar ideeën