Mittlerweile habe ich die ersten „Einsätze“ mit den kleinen Crawlern hinter mir und konnte die Hardware ausreichend testen. Mit den Rechnern bin ich zufrieden. Im Testbetrieb schaffte ein Crawler inkl. Auswertung etwa 120.000 Webseiten am Tag (Aufruf der Domain, folgen der Redirects, Parsing und OnPage Analysen). Dabei waren die Maschinen etwa zu ~30-40 % im… Continue reading →