Crawl-Budget

Damit Webseiten im Index landen, müssen sie zunächst gecrawlt werden. Wie viele Webseiten sich der Bot beim Crawling einer Website vornimmt, ist ganz unterschiedlich und kann vom Webmaster nur indirekt beeinflusst werden. Jeder Webpräsenz steht nur ein gewisses Crawl-Budget zur Verfügung, dass die Suchmaschinenbetreiber selbst festlegen. Auch wie häufig das Crawling erfolgt und wie tief der Bot dabei in die Website eintaucht, entscheidet ebenfalls nicht der Webmaster.

Dadurch dass das Crawl-Budget für jede Webpräsenz nicht grenzenlos zur Verfügung steht, kann es durchaus vorkommen, dass Websites mit vielen Unterseiten nicht komplett gecrawlt werden. Somit können die nicht erfassten Webseiten auch nicht indexiert werden, wodurch dem Webmaster wiederum ein Schaden entsteht, denn der Traffic über die Suchmaschine bleibt so aus.

Hier können jedoch Maßnahmen getroffen werden, die dafür sorgen, dass das Crawl-Budget maximal ausgenutzt wird.
Über die Robots.txt Datei können beispielsweise bestimmte (unwichtige) Seiten vom Crawling ausgeschlossen werden, so dass die Aufmerksamkeit dadurch auf die wichtigeren Seiten gelenkt wird.
Des Weiteren kann es helfen, die interne Verlinkung auf Seiten zu stärken, die gecrawlt werden sollen. Hier kann insbesondere darauf geachtet werden, dass die verstärkenden internen Links von Seiten kommen die viele Backlinks haben.