SEO-Wiki — SEO-Fach­be­grif­fe ver­ständ­lich erklärt!

Was ist Crawling?

Craw­ling bezieht sich auf den Pro­zess, bei dem Such­ma­schi­nen-Bots (auch bekannt als Craw­ler oder Spi­der) auto­ma­tisch durch das Inter­net navi­gie­ren und Web­sei­ten iden­ti­fi­zie­ren, um sie für den Inde­xie­rungs­vor­gang zu besu­chen und zu ana­ly­sie­ren. Die­ser Pro­zess ist der ers­te Schritt bei der Bestim­mung, wel­che Sei­ten in den Such­ergeb­nis­sen ange­zeigt wer­den und wel­che nicht.

Der Craw­ling-Pro­zess ist ein wich­ti­ger Teil der Such­ma­schi­nen­op­ti­mie­rung (SEO), da es Such­ma­schi­nen wie Goog­le und Bing ermög­licht, Ihre Web­site und deren Inhal­te zu fin­den, zu inde­xie­ren und zu ana­ly­sie­ren. Durch den Zugriff auf Ihre Web­site kön­nen Such­ma­schi­nen her­aus­fin­den, wel­che Sei­ten für wel­che Such­an­fra­gen rele­vant sind, was wie­der­um dazu bei­trägt, dass Ihre Web­site in den Such­ergeb­nis­sen erscheint.

Wie funk­tio­niert Crawling?

Die meis­ten Such­ma­schi­nen ver­wen­den Craw­ler, um Web­sei­ten auto­ma­tisch zu durch­su­chen und zu ana­ly­sie­ren. Ein Craw­ler beginnt sei­ne Arbeit, indem er eine Samm­lung von URLs besucht, die als “Seed-Lis­te” bezeich­net wird. Von die­ser Seed-Lis­te aus folgt der Craw­ler jedem Link, den er auf den besuch­ten Sei­ten fin­det, um wei­te­re Sei­ten zu ent­de­cken und zu besu­chen. Die­ser Pro­zess wird als “Spin­nen” oder “Craw­len” bezeichnet.

Der Craw­ler sam­melt Infor­ma­tio­nen über jede besuch­te Sei­te, ein­schließ­lich des Inhalts, der Struk­tur und der Ver­lin­kung auf ande­re Sei­ten. Die­se Infor­ma­tio­nen wer­den dann von der Such­ma­schi­ne ana­ly­siert und ver­wen­det, um den Inhalt der Sei­ten zu ver­ste­hen und zu indexieren.

Best Prac­ti­ces für das Crawling

Es gibt eini­ge Best Prac­ti­ces, die Sie beach­ten soll­ten, um sicher­zu­stel­len, dass Ihre Web­site von Such­ma­schi­nen gecrawlt wird und dass die Craw­ler die Inhal­te Ihrer Web­site erfolg­reich ana­ly­sie­ren können.

  1. 1.
    Site­map erstel­len und ein­rei­chen: Eine Site­map ist eine Datei, die eine Lis­te aller Sei­ten Ihrer Web­site ent­hält. Durch Ein­rei­chen der Site­map bei Such­ma­schi­nen kön­nen Sie sicher­stel­len, dass alle Sei­ten Ihrer Web­site gecrawlt werden.
  2. 2.
    Robots.txt ver­wen­den: Die Ver­wen­dung einer Robots.txt-Datei kann dazu bei­tra­gen, dass Such­ma­schi­nen nur auf die Sei­ten Ihrer Web­site zugrei­fen, die gecrawlt wer­den sol­len. Wenn bestimm­te Sei­ten von der Inde­xie­rung aus­ge­schlos­sen wer­den sol­len, kön­nen Sie dies in der Robots.txt-Datei angeben.
  3. 3.
    Inter­ne Ver­lin­kung opti­mie­ren: Durch die Opti­mie­rung der inter­nen Ver­lin­kung kön­nen Sie Such­ma­schi­nen-Bots dabei unter­stüt­zen, alle Sei­ten Ihrer Web­site zu ent­de­cken und zu craw­len. Sie soll­ten sicher­stel­len, dass jeder Link auf Ihrer Web­site kor­rekt funk­tio­niert und dass die Ver­lin­kung logisch und kon­sis­tent ist.
  4. 4.
    Dupli­ca­te Con­tent ver­mei­den: Such­ma­schi­nen bevor­zu­gen ein­zig­ar­ti­gen Inhalt, daher soll­ten Sie sicher­stel­len, dass Sie kei­ne dop­pel­ten Inhal­te auf Ihrer Web­site haben, da dies dazu füh­ren kann, dass Ihre Web­site in den Such­ergeb­nis­sen abge­wer­tet wird.
  5. 5.
    Craw­ling-Fre­quenz über­wa­chen: Sie soll­ten regel­mä­ßig über­prü­fen, wie oft Ihre Web­site gecrawlt wird, um sicher­zu­stel­len, dass Such­ma­schi­nen regel­mä­ßig auf Ihre neu­en Inhal­te zugrei­fen. Sie kön­nen dies bei­spiels­wei­se mit der Goog­le Search Con­so­le überprüfen.
  6. 6.
    Bro­ken Links ent­fer­nen: Wenn Such­ma­schi­nen-Bots auf gebro­che­ne Links sto­ßen, kann dies dazu füh­ren, dass sie die Crawl-Ses­si­on been­den. Sie soll­ten daher regel­mä­ßig Ihre Web­site auf gebro­che­ne Links über­prü­fen und die­se ent­fer­nen oder reparieren.
  7. 7.
    Sicher­heit gewähr­leis­ten: Wenn Ihre Web­site nicht sicher ist, kann dies dazu füh­ren, dass Such­ma­schi­nen Ihre Web­site nicht craw­len. Sie soll­ten daher sicher­stel­len, dass Ihre Web­site HTTPS-ver­schlüs­selt ist und dass Sie kei­ne Mal­wa­re auf Ihrer Web­site haben.

Craw­ling und Indexierung

Craw­ling und Inde­xie­rung sind zwei wich­ti­ge Schrit­te im Pro­zess der Such­ma­schi­nen­op­ti­mie­rung. Wäh­rend der Craw­ling-Pro­zess dazu dient, alle Sei­ten einer Web­site zu ent­de­cken und zu ana­ly­sie­ren, ermög­licht die Inde­xie­rung, dass die­se Sei­ten in den Such­ergeb­nis­sen ange­zeigt werden.

  1. 1.
    Der Craw­ling-Pro­zess beginnt mit Such­ma­schi­nen-Bots, die auf Ihrer Web­site lan­den und ver­su­chen, jede Sei­te Ihrer Web­site zu errei­chen. Dies geschieht, indem sie den Links auf Ihrer Web­site fol­gen. Wenn eine Sei­te gefun­den wird, wird sie von dem Bot in den Index aufgenommen.
  2. 2.
    Es gibt meh­re­re Fak­to­ren, die beein­flus­sen, wie oft eine Web­site gecrawlt wird. Zu die­sen Fak­to­ren gehö­ren die Grö­ße der Web­site, die Häu­fig­keit der Aktua­li­sie­rung der Inhal­te und die Ver­lin­kung auf die Web­site von ande­ren Websites.
  3. 3.
    Die Inde­xie­rung ist der Pro­zess, bei dem Such­ma­schi­nen die Inhal­te einer Web­site in ihren Index auf­neh­men, um sie spä­ter in den Such­ergeb­nis­sen anzei­gen zu kön­nen. Wenn eine Sei­te gecrawlt wird, wer­den die Inhal­te ana­ly­siert und in den Index auf­ge­nom­men. Wenn ein Nut­zer eine Such­an­fra­ge stellt, durch­sucht die Such­ma­schi­ne ihren Index und gibt die rele­van­tes­ten Ergeb­nis­se aus.
  4. 4.
    Die Inde­xie­rung wird durch die Rele­vanz der Inhal­te bestimmt. Such­ma­schi­nen wie Goog­le ver­wen­den kom­ple­xe Algo­rith­men, um die Rele­vanz der Inhal­te zu bestim­men. Zu den Fak­to­ren, die die Inde­xie­rung beein­flus­sen, gehö­ren die Qua­li­tät des Inhalts, die Key­words, die inter­ne und exter­ne Ver­lin­kung und die Gesamt­struk­tur der Website.
  5. 5.
    Obwohl die Begrif­fe Craw­ling und Inde­xie­rung oft syn­onym ver­wen­det wer­den, gibt es eini­ge Unter­schie­de zwi­schen den bei­den Pro­zes­sen. Craw­ling bezieht sich auf den Pro­zess, bei dem Such­ma­schi­nen-Bots Ihre Web­site durch­su­chen und ana­ly­sie­ren, wäh­rend Inde­xie­rung den Pro­zess bezeich­net, bei dem die Inhal­te Ihrer Web­site in den Index der Such­ma­schi­ne auf­ge­nom­men werden.
  6. 6.
    Um die Inde­xie­rung Ihrer Web­site zu ver­bes­sern, soll­ten Sie sicher­stel­len, dass Ihre Inhal­te qua­li­ta­tiv hoch­wer­tig und rele­vant sind. Sie soll­ten auch sicher­stel­len, dass Ihre Web­site gut struk­tu­riert ist und dass die inter­nen und exter­nen Ver­lin­kun­gen kor­rekt funk­tio­nie­ren. Ver­wen­den Sie rele­van­te Key­words und sor­gen Sie dafür, dass Ihre Inhal­te auf den Bedarf und die Absich­ten der Nut­zer abge­stimmt sind.

Craw­ling und Inde­xie­rung sind ent­schei­den­de Pro­zes­se für die Such­ma­schi­nen­op­ti­mie­rung. Durch die Opti­mie­rung Ihrer Inhal­te, Struk­tur und Ver­lin­kung kön­nen Sie sicher­stel­len, dass Ihre Web­site gecrawlt wird.

Bedeu­tung von Craw­ling für SEO

Craw­ling ist ein kri­ti­scher Bestand­teil der SEO, da es Such­ma­schi­nen ermög­licht, Ihre Web­site zu inde­xie­ren und zu ana­ly­sie­ren. Wenn Ihre Web­site nicht gecrawlt wird, kön­nen Such­ma­schi­nen Ihre Inhal­te nicht fin­den oder ana­ly­sie­ren, was dazu führt, dass Ihre Web­site in den Such­ergeb­nis­sen nicht erscheint.

Es gibt jedoch eini­ge Din­ge zu beach­ten, wenn es um das Craw­ling geht. Wenn zum Bei­spiel eine Sei­te nicht von der Seed-Lis­te aus erreich­bar ist oder kei­ne Ver­lin­kung von ande­ren Sei­ten erhält, kann sie von Such­ma­schi­nen nicht erfasst wer­den. Ähn­lich kön­nen auch Sei­ten, die durch Anmel­de­infor­ma­tio­nen geschützt sind, nicht gecrawlt werden.

Tools und Res­sour­cen für das Crawling

Um das Craw­ling auf einer Web­site zu opti­mie­ren und sicher­zu­stel­len, dass es kor­rekt aus­ge­führt wird, gibt es eine Rei­he von Tools und Res­sour­cen, auf die Sie zurück­grei­fen kön­nen. Hier sind eini­ge der wichtigsten:

  • Goog­le Search Con­so­le: Die Goog­le Search Con­so­le ist ein kos­ten­lo­ses Tool von Goog­le, das Web­site-Betrei­bern dabei hilft, die Per­for­mance ihrer Web­site in den Such­ergeb­nis­sen zu über­wa­chen und zu ver­bes­sern. Eine wich­ti­ge Funk­ti­on ist dabei die Mög­lich­keit, Craw­ling-Feh­ler auf einer Web­site zu iden­ti­fi­zie­ren und zu beheben.
  • Screa­ming Frog: Screa­ming Frog ist ein Tool, das spe­zi­ell für das Craw­ling von Web­sites ent­wi­ckelt wur­de. Es kann ver­wen­det wer­den, um eine Viel­zahl von Infor­ma­tio­nen über eineWebsite zu sam­meln, wie z.B. URLs, Title-Tags, Meta-Descrip­ti­ons und mehr.
  • Xenu Link Sleuth: Xenu Link Sleuth ist ein wei­te­res kos­ten­lo­ses Tool, das ver­wen­det wer­den kann, um Craw­ling-Feh­ler und gebro­che­ne Links auf einer Web­site zu identifizieren.
  • Robots.txt-Generator: Ein Robots.txt-Generator ist ein Tool, das ver­wen­det wird, um die Robots.txt-Datei einer Web­site zu erstel­len. Die Robots.txt-Datei gibt Such­ma­schi­nen Anwei­sun­gen dar­über, wel­che Sei­ten sie craw­len dür­fen und wel­che nicht.
  • XML-Site­map-Gene­ra­tor: Ein XML-Site­map-Gene­ra­tor erstellt auto­ma­tisch eine Site­map-Datei für eine Web­site. Die­se Site­map-Datei gibt Such­ma­schi­nen einen Über­blick über die Struk­tur einer Web­site und kann dazu bei­tra­gen, dass Sei­ten schnel­ler und effek­ti­ver gecrawlt werden.
  • SEO-Blogs und Foren: Es gibt vie­le SEO-Blogs und Foren, auf denen Sie sich über das Craw­ling und ande­re SEO-The­men infor­mie­ren kön­nen. Eini­ge der bekann­tes­ten sind Moz, Search Engi­ne Land und Search Engi­ne Journal.

Wei­ter­füh­ren­de Res­sour­cen und Quellen:

  1. 1.
    Goog­le Web­mas­ter-Zen­tra­le: Craw­ling und Inde­xie­rung — https://developers.google.com/search/docs/basics/crawling-and-indexing)
  2. 2.
    SEO Gui­de für Anfän­ger: https://koschklinkperformance.de/seo-guide/
  3. 3.

Ein­satz von künst­li­cher Intelligenz

Die­ser Bei­trag wur­de mit­hil­fe künst­li­cher Intel­li­genz erstellt und von unse­rern Fach­ex­per­ten sorg­fäl­tig über­prüft, um sicher­zu­stel­len, dass die Infor­ma­tio­nen kor­rekt, ver­ständ­lich und nütz­lich sind.