SEO

Crawl Budget: Hvad det er og hvornår det er relevant for SEO

Crawl budget er et begreb de fleste SEO-folk har hørt om. Men de færreste ved præcis hvad det betyder. Eller hvornår det reelt er relevant.

Kort sagt: Crawl budget er det antal sider Googlebot crawler på dit site inden for en given periode. Hvis Google bruger sit budget på de forkerte sider, risikerer du at vigtige sider aldrig bliver opdaget eller opdateret.

Crawl Rate vs. Crawl Demand

Crawl budget består af to dele.

Crawl rate limit er det maksimale antal samtidige requests Googlebot sender til din server uden at overbelaste den. Google justerer automatisk baseret på din servers svartid. Langsom server = færre crawls.

Crawl demand er Googles ønske om at crawle dit indhold. Populære sider med mange backlinks og hyppige opdateringer får højere crawl demand. Sider ingen linker til, får lavere.

Crawl budget = crawl rate limit x crawl demand. Google crawler kun det den har kapacitet til OG interesse i.

Googles AI-first indexering

Google evaluerer i stigende grad content-kvalitet FØR indeksering. Det betyder at lavkvalitetssider automatisk får reduceret crawl demand. Google bruger simpelthen ikke ressourcer på sider den vurderer som tynde eller duplikerede. Det gør content-kvalitet til en direkte faktor i dit crawl budget. Sider med original, dybdegående information bliver crawlet oftere.

Hvornår er crawl budget relevant?

Her er den ærlige version: For de fleste sites er crawl budget irrelevant.

Har du under 10.000 sider, skal du sandsynligvis ikke bekymre dig. Google crawler små sites uden problemer.

Googles egen dokumentation nuancerer tærskelværdierne. Crawl budget er primært relevant for sites med over 1 million sider der ændres ugentligt, eller sites med mere end 10.000 sider der ændres dagligt. For sites under disse grænser er det sjældent en flaskehals.

Crawl budget bliver relevant når:

  • Dit site har 50.000+ sider (store webshops, markedspladser, nyhedssider)
  • Du har mange parameteriserede URLs der skaber duplikeret indhold
  • Din server er langsom og begrænser Googlebots crawl rate
  • Du har store mængder lavkvalitetsindhold der æder budget fra vigtige sider
  • Nye sider konsekvent ikke bliver indexeret trods korrekt opsætning

Vil du vide om crawl budget er et problem for dig? Start med en log file analyse for at se præcis hvor Googlebot bruger sin tid.

Typiske crawl budget-problemer

1. Facetteret navigation og filtre

Webshops er de værste syndere. Hver kombination af farve, størrelse og pris skaber en unik URL. En kategori med 20 produkter og 5 filtre kan generere tusindvis af crawlbare URLs. Googlebot drukner i dem.

2. Uendelige URL-parametre

Session IDs, tracking-parametre og sorteringsparametre. Alle skaber “nye” sider med samme indhold. Google spilder budget på at crawle dem.

3. Redirect-kæder

Redirect A peger på B, som peger på C, som peger på D. Hver redirect bruger et crawl. Googlebot kan stoppe med at følge kæden efter et par hops.

4. Soft 404-sider

Sider der returnerer HTTP 200 men viser en fejlbesked. Google crawler dem igen og igen fordi de teknisk ser “fine” ud.

5. JavaScript-rendering

JS-tunge sider kræver ekstra crawl-ressourcer. Google skal først downloade HTML, derefter eksekvere JavaScript for at se det fulde indhold. Det er reelt to crawls per side. Hvis dit site renderer alt indhold via JavaScript (React, Vue, Angular), bruger du potentielt dobbelt så meget crawl budget. Server-side rendering (SSR) eller pre-rendering løser problemet.

Sådan optimerer du dit crawl budget

  1. Bloker uønskede URLs i robots.txt. Filtre, sortering og interne søgeresultater skal ikke crawles.
  2. Brug canonical tags korrekt. Peg varianter mod den primære version.
  3. Fjern eller noindex lavkvalitetssider. Tyndt indhold, duplikater og forældede sider. Overvej content pruning som en del af processen.
  4. Optimer serversvartid. Hold TTFB under 200ms. Caching, CDN og serveropgraderinger hjælper.
  5. Hold dit sitemap opdateret. Inkluder kun indexerbare sider. Fjern 404s, redirects og noindex-sider.
  6. Fix redirect-kæder. Alle redirects skal pege direkte mod den endelige destination.
  7. Intern linking. Sørg for at vigtige sider er maksimalt 3 klik fra forsiden.
  8. Flyt statiske filer til CDN/subdomain. Crawl budget styres pr. hostname. Billeder, CSS og JS-filer på et separat subdomain (f.eks. static.ditsite.dk) eller CDN frigør crawl budget til dine vigtige sider.

Tjek dit crawl budget i praksis

Google Search Console viser crawl-statistik under Indstillinger > Crawlstatistik. Her ser du antal requests per dag, gennemsnitlig svartid og andel af statuskoder.

Men det rigtige indblik kommer fra log file analyse. Her ser du præcis hvilke sider Googlebot besøger, hvor ofte, og hvilke den ignorerer. Det er data du ikke får andre steder.

Det vigtigste signal i GSC for crawl budget-problemer er statusen “Discovered – currently not indexed” under Pages-rapporten. Den betyder at Google kender URL’en men ikke har prioriteret at crawle den. Hvis du ser et stigende antal sider med den status, har du et crawl budget-problem.

Har du mistanke om at sider ikke bliver crawlet, så tjek også din indexeringsstatus i Search Console.

Opsummering

  • Crawl budget er kun relevant for store sites (50.000+ sider)
  • Det styres af crawl rate (serverkapacitet) og crawl demand (Googles interesse)
  • De typiske problemer er facetteret navigation, parametre og redirect-kæder
  • Optimer med robots.txt, canonicals, hurtig server og rent sitemap
  • Brug log file analyse til at se hvad Googlebot faktisk gør

Crawl budget hænger tæt sammen med teknisk SEO generelt. En grundig SEO-audit afdækker om det er et reelt problem for dit site, eller om du skal bruge din tid på noget andet.

Og husk: linkbuilding øger crawl demand. Jo flere kvalitetslinks der peger på dine sider, jo oftere vil Google crawle dem.