Crawler

Om vores crawler

Rigsdata henter offentligt tilgængelige oplysninger fra myndigheder, partier, kommuner og regioner, så de kan søges ét sted. Ser du os i din log, kan du her se, hvem vi er, hvad vi henter, og hvor ofte.

IP-adresse

65.109.247.155

Vores forespørgsler kommer fra denne adresse. Afviser en hjemmeside den (HTTP 403 eller en bot-udfordring), henter vi siden igen gennem Zyte, en betalt hentetjeneste, fra dens adresser, i samme tempo og med vores User-Agent, hvor siden tager imod den.

User-Agent

rigsdata/0.1 (+https://rigsdata.dk)

Enkelte hjemmesider svarer kun på en browserlignende User-Agent. Dér sender vi Mozilla/5.0 (compatible; rigsdata/0.1; +https://rigsdata.dk), som stadig siger, at det er os.

Nogle kommuners firewall afviser enhver User-Agent med ordet "bot". Til dem sender vi Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36 rigsdata/0.1 (+https://rigsdata.dk/indsamling), som også siger, at det er os.

Hvad vi henter

• Sager, afstemninger og dokumenter fra Folketinget.
• Høringer og høringsdokumenter fra hoeringsportalen.dk.
• Nyheder, pressemeddelelser og publikationer fra ministeriernes og partiernes hjemmesider.
• Dagsordener, referater, bilag og nyheder fra kommuner og regioner, og kommunernes høringer.

Kun sider og dokumenter, der er offentligt tilgængelige uden login. Vi bruger feeds, sitemaps og officielle API'er, hvor de findes.

Hvor ofte

Én forespørgsel ad gangen pr. hjemmeside, med mindst et halvt til et helt sekunds mellemrum. Lister og feeds gennemlæses løbende, fra hvert femte minut til nogle gange i døgnet, og et dokument hentes kun igen, når det er ændret. Fejler en side, venter vi længere og længere, før vi prøver igen.

robots.txt

Vi læser robots.txt og retter os efter Crawl-delay. Regler til os skrives under User-agent: rigsdata.

Kontakt

Spørgsmål til vores crawler, eller henter vi for meget fra din hjemmeside? Skriv til kontakt@rigsdata.dk med domænet.