Skip to main content

Overzicht

Voordat je in specifieke secties van een website duikt, is het vaak nuttig om een volledig beeld van de structuur te krijgen. In deze gids laten we je zien hoe je alle URL’s van Stripe’s website kunt extraheren, wat je zal helpen om:
  • De algehele site-architectuur te begrijpen
  • Inhoudssecties te ontdekken waarvan je je misschien niet bewust was
  • LLM’s te gebruiken om te beslissen welke URL’s verder gescraped moeten worden

Alle Stripe URL’s Extraheren

Om alle URL’s van Stripe’s website te extraheren, gebruik je het maps endpoint met Stripe’s domein. Dit zal een uitgebreide lijst van alle vindbare URL’s op hun site retourneren.

Voorbeeldreactie

Analyseren van Stripe’s Website Structuur

Na het extraheren van alle URL’s kun je de structuur analyseren om patronen te identificeren. Dit is bijzonder nuttig om te begrijpen hoe Stripe hun inhoud organiseert. Je zou bijvoorbeeld deze URL-patronen kunnen opmerken:
  • /blog/** - Blogposts en artikelen
  • /docs/** - Documentatiepagina’s
  • /payments/** - Informatie over betalingsproducten
  • /billing/** - Informatie over factureringsproducten
In sommige gevallen wil je alleen URL’s verkrijgen in een specifieke sectie van de website. Bijvoorbeeld, alle blogposts. Je kunt onze ingebouwde filter gebruiken in de volgende gids.