Olostep NodeJS SDK - Olostep Docs

NPM-Paket: olostep

Erste Schritte

npm install olostep

import Olostep from 'olostep';

const client = new Olostep({apiKey: process.env.OLOSTEP_API_KEY});

// Minimalbeispiel für Scraping
const result = await client.scrapes.create('https://example.com');
console.log(result.id, result.html_content);

import Olostep from 'olostep';

const client = new Olostep({api_key: process.env.OLOSTEP_API_KEY});

// Minimalbeispiel für Scraping
const result = await client.scrapes.create('https://example.com');
console.log(result.id, result.html_content);

Das NodeJS SDK akzeptiert sowohl camelCase als auch snake_case für alle Parameter. Verwende snake_case, wenn du für KI-Agenten entwickelst, da es den nativen Feldnamen der API entspricht.

Verwendung

Scraping

Scrape eine einzelne URL mit verschiedenen Optionen:

import Olostep, {Format} from 'olostep';

const client = new Olostep({apiKey: 'your_api_key'});

// Einfaches Scraping
const scrape = await client.scrapes.create('https://example.com');

// Mit mehreren Formaten
const scrape = await client.scrapes.create({
  url: 'https://example.com',
  formats: [Format.HTML, Format.MARKDOWN, Format.TEXT],
  waitBeforeScraping: 1000,
  removeImages: true
});

// Zugriff auf den Inhalt
console.log(scrape.html_content);
console.log(scrape.markdown_content);

// Scrape nach ID abrufen
const fetched = await client.scrapes.get(scrape.id);

import Olostep, {Format} from 'olostep';

const client = new Olostep({api_key: 'your_api_key'});

// Einfaches Scraping
const scrape = await client.scrapes.create('https://example.com');

// Mit mehreren Formaten
const scrape = await client.scrapes.create({
  url: 'https://example.com',
  formats: [Format.HTML, Format.MARKDOWN, Format.TEXT],
  wait_before_scraping: 1000,
  remove_images: true
});

// Zugriff auf den Inhalt
console.log(scrape.html_content);
console.log(scrape.markdown_content);

// Scrape nach ID abrufen
const fetched = await client.scrapes.get(scrape.id);

Batch-Verarbeitung

Verarbeite mehrere URLs in einem einzigen Batch:

// Verwenden von URL-Strings (benutzerdefinierte IDs werden automatisch generiert)
const batch = await client.batches.create([
  'https://example.com',
  'https://example.org',
  'https://example.net'
]);

// Oder mit expliziten benutzerdefinierten IDs
const batch = await client.batches.create([
  {url: 'https://example.com', customId: 'site-1'},
  {url: 'https://example.org', customId: 'site-2'}
]);

console.log(`Batch ${batch.id} erstellt mit ${batch.total_urls} URLs`);

// Auf Abschluss warten
await batch.waitTillDone({
  checkEveryNSecs: 5,
  timeoutSeconds: 120
});

// Batch-Informationen abrufen
const info = await batch.info();
console.log(info);

// Einzelne Ergebnisse streamen
for await (const item of batch.items()) {
  console.log(item.custom_id);
}

// Verwenden von URL-Strings (benutzerdefinierte IDs werden automatisch generiert)
const batch = await client.batches.create([
  'https://example.com',
  'https://example.org',
  'https://example.net'
]);

// Oder mit expliziten benutzerdefinierten IDs
const batch = await client.batches.create([
  {url: 'https://example.com', custom_id: 'site-1'},
  {url: 'https://example.org', custom_id: 'site-2'}
]);

console.log(`Batch ${batch.id} erstellt mit ${batch.total_urls} URLs`);

// Auf Abschluss warten
await batch.waitTillDone({
  check_every_n_secs: 5,
  timeout_seconds: 120
});

// Batch-Informationen abrufen
const info = await batch.info();
console.log(info);

// Einzelne Ergebnisse streamen
for await (const item of batch.items()) {
  console.log(item.custom_id);
}

Crawling

Durchsuche eine gesamte Website:

const crawl = await client.crawls.create({
  url: 'https://example.com',
  maxPages: 100,
  maxDepth: 3,
  includeUrls: ['*/blog/*'],
  excludeUrls: ['*/admin/*']
});

console.log(`Crawl ${crawl.id} gestartet`);

// Auf Abschluss warten
await crawl.waitTillDone({
  checkEveryNSecs: 10,
  timeoutSeconds: 300
});

// Crawl-Informationen abrufen
const info = await crawl.info();
console.log(`Durchsuchte ${info.pages_crawled} Seiten`);

// Durchsuchte Seiten streamen
for await (const page of crawl.pages()) {
  console.log(page.url, page.status_code);
}

const crawl = await client.crawls.create({
  url: 'https://example.com',
  max_pages: 100,
  max_depth: 3,
  include_urls: ['*/blog/*'],
  exclude_urls: ['*/admin/*']
});

console.log(`Crawl ${crawl.id} gestartet`);

// Auf Abschluss warten
await crawl.waitTillDone({
  check_every_n_secs: 10,
  timeout_seconds: 300
});

// Crawl-Informationen abrufen
const info = await crawl.info();
console.log(`Durchsuchte ${info.pages_crawled} Seiten`);

// Durchsuchte Seiten streamen
for await (const page of crawl.pages()) {
  console.log(page.url, page.status_code);
}

Site Mapping

Erzeuge eine Sitemap von URLs einer Website:

const map = await client.maps.create({
  url: 'https://example.com',
  topN: 100,
  includeSubdomain: true,
  searchQuery: 'blog posts'
});

console.log(`Map ${map.id} erstellt`);

// URLs streamen
for await (const url of map.urls()) {
  console.log(url);
}

// Map-Informationen abrufen
const info = await map.info();

const map = await client.maps.create({
  url: 'https://example.com',
  top_n: 100,
  include_subdomain: true,
  search_query: 'blog posts'
});

console.log(`Map ${map.id} erstellt`);

// URLs streamen
for await (const url of map.urls()) {
  console.log(url);
}

// Map-Informationen abrufen
const info = await map.info();

KI-gestützte Antworten

Erhalte Antworten von Webseiten mithilfe von KI:

import Olostep from 'olostep';

const client = new Olostep({apiKey: 'your_api_key'});

// Einfache Aufgabe: Einen String direkt übergeben
const answer = await client.answers.create(
  'What is the main topic of https://example.com?'
);
console.log(answer.answer);
console.log(answer.sources);

// Mit strukturiertem JSON-Ausgabe
const structured = await client.answers.create({
  task: 'Extract all product names and prices from https://example.com',
  jsonFormat: {
    products: [{name: '', price: ''}]
  }
});
console.log(structured.json_content);

// Eine zuvor erstellte Antwort nach ID abrufen
const fetched = await client.answers.get(answer.id);
console.log(fetched.answer);

import Olostep from 'olostep';

const client = new Olostep({api_key: 'your_api_key'});

// Einfache Aufgabe: Einen String direkt übergeben
const answer = await client.answers.create(
  'What is the main topic of https://example.com?'
);
console.log(answer.answer);
console.log(answer.sources);

// Mit strukturiertem JSON-Ausgabe
const structured = await client.answers.create({
  task: 'Extract all product names and prices from https://example.com',
  json_format: {
    products: [{name: '', price: ''}]
  }
});
console.log(structured.json_content);

// Eine zuvor erstellte Antwort nach ID abrufen
const fetched = await client.answers.get(answer.id);
console.log(fetched.answer);

Inhalt abrufen

Zuvor gescrapten Inhalt abrufen:

// Inhalt in spezifischem Format(en) abrufen
const content = await client.retrieve(retrieveId, Format.MARKDOWN);
console.log(content.markdown_content);

// Mehrere Formate
const content = await client.retrieve(retrieveId, [
  Format.HTML,
  Format.MARKDOWN
]);

Erweiterte Optionen

Benutzerdefinierte Aktionen

Führe Browseraktionen vor dem Scraping aus:

const scrape = await client.scrapes.create({
  url: 'https://example.com',
  actions: [
    {type: 'wait', milliseconds: 2000},
    {type: 'click', selector: '#load-more'},
    {type: 'scroll', distance: 1000},
    {type: 'fill_input', selector: '#search', value: 'query'}
  ]
});

Geografische Lage

Scrape aus verschiedenen Ländern mit vordefinierten Ländercodes oder einem beliebigen gültigen Ländercode-String:

import Olostep, {Country} from 'olostep';

const client = new Olostep({apiKey: 'your_api_key'});

// Verwenden von vordefinierten Enum-Werten (US, DE, FR, GB, SG)
const scrape = await client.scrapes.create({
  url: 'https://example.com',
  country: Country.DE  // Deutschland
});

// Oder verwende einen beliebigen gültigen Ländercode als String
const scrape2 = await client.scrapes.create({
  url: 'https://example.com',
  country: 'jp'  // Japan
});

import Olostep, {Country} from 'olostep';

const client = new Olostep({api_key: 'your_api_key'});

// Verwenden von vordefinierten Enum-Werten (US, DE, FR, GB, SG)
const scrape = await client.scrapes.create({
  url: 'https://example.com',
  country: Country.DE  // Deutschland
});

// Oder verwende einen beliebigen gültigen Ländercode als String
const scrape2 = await client.scrapes.create({
  url: 'https://example.com',
  country: 'jp'  // Japan
});

Caching

Standardmäßig holt jede Scrape-Anfrage die Seite frisch (max_age: 0). Übergebe maxAge, um ein kürzliches Ergebnis mit denselben Parametern wiederzuverwenden und die Antwortzeit zu verbessern. Der Wert ist in Sekunden; das Maximum beträgt 7 Tage (604800). Siehe Caching für Details.

const scrape = await client.scrapes.create({
  url: 'https://example.com',
  formats: ['markdown'],
  maxAge: 86400 // Akzeptiere Ergebnisse bis zu 1 Tag alt
});

const scrape = await client.scrapes.create({
  url: 'https://example.com',
  formats: ['markdown'],
  max_age: 86400 // Akzeptiere Ergebnisse bis zu 1 Tag alt
});

Speicherung

Standardmäßig wird ein Scrape-Ergebnis etwa 7 Tage lang aufbewahrt. Übergebe storage.expires_in als 10d, 30d, 60d, 90d, 180d, 365d oder never, um es länger zu behalten. Siehe Speicherung für Details.

const scrape = await client.scrapes.create({
  url: 'https://example.com',
  formats: ['markdown'],
  storage: { expires_in: '90d' }
});

const scrape = await client.scrapes.create({
  url: 'https://example.com',
  formats: ['markdown'],
  storage: { expires_in: '90d' }
});

LLM-Extraktion

Extrahiere strukturierte Daten mithilfe von LLMs:

const scrape = await client.scrapes.create({
  url: 'https://example.com',
  llmExtract: {
    schema: {
      title: 'string',
      price: 'number',
      description: 'string'
    },
    prompt: 'Extract product information from this page'
  }
});

const scrape = await client.scrapes.create({
  url: 'https://example.com',
  llm_extract: {
    schema: {
      title: 'string',
      price: 'number',
      description: 'string'
    },
    prompt: 'Extract product information from this page'
  }
});

Client-Konfiguration

import Olostep from 'olostep';

const client = new Olostep({
  apiKey: 'your_api_key',
  apiBaseUrl: 'https://api.olostep.com/v1',  // optional
  timeoutMs: 150000,  // 150 Sekunden (optional)
  retry: {
    maxRetries: 3,
    initialDelayMs: 1000
  },
  userAgent: 'MyApp/1.0'  // optional
});

import Olostep from 'olostep';

const client = new Olostep({
  api_key: 'your_api_key',
  api_base_url: 'https://api.olostep.com/v1',  // optional
  timeout_ms: 150000,  // 150 Sekunden (optional)
  retry: {
    max_retries: 3,
    initial_delay_ms: 1000
  },
  user_agent: 'MyApp/1.0'  // optional
});

Funktionshighlights

Asynchroner Client mit voller TypeScript-Unterstützung.
Typensichere Eingaben mit TypeScript-Enums und -Interfaces (Formate, Länder, Aktionen usw.).
Umfangreiche Ressourcen-Namensräume mit sowohl Kurzaufrufen (client.scrapes.create()) als auch expliziten Methoden (client.scrapes.get()).
Gemeinsame Transportschicht mit Wiederholungen, Zeitüberschreitungen und JSON-Dekodierung.
Umfassende Fehlerhierarchie

​Erste Schritte

​Verwendung

​Scraping

​Batch-Verarbeitung

​Crawling

​Site Mapping

​KI-gestützte Antworten

​Inhalt abrufen

​Erweiterte Optionen

​Benutzerdefinierte Aktionen

​Geografische Lage

​Caching

​Speicherung

​LLM-Extraktion

​Client-Konfiguration

​Funktionshighlights

Erste Schritte

Verwendung

Scraping

Batch-Verarbeitung

Crawling

Site Mapping

KI-gestützte Antworten

Inhalt abrufen

Erweiterte Optionen

Benutzerdefinierte Aktionen

Geografische Lage

Caching

Speicherung

LLM-Extraktion

Client-Konfiguration

Funktionshighlights