> ## Documentation Index > Fetch the complete documentation index at: https://docs.olostep.com/llms.txt > Use this file to discover all available pages before exploring further. # Olostep + LangChain 統合 > LangChainを使用して、ウェブスクレイピングと検索機能を持つインテリジェントなAIエージェントを構築 Olostep LangChain統合は、あらゆるウェブサイトからデータを検索、スクレイピング、分析、構造化できるAIエージェントを構築するための包括的なツールを提供します。LangChainおよびLangGraphアプリケーションに最適です。 ## 特徴この統合は、Olostep APIのすべての5つの機能にアクセスできます：任意の単一URLから複数の形式（Markdown、HTML、JSON、テキスト）でコンテンツを抽出最大10,000のURLを並行して処理。バッチジョブは5-8分で完了自然言語クエリと構造化出力を備えたAI駆動のウェブ検索サイト構造分析のためにウェブサイトからすべてのURLを抽出リンクをたどってウェブサイト全体を自動的に発見しスクレイプ ## インストール ```bash pip theme={null} pip install langchain-olostep ``` ```bash poetry theme={null} poetry add langchain-olostep ``` ## セットアップ Olostep APIキーを環境変数として設定します： ```bash theme={null} export OLOSTEP_API_KEY="your_olostep_api_key_here" ``` APIキーは[Olostep Dashboard](https://olostep.com/dashboard)から取得してください。 ## 利用可能なツール ### scrape\_website 単一のURLからコンテンツを抽出します。複数の形式とJavaScriptレンダリングをサポート。スクレイプするウェブサイトのURL（[http://またはhttps://を含む必要があります）](http://またはhttps://を含む必要があります）) 出力形式：`markdown`、`html`、`json`、または`text` ロケーション固有のコンテンツのための国コード（例："US"、"GB"、"CA"） JavaScriptレンダリングの待機時間（ミリ秒単位、0-10000）特殊な抽出のためのオプションのパーサーID（例："@olostep/amazon-product"） ```python Basic Scraping theme={null} from langchain_olostep import scrape_website import asyncio # ウェブサイトをスクレイプ content = asyncio.run(scrape_website.ainvoke({ "url": "https://example.com", "format": "markdown" })) print(content) ``` ```python With JavaScript theme={null} # 動的コンテンツを待機 content = asyncio.run(scrape_website.ainvoke({ "url": "https://example.com", "format": "markdown", "wait_before_scraping": 2000 })) ``` ```python With Parser theme={null} # 特殊なパーサーを使用 content = asyncio.run(scrape_website.ainvoke({ "url": "https://www.amazon.com/dp/PRODUCT_ID", "parser": "@olostep/amazon-product", "format": "json" })) ``` ### scrape\_batch 複数のURLを並行して処理（最大10,000件まで一度に）。スクレイプするURLのリストすべてのURLの出力形式：`markdown`、`html`、`json`、または`text` ロケーション固有のコンテンツのための国コード JavaScriptレンダリングの待機時間特殊な抽出のためのオプションのパーサーID ```python Batch Scraping theme={null} from langchain_olostep import scrape_batch import asyncio # 複数のURLをスクレイプ result = asyncio.run(scrape_batch.ainvoke({ "urls": [ "https://example1.com", "https://example2.com", "https://example3.com" ], "format": "markdown" })) print(result) # 戻り値: {"batch_id": "batch_xxx", "status": "in_progress", ...} ``` ### answer\_question ウェブを検索し、ソース付きのAI駆動の回答を取得。データ強化や調査に最適。検索する質問またはタスク望ましい出力形式を記述するオプションのJSONスキーマ辞書/文字列 ```python Simple Question theme={null} from langchain_olostep import answer_question import asyncio # 簡単な質問をする result = asyncio.run(answer_question.ainvoke({ "task": "What is the capital of France?" })) print(result) # 戻り値: {"answer": {"result": "Paris"}, "sources": [...]} ``` ```python Structured Output theme={null} # JSONスキーマで構造化データを取得 result = asyncio.run(answer_question.ainvoke({ "task": "What is the latest book by J.K. Rowling?", "json_schema": { "book_title": "", "author": "", "release_date": "" } })) print(result) # ソース付きの構造化された回答を返す ``` ```python Data Enrichment theme={null} # 会社データを強化 result = asyncio.run(answer_question.ainvoke({ "task": "Find the CEO and headquarters of Stripe", "json_schema": { "ceo_name": "", "headquarters": "", "founded_year": "" } })) # 不確実性を"NOT_FOUND"値で処理 ``` ### extract\_urls サイト構造分析のためにウェブサイトからすべてのURLを抽出。 URLを抽出するウェブサイトのURL URLをフィルタリングするためのオプションの検索クエリ返されるURLの数を制限含めるグロブパターン（例：\["/blog/\*\*"]）除外するグロブパターン（例：\["/admin/\*\*"]） ```python Extract All URLs theme={null} from langchain_olostep import extract_urls import asyncio # ウェブサイトからすべてのURLを取得 result = asyncio.run(extract_urls.ainvoke({ "url": "https://example.com", "top_n": 100 })) print(result) # 戻り値: {"urls": [...], "total_urls": 100, ...} ``` ```python Filter URLs theme={null} # ブログURLのみを取得 result = asyncio.run(extract_urls.ainvoke({ "url": "https://example.com", "include_urls": ["/blog/**"], "exclude_urls": ["/admin/**", "/private/**"], "top_n": 50 })) ``` ### crawl\_website リンクをたどってウェブサイト全体を自動的に発見しスクレイプ。クロールの開始URL クロールする最大ページ数含めるグロブパターン（例：\["/\*\*"]で全て）除外するグロブパターン（例：\["/admin/\*\*"]） start\_urlからクロールする最大深度外部URLを含める ```python Crawl Website theme={null} from langchain_olostep import crawl_website import asyncio # ドキュメントサイト全体をクロール result = asyncio.run(crawl_website.ainvoke({ "start_url": "https://docs.example.com", "max_pages": 100 })) print(result) # 戻り値: {"crawl_id": "crawl_xxx", "status": "in_progress", ...} ``` ```python With Filters theme={null} # URLフィルタを使用してクロール result = asyncio.run(crawl_website.ainvoke({ "start_url": "https://example.com", "max_pages": 200, "include_urls": ["/**"], "exclude_urls": ["/admin/**", "/private/**"], "max_depth": 3 })) ``` ## LangChainエージェント統合ウェブを検索しスクレイプできるインテリジェントなエージェントを構築： ```python Basic Agent theme={null} from langchain.agents import initialize_agent, AgentType from langchain_openai import ChatOpenAI from langchain_olostep import ( scrape_website, answer_question, extract_urls ) # Olostepツールでエージェントを作成 tools = [scrape_website, answer_question, extract_urls] llm = ChatOpenAI(model="gpt-4o-mini") agent = initialize_agent( tools=tools, llm=llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True ) # エージェントを使用 result = agent.run(""" Research the company at https://company.com: 1. Scrape their about page 2. Search for their latest funding round 3. Extract all their product pages """) print(result) ``` ## LangGraph統合 LangGraphで複雑なマルチステップワークフローを構築： ```python Research Agent theme={null} from langgraph.graph import StateGraph, END from langchain_olostep import ( scrape_website, scrape_batch, answer_question, extract_urls ) from langchain_openai import ChatOpenAI import json def create_research_agent(): workflow = StateGraph(dict) def discover_pages(state): # ターゲットサイトからすべてのURLを抽出 result = extract_urls.invoke({ "url": state["target_url"], "include_urls": ["/product/**"], "top_n": 50 }) state["urls"] = json.loads(result)["urls"] return state def scrape_pages(state): # 発見されたページをバッチでスクレイプ result = scrape_batch.invoke({ "urls": state["urls"], "format": "markdown" }) state["batch_id"] = json.loads(result)["batch_id"] return state def answer_questions(state): # データに関する質問にAIを使用して回答 result = answer_question.invoke({ "task": state["research_question"], "json_schema": state["desired_format"] }) state["answer"] = json.loads(result)["answer"] return state workflow.add_node("discover", discover_pages) workflow.add_node("scrape", scrape_pages) workflow.add_node("analyze", answer_questions) workflow.set_entry_point("discover") workflow.add_edge("discover", "scrape") workflow.add_edge("scrape", "analyze") workflow.add_edge("analyze", END) return workflow.compile() # エージェントを使用 agent = create_research_agent() result = agent.invoke({ "target_url": "https://store.com", "research_question": "What are the top 5 most expensive products?", "desired_format": { "products": [{"name": "", "price": "", "url": ""}] } }) ``` ## 高度なユースケース ### データ強化スプレッドシートデータをウェブ情報で強化： ```python theme={null} from langchain_olostep import answer_question companies = ["Stripe", "Shopify", "Square"] for company in companies: result = answer_question.invoke({ "task": f"Find information about {company}", "json_schema": { "ceo": "", "headquarters": "", "employee_count": "", "latest_funding": "" } }) print(f"{company}: {result}") ``` ### Eコマース製品スクレイピング特殊なパーサーで製品データをスクレイプ： ```python theme={null} from langchain_olostep import scrape_website # Amazon製品をスクレイプ result = scrape_website.invoke({ "url": "https://www.amazon.com/dp/PRODUCT_ID", "parser": "@olostep/amazon-product", "format": "json" }) # 構造化された製品データを返す：価格、タイトル、評価など ``` ### SEO監査 SEOのためにウェブサイト全体を分析： ```python theme={null} from langchain_olostep import extract_urls, scrape_batch import json # 1. すべてのページを発見 urls_result = extract_urls.invoke({ "url": "https://yoursite.com", "top_n": 1000 }) # 2. すべてのページをスクレイプ urls = json.loads(urls_result)["urls"] batch_result = scrape_batch.invoke({ "urls": urls, "format": "html" }) ``` ### ドキュメントスクレイピングドキュメントをクロールして抽出： ```python theme={null} from langchain_olostep import crawl_website # ドキュメントサイト全体をクロール result = crawl_website.invoke({ "start_url": "https://docs.example.com", "max_pages": 500, "include_urls": ["/docs/**"], "exclude_urls": ["/api/**", "/v1/**"] }) ``` ## 専門パーサー Olostepは人気のあるウェブサイト向けの事前構築されたパーサーを提供： * `@olostep/google-search` - Google検索結果 `parser`パラメータで使用： ```python theme={null} scrape_website.invoke({ "url": "https://www.google.com/search?q=alexander+the+great&gl=us&hl=en", "parser": "@olostep/google-search" }) ``` ## エラーハンドリング ```python theme={null} from langchain_core.exceptions import LangChainException try: result = await scrape_website.ainvoke({ "url": "https://example.com" }) except LangChainException as e: print(f"スクレイピング失敗: {e}") ``` ## ベストプラクティス 3-5以上のURLをスクレイプする場合は、複数の`scrape_website`呼び出しの代わりに`scrape_batch`を使用してください。バッチ処理ははるかに高速でコスト効率が高いです。 JavaScriptが多用されているサイトの場合、`wait_before_scraping`パラメータを使用してください（2000-5000msが一般的）。これにより、動的コンテンツが完全に読み込まれます。人気のあるウェブサイト（Amazon、LinkedIn、Google）については、事前構築されたパーサーを使用して自動的に構造化データを取得してください。 `extract_urls`または`crawl_website`を使用する際は、グロブパターンを使用して関連するページに焦点を当て、不要な処理を避けてください。レート制限エラーに対して指数バックオフを実装してください。APIは内部でほとんどのレート制限を自動的に処理します。 ## サポート * **PyPIパッケージ**: [langchain-olostep](https://pypi.org/project/langchain-olostep/) * **ドキュメント**: [docs.olostep.com](https://docs.olostep.com) * **問題**: [GitHub Issues](https://github.com/olostep/langchain-olostep/issues) * **メール**: [info@olostep.com](mailto:info@olostep.com) ## 関連リソース Scrapesエンドポイントについて学ぶ Batchesエンドポイントについて学ぶ Answersエンドポイントについて学ぶ Mapsエンドポイントについて学ぶ Crawlsエンドポイントについて学ぶ Python SDKを探索 LangChainプラットフォーム