こんな課題から、検討を始める。
- 403エラーが出るたびに、プロキシ・ブラウザー設定を調整している。
- Playwrightの依存更新と再試行で、機能開発の時間が削られる。
- データ件数より、保守工数の方が大きくなっている。
自前構築との比較:残る仕事も把握する。
| 観点 | 自前 Playwright / プロキシ | ScrapingBee |
|---|---|---|
| ブラウザー・IP保守 | 依存更新・プロキシ選定を自社で管理 | API事業者へ委ねるが、成功は保証されない |
| 費用 | 工数 + サーバー + プロキシ | プラン + オプション別クレジット |
| 柔軟性 | ブラウザー操作を自由に設計 | 公開APIパラメーター・シナリオの範囲 |
| 残る責任 | 権限・利用規約・データ処理 | 同じく権限・利用規約・データ処理 |
ILLUSTRATIVE COST MODEL
同じ前提で、年間の支出を比べる。
自前:月10時間 × 時給5,000円 + プロキシ5,000円。導入後:$19 × 仮定150円 + 確認1時間5,000円。差額は年565,800円。保守ゼロを保証する数値ではありません。
料金とクレジットを、処理別に見積る。
| プラン | USD/月 | クレジット/月 | 同時リクエスト |
|---|---|---|---|
| Hobby | $19 | 75,000 | 25 |
| Freelance | $49 | 250,000 | 50 |
| Startup | $99 | 1,000,000 | 100 |
| 処理 | 成功時の基本消費 | 見積り上の注意 |
|---|---|---|
| 通常 / render_js=false | 1 | デフォルトはJS描画有効なので明示する |
| JS描画 / render_js=true | 5 | HTML取得のみなら無効化する |
| Premium / JSなし | 10 | 通常より消費が多い |
| Premium + JS | 25 | 月間件数を先に算出する |
| AI抽出 | 基本消費 + 5 | ai_query / ai_extract_rulesの追加消費 |
Hobbyの75,000クレジットは、JS描画5クレジットなら理論上15,000成功リクエスト分です。Premium + JSなら3,000成功リクエスト分。失敗時の非課金と、HTTP成功でも期待するデータがない場合を区別してください。未使用クレジットは月をまたいで繰り越されません。
Python実装:キーは環境変数で管理する。
事前に pip install requests を実行し、SCRAPINGBEE_API_KEYを安全な環境変数として設定してください。APIキーをブラウザー、Gitリポジトリ、アクセス解析へ渡さないでください。
1. 基本HTML取得
import os
import requests
response = requests.get("https://app.scrapingbee.com/api/v1/", params={"api_key": os.environ["SCRAPINGBEE_API_KEY"], "url": "https://example.com/", "render_js": "false"}, timeout=60)
response.raise_for_status()
print(response.text)2. JavaScript描画
指示文のjs_renderではなく、公式の正しいキーはrender_jsです。描画不要なページはfalseにして消費を抑えます。
import os
import requests
response = requests.get("https://app.scrapingbee.com/api/v1/", params={
"api_key": os.environ["SCRAPINGBEE_API_KEY"],
"url": "https://example.com/",
"render_js": "true",
"wait": "1000",
}, timeout=60)
response.raise_for_status()
print(response.text)3. AIによるJSON抽出
ai_queryは取得意図を指定し、ai_extract_rulesで型を定義します。AI抽出結果はJSONとして解析し、必要なキー・型・値を検証してください。
import os
import json
import requests
response = requests.get("https://app.scrapingbee.com/api/v1/", params={
"api_key": os.environ["SCRAPINGBEE_API_KEY"],
"url": "https://example.com/",
"render_js": "false",
"ai_query": "Return the page title as a JSON object with key title",
"ai_extract_rules": json.dumps({
"title": {"description": "The page title", "type": "string"}
}),
}, timeout=60)
response.raise_for_status()
data = response.json()
print(json.dumps(data, ensure_ascii=False))コードは公式API仕様に基づく掲載用サンプルです。実APIキーを用いた接続・課金・対象サイトごとの動作検証は未実施です。
Make / n8nへの組み込み。
HTTPノードで小さなワークフローを作る
HTTP GET先はapp.scrapingbee.com/api/v1/。api_key、url、render_jsを指定します。秘密キーは認証・Credentials機構に保存し、ログをマスクしてください。
再試行にはバックオフと上限を設けます。同時実行数、クレジット残量、取得内容の変化を監視し、利用規約とrobotsの条件に合う頻度で運用してください。
推奨する企業 / 推奨しないケース
推奨する企業
- 取得権限のある公開ページをPythonで定期取得するチーム
- 月次クレジットを見積り、タイムアウト・再試行を管理できる企業
- Make・n8nのHTTPモジュールで小さく検証したい組織
推奨しないケース
- ログイン認証やアクセス制御の突破を目的とする利用
- ゼロ失敗・すべてのサイトでのブロック回避を保証してほしいケース
- 毎月大量のJS・Premiumリクエストを最安プランに収めたい企業
導入前によくある質問
1,000無料クレジットは何ページ分ですか?
通常HTML取得をrender_js=falseで行う場合は原則1リクエスト1クレジットです。JS描画、Premium、AI抽出等で消費が増えます。
失敗したリクエストは課金されますか?
公式HTML APIでは成功リクエストへの課金が案内されています。ただしHTTP成功でも期待する情報が得られない場合があるため、レスポンス内容も検証してください。
Cloudflareのブロックを必ず回避できますか?
成功は保証されません。権限のある公開ページに限り利用し、利用規約・robots・アクセス制御を尊重してください。認証やアクセス制御の不正な突破には使いません。
js_render=Trueを指定すればよいですか?
正しい公式パラメーター名はrender_jsです。Python SDKではparams={"render_js": True}、HTTP APIではrender_js=trueを使用します。
AI抽出を使うと何クレジット増えますか?
公式ではai_queryとai_extract_rulesに通常のAPI消費に加えて5クレジットの追加消費が記載されています。JSONの型・値は別途検証してください。
確認に使った公式資料
料金・仕様確認:2026年11月16日。記載は公開資料の確認に基づき、有料環境での実機検証・導入効果測定は未実施です。契約時の料金・税・換算レート・機能条件は公式表示を優先してください。
関連する製品・実装ガイド
START SMALL. VERIFY FIRST.
いきなり契約せず、
自社のデータで確かめる。
料金と必要な上限を確認し、小さな範囲から比較してください。
クレジットカード登録不要・1,000 APIクレジット無料
紹介URLは設定用プレースホルダーです。