2025年にScrapyとPlaywrightを使ってウェブスクレイピングの課題を解決する方法

ブログ

All

ブログ

All

2025年にScrapyとPlaywrightを使ってウェブスクレイピングの課題を解決する方法

Anh Tuan

Data Science Expert

12-Nov-2024

Scrapy-Playwright とは？

Scrapy-Playwright は、Python 用の高速かつ強力な Web スクレイピングフレームワークである Scrapy と、ブラウザ自動化ライブラリである Playwright を統合するミドルウェアです。この組み合わせにより、Scrapy は Playwright の動的コンテンツのレンダリング、Web ページとの対話、ブラウザコンテキストのシームレスな管理機能を活用することで、JavaScript を多用した Web サイトを処理できます。

なぜ Scrapy-Playwright を使うべきなのか？

Scrapy は静的 Web サイトのスクレイピングに優れていますが、今日の多くの Web サイトはコンテンツを動的にレンダリングするために JavaScript に大きく依存しています。従来の Scrapy スパイダーは、これらのサイトを処理するときに苦労することが多く、重要なデータを見逃したり、複雑なページ構造をナビゲートできなかったりします。Scrapy-Playwright は、Scrapy がヘッドレスブラウザを制御できるようにすることで、このギャップを埋めます。これにより、すべての動的コンテンツが完全に読み込まれ、スクレイピングのためにアクセスできるようになります。

Scrapy-Playwright を使う利点

JavaScript のレンダリング: JavaScript を使用して動的にコンテンツを読み込む Web サイトを簡単にスクレイピングできます。
ヘッドレスブラウジング: 可視ブラウザを使用せずにスクレイピングタスクを実行し、パフォーマンスを最適化できます。
高度な対話: ボタンのクリック、フォームの入力、ページ間のナビゲーションなどの複雑な対話を処理できます。
非同期操作: Playwright の非同期機能を活用して、スクレイピングタスクを高速化できます。

インストール

Scrapy-Playwright を使い始めるには、Scrapy と Playwright の両方をインストールする必要があります。環境をセットアップするには、以下のようにします。

Scrapy をインストールします:
bash Copy
```
pip install scrapy
```
Scrapy-Playwright をインストールします:
bash Copy
```
pip install scrapy-playwright
```
Playwright ブラウザをインストールします:

Playwright をインストールしたら、必要なブラウザバイナリをインストールする必要があります。
bash Copy
```
playwright install
```

はじめに

新しい Scrapy プロジェクトの設定

まず、まだ行っていない場合は、新しい Scrapy プロジェクトを作成します。

bash Copy

scrapy startproject myproject
cd myproject

Playwright の設定

次に、Scrapy プロジェクトの設定で Playwright を有効にする必要があります。settings.py を開き、次の設定を追加します。

python Copy

# settings.py

# Playwright ダウンローダーミドルウェアを有効にする
DOWNLOADER_MIDDLEWARES = {
    'scrapy_playwright.middleware.ScrapyPlaywrightDownloadHandler': 543,
}

# HTTP と HTTPS のダウンロードハンドラーを指定する
DOWNLOAD_HANDLERS = {
    'http': 'scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler',
    'https': 'scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler',
}

# Playwright 設定を有効にする
TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'

# Playwright 設定（オプション）
PLAYWRIGHT_BROWSER_TYPE = 'chromium'  # 'chromium', 'firefox', または 'webkit' のいずれか
PLAYWRIGHT_LAUNCH_OPTIONS = {
    'headless': True,
}

基本的な使い方

スパイダーの作成

セットアップが完了したら、Playwright を使用して JavaScript でレンダリングされた Web サイトをスクレイピングするシンプルなスパイダーを作成しましょう。ここでは、動的にコンテンツを読み込む架空のサイトをスクレイピングする例として示します。

spiders ディレクトリ內に新しいスパイダーファイル dynamic_spider.py を作成します。

python Copy

# spiders/dynamic_spider.py

import scrapy
from scrapy_playwright.page import PageCoroutine

class DynamicSpider(scrapy.Spider):
    name = "dynamic"
    start_urls = ["https://example.com/dynamic"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(
                url,
                meta={
                    "playwright": True,
                    "playwright_page_coroutines": [
                        PageCoroutine("wait_for_selector", "div.content"),
                    ],
                },
            )

    async def parse(self, response):
        # JavaScript がコンテンツをレンダリングした後にデータを抽出する
        for item in response.css("div.content"):
            yield {
                "title": item.css("h2::text").get(),
                "description": item.css("p::text").get(),
            }

        # 必要に応じてページネーションまたは追加の対話を処理する

JavaScript でレンダリングされたコンテンツの処理

上記の例では、

playwright: True: このリクエストに Playwright を使用するように Scrapy に指示します。
playwright_page_coroutines: Playwright で実行するアクションを指定します。ここでは、セレクト div.content が読み込まれるのを待って、動的コンテンツが読み込まれた後に解析されます。
非同期 parse メソッド: 非同期機能を活用して、レスポンスを効果的に処理します。

CapSolver を使用した CAPTCHA の解決

Web スクレイピングの大きな課題の 1 つは、自動化されたアクセスを防ぐために設計された CAPTCHA を処理することです。CapSolver は、Playwright などのブラウザ自動化ツールとの統合を含む、さまざまな種類の CAPTCHA を解決するサービスを提供する堅牢なソリューションです。このセクションでは、CapSolver を Scrapy-Playwright に統合して、CAPTCHA をシームレスに処理する方法について説明します。

CapSolver とは？

CapSolver は、captcha や reCAPTCHA を含むさまざまな種類の CAPTCHA を解決するプロセスを自動化する CAPTCHA 解決サービスです。スクレイピングワークフローに CapSolver を統合することで、CAPTCHA の課題を回避し、手動での介入なしにスクレイピングタスクのフローを維持できます。

CapSolver の Scrapy-Playwright への統合

CapSolver を Scrapy-Playwright に統合するには、以下を行う必要があります。

CapSolver ブラウザ拡張機能を入手する: CapSolver は、ブラウザコンテキスト内で CAPTCHA の解決を自動化するブラウザ拡張機能を提供しています。
CapSolver 拡張機能を読み込むように Playwright を設定する: Playwright ブラウザを起動するときに、CapSolver 拡張機能を読み込んで、CAPTCHA の解決を有効にします。
カスタマイズされた Playwright コンテキストを使用するように Scrapy リクエストを変更する: Scrapy リクエストが、CapSolver 拡張機能が読み込まれた Playwright コンテキストを使用するようにしてください。

Python での実装例

以下は、CapSolver を Scrapy-Playwright に統合するためのステップバイステップガイドです。コード例も含まれています。

1. CapSolver ブラウザ拡張機能を入手する

まず、CapSolver ブラウザ拡張機能をダウンロードし、プロジェクトディレクトリに配置します。拡張機能が CapSolver.Browser.Extension にあるとします。

2. 拡張機能の設定:

CapSolver 拡張機能ディレクトリにある構成ファイル ./assets/config.json を見つけます。
オプション enabledForcaptcha を true に設定し、自動解決のために captchaMode を token に調整します。

config.json の例:

json Copy

{
  "enabledForcaptcha": true,
  "captchaMode": "token"
  // その他の設定はそのまま
}

3. 拡張機能を読み込むように Scrapy 設定を更新する

settings.py を変更して、CapSolver 拡張機能を読み込むように Playwright を設定します。拡張機能へのパスを指定し、Playwright に必要な引数を渡す必要があります。

python Copy

# settings.py

import os
from pathlib import Path

# 既存の Playwright 設定
PLAYWRIGHT_BROWSER_TYPE = 'chromium'
PLAYWRIGHT_LAUNCH_OPTIONS = {
    'headless': False,  # 拡張機能を読み込むには False である必要があります
    'args': [
        '--disable-extensions-except={}'.format(os.path.abspath('CapSolver.Browser.Extension')),
        '--load-extension={}'.format(os.path.abspath('CapSolver.Browser.Extension')),
    ],
}

# Twisted リアクターが設定されていることを確認する
TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'

注記: ブラウザ拡張機能を読み込むには、ブラウザをヘッドレスモード以外で実行する必要があります。そのため、'headless': False に設定します。

4. CAPTCHA を処理するスパイダーを作成する

CapSolver 拡張機能を使用して CAPTCHA と対話する新しいスパイダーを作成するか、既存のスパイダーを変更します。

python Copy

# spiders/captcha_spider.py

import scrapy
from scrapy_playwright.page import PageCoroutine
import asyncio

class CaptchaSpider(scrapy.Spider):
    name = "captcha_spider"
    start_urls = ["https://site.example/captcha-protected"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(
                url,
                meta={
                    "playwright": True,
                    "playwright_page_coroutines": [
                        PageCoroutine("wait_for_selector", "iframe[src*='captcha']"),
                        PageCoroutine("wait_for_timeout", 1000),  # 拡張機能が処理されるのを待つ
                    ],
                    "playwright_context": "default",
                },
                callback=self.parse_captcha
            )

    async def parse_captcha(self, response):
        page = response.meta["playwright_page"]

        # captcha チェックボックスまたはフレームを見つけて、それに応じて対話する
        try:
            # captcha iframe が利用可能になるまで待つ
            await page.wait_for_selector("iframe[src*='captcha']", timeout=10000)
            frames = page.frames
            captcha_frame = None
            for frame in frames:
                if 'captcha' in frame.url:
                    captcha_frame = frame
                    break

            if captcha_frame:
                # captcha チェックボックスをクリックする
                await captcha_frame.click("div#checkbox")

                # CapSolver が CAPTCHA を解決するのを待つ
                await page.wait_for_selector("div.captcha-success", timeout=60000)  # 必要に応じてセレクターを調整する

                self.logger.info("CAPTCHA は正常に解決されました。")
            else:
                self.logger.warning("captcha iframe が見つかりませんでした。")
        except Exception as e:
            self.logger.error(f"CAPTCHA 処理中のエラー: {e}")

        # CAPTCHA が解決されたら、ページの解析を続行する
        for item in response.css("div.content"):
            yield {
                "title": item.css("h2::text").get(),
                "description": item.css("p::text").get(),
            }

        # 必要に応じてページネーションまたは追加の対話を処理する

5. スパイダーの実行

すべての依存関係がインストールされていることを確認し、次のようにスパイダーを実行します。

bash Copy

scrapy crawl captcha_spider

高度な機能

基本が理解できたら、Scrapy-Playwright には、スクレイピングプロジェクトを強化するためのさまざまな高度な機能が用意されています。

複數のページの処理

Playwright のナビゲーション機能を使用すると、複数のページをスクレイピングしたり、Web サイト内を移動したりするプロセスを合理化できます。

python Copy

# spiders/multi_page_spider.py

import scrapy
from scrapy_playwright.page import PageCoroutine

class MultiPageSpider(scrapy.Spider):
    name = "multipage"
    start_urls = ["https://example.com/start"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(
                url,
                meta={
                    "playwright": True,
                    "playwright_page_coroutines": [
                        PageCoroutine("wait_for_selector", "div.list"),
                        PageCoroutine("evaluate", "window.scrollTo(0, document.body.scrollHeight)"),
                    ],
                },
            )

    async def parse(self, response):
        # 最初のページからデータを抽出する
        for item in response.css("div.list-item"):
            yield {
                "name": item.css("span.name::text").get(),
                "price": item.css("span.price::text").get(),
            }

        # 次のページに移動する
        next_page = response.css("a.next::attr(href)").get()
        if next_page:
            yield scrapy.Request(
                response.urljoin(next_page),
                callback=self.parse,
                meta={
                    "playwright": True,
                    "playwright_page_coroutines": [
                        PageCoroutine("wait_for_selector", "div.list"),
                    ],
                },
            )

Playwright コンテキストの使用

Playwright では、複数のブラウザコンテキストを作成できます。これは、セッション、Cookie、または並列スクレイピングタスクを処理する場合に役立ちます。

python Copy

# settings.py

PLAYWRIGHT_CONTEXTS = {
    "default": {
        "viewport": {"width": 1280, "height": 800},
        "user_agent": "CustomUserAgent/1.0",
    },
    "mobile": {
        "viewport": {"width": 375, "height": 667},
        "user_agent": "MobileUserAgent/1.0",
        "is_mobile": True,
    },
}

スパイダーでは、コンテキストを指定します。

python Copy

# spiders/context_spider.py

import scrapy

class ContextSpider(scrapy.Spider):
    name = "context"
    start_urls = ["https://example.com"]

    def start_requests(self):
        yield scrapy.Request(
            self.start_urls[0],
            meta={
                "playwright": True,
                "playwright_context": "mobile",
            },
        )

    async def parse(self, response):
        # 解析ロジックをここに記述する
        pass

ミドルウェアとの統合

Scrapy-Playwright は、リトライ処理、プロキシ管理、カスタムヘッダー処理などの機能を強化するために、他のミドルウェアと統合できます。

python Copy

# settings.py

DOWNLOADER_MIDDLEWARES.update({
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
    'scrapy_playwright.middleware.ScrapyPlaywrightDownloadHandler': 543,
})

# カスタムヘッダーを設定する例
DEFAULT_REQUEST_HEADERS = {
    'User-Agent': 'MyCustomAgent/1.0',
    'Accept-Language': 'en-US,en;q=0.9',
}

ベストプラクティス

Scrapy-Playwright と CapSolver を最大限に活用するには、次のベストプラクティスを検討してください。

Playwright の使用を最適化する: JavaScript のレンダリングが必要なリクエストにのみ Playwright を使用して、リソースを節約します。
ブラウザコンテキストを管理する: 可能な限りブラウザコンテキストを再利用して、パフォーマンスを向上させ、オーバーヘッドを削減します。
タイムアウトを適切に処理する: 適切なタイムアウトを設定し、エラー処理を行って、読み込み速度が遅いページを管理します。
robots.txt と利用規約を尊重する: スクレイピングアクティビティが、ターゲット Web サイトのポリシーに準拠していることを常に確認します。
スロットリングと遅延を実裝する: 礼儀正しいスクレイピングの慣行を実装して、ターゲットサーバーへの負荷を避けてください。
CapSolver API キーを安全に保護する: API キーなどの機密情報は安全に保管し、スクリプトにハードコーディングしないでください。
スクレイピングアクティビティを監視してログに記録する: スクレイピング操作を追跡して、問題を迅速に特定して解決できるようにします。

ボーナスコード

CapSolver で最高の CAPTCHA ソリューションのボーナスコード を入手してください: scrape. ボーナスコードを適用すると、チャージごとに 5% の追加ボーナスが何回でも適用されます。

まとめ

Scrapy-Playwright は、静的コンテンツと動的コンテンツの抽出のギャップを埋める Web スクレイピングのゲームチェンジャーです。Scrapy の堅牢なフレームワークと Playwright の高度なブラウザ自動化機能を活用することで、最も難しいスクレイピングタスクにも簡単に対応できます。さらに、CapSolver を統合することで、CAPTCHA の課題を克服し、最も厳重に保護された Web サイトからでも途切れることなくデータ収集を行うことができます。

e コマースサイト、ソーシャルメディアプラットフォーム、またはその他の JavaScript を多用した Web サイトをスクレイピングする場合でも、Scrapy-Playwright と CapSolver を組み合わせることで、成功するために必要なツールが提供されます。ベストプラクティスに従い、これらの強力な統合を活用することで、特定のニーズに合わせて設計された効率的、信頼性が高く、スケーラブルな Web スクレイピングソリューションを構築できます。

スクレイピングプロジェクトをさらに向上させたいですか？Scrapy-Playwright と CapSolver に挑戦して、データ収集と自動化の可能性を開きましょう。

コンプライアンス免責事項：このブログで提供される情報は、情報提供のみを目的としています。CapSolverは、すべての適用される法律および規制の遵守に努めています。CapSolverネットワークの不法、詐欺、または悪用の目的での使用は厳格に禁止され、調査されます。私たちのキャプチャ解決ソリューションは、公共データのクローリング中にキャプチャの問題を解決する際に100%のコンプライアンスを確保しながら、ユーザーエクスペリエンスを向上させます。私たちは、サービスの責任ある使用を奨勵します。詳細については、サービス利用規約およびプライバシーポリシーをご覧ください。

reCAPTCHA Enterprise v2、v2 インビジブル、v3、v3 エンタープライズ 0.9 スコアの任意のバージョンを解決する方法

reCAPTCHA Enterprise v2、v2インビジブル、v3、v3エンタープライズ 0.9スコアのあらゆるバージョンをどう解決するか

CapSolverでreCaptchaのあらゆるバージョンを解くスキルをマスター: このガイドは、reCaptchaを効果的に解決するためのステップバイステップのチュートリアルを提供し、常に正確な結果を実現します。

reCAPTCHA

Sora Fujimoto

11-Oct-2025

畫像キャプチャの解き方

このブログ記事は、畫像CAPTCHAを解くための包括的なガイドを提供します。CapSolverはそのプロセスを自動化するツールであり、畫像CAPTCHAとは何かの説明から始まり、CapSolverのAPIを使用してこれらのCAPTCHAを解くための詳細なステップバイステップの手順が説明されています。このガイドには、プロセスに関與するリクエストとレスポンスの例が含まれています。記事は、畫像CAPTCHAを解くためにCapSolverを使用する効率性と利便性についての注意點で締めくくられ、CAPTCHAの解決を含むタスクを自動化したい人にとって価値あるリソースとなっています。

Sora Fujimoto

11-Oct-2025

reCaptcha v2 インビジブルの解決方法

このブログは、Capsolverを使用してreCaptcha v2の非表示を解決するための包括的なガイドです。必要な情報をCapsolverに提出し、結果を検証するまでのステップバイステップのウォークスルーを提供しています。このブログは、理解しやすく、実行しやすいように設計されており、ウェブサイトでreCaptcha v2の非表示を実装および解決するプロセスを迅速かつ効率的にします。これは独自で拡張されたガイドであり、著作権侵害なしに読者がプロセスを完全に理解できるようにしています。

reCAPTCHA

Nikolai Smirnov

11-Oct-2025

リキャプチャバージョン3を突破する

CapSolverを使用してreCaptcha V3を解決する方法を学ぶ：多様なタスクの種類、シンプルなAPI連携、およびオートメーションおよびテストのための効果的なソリューション

Sora Fujimoto

10-Oct-2025

2025年におけるウェブスクリーピング時のAWS WAFの最適なソルバーは何か？

2025年におけるAWS WAF CAPTCHAを効率的に解く方法をCapSolverで学ぶ。ステップバイステップのガイド、Python統合、自動化ワークフローを効率化するAI駆動のソルバー。ダイナミックなトークン、行動解析、複雑なCAPTCHAチャレンジを簡単に乗り越える。

Lucas Mitchell

26-Sep-2025

reCaptchaのコールバック関數の探し方

reCAPTCHAのコールバックを見つけるには、reCAPTCHAが正常に解決された後に実行されるJavaScript関數を特定します。手順の概要を以下に示します。

reCAPTCHA

Sora Fujimoto

23-Sep-2025

2025年にScrapyとPlaywrightを使ってウェブスクレイピングの課題を解決する方法

Scrapy-Playwright とは？

なぜ Scrapy-Playwright を使うべきなのか？

Scrapy-Playwright を使う利点

インストール

はじめに

新しい Scrapy プロジェクトの設定

Playwright の設定

基本的な使い方

スパイダーの作成

JavaScript でレンダリングされたコンテンツの処理

CapSolver を使用した CAPTCHA の解決

CapSolver とは？

CapSolver の Scrapy-Playwright への統合

Python での実装例

1. CapSolver ブラウザ拡張機能を入手する

2. 拡張機能の設定:

3. 拡張機能を読み込むように Scrapy 設定を更新する

4. CAPTCHA を処理するスパイダーを作成する

5. スパイダーの実行

高度な機能

複數のページの処理

Playwright コンテキストの使用

ミドルウェアとの統合

ベストプラクティス

ボーナスコード

まとめ

もっと見る

reCAPTCHA Enterprise v2、v2インビジブル、v3、v3エンタープライズ 0.9スコアのあらゆるバージョンをどう解決するか

畫像キャプチャの解き方

reCaptcha v2 インビジブルの解決方法

リキャプチャバージョン3を突破する

2025年におけるウェブスクリーピング時のAWS WAFの最適なソルバーは何か？

reCaptchaのコールバック関數の探し方