N?u b?n ?? t?ng th? web scraping, b?n có th? ?? g?p ph?i CAPTCHA—nh?ng bài ki?m tra "ch?ng minh b?n là ng??i" khó ch?u ch?n các yêu c?u t? ??ng. Trong h??ng d?n này, t?i s? chia s? các chi?n l??c kh? thi ?? gi?m thi?u s? gián ?o?n c?a CAPTCHA và ch? cho b?n cách x? l? chúng khi chúng xu?t hi?n. H?y b?t ??u th?i!

T?i sao CAPTCHA xu?t hi?n trong quá trình Web Scraping? ?

CAPTCHA ???c thi?t k? ?? ch?n bot, ?i?u ?ó có ngh?a là trình thu th?p d? li?u c?a b?n có th? b? g?n c? n?u:

• B?n g?i quá nhi?u yêu c?u quá nhanh.
• Yêu c?u c?a b?n thi?u tiêu ?? trình duy?t ho?c chu?i user-agent th?c t?.
• Trang web phát hi?n các m?u IP ?áng ng? (ví d?: các yêu c?u l?p ?i l?p l?i t? cùng m?t IP).

M?o: B?t ??u b?ng cách b?t ch??c hành vi c?a con ng??i: làm ch?m yêu c?u c?a b?n, lu?n phiên user agent và s? d?ng proxy. Nh?ng n?u CAPTCHA v?n xu?t hi?n, b?n s? c?n m?t gi?i pháp m?nh m? h?n.

Cách gi?i quy?t CAPTCHA t? ??ng b?ng cách s? d?ng CAPTCHA Solvers

Khi vi?c tránh né kh?ng ??, các d?ch v? nh? Capsolver có th? t? ??ng gi?i quy?t CAPTCHA. ??y là cách nó ho?t ??ng:

Ví d?: Gi?i quy?t reCAPTCHA v2 b?ng Python

# pip install requests
import requests
import time

api_key = "YOUR_API_KEY"  # Thay th? b?ng khóa Capsolver c?a b?n
site_key = ""  # T? trang web m?c tiêu
site_url = ""  # URL m?c tiêu c?a b?n

def solve_captcha():
    payload = {
        "clientKey": api_key,
        "task": {
            "type": "ReCaptchaV2TaskProxyLess",
            "websiteKey": site_key,
            "websiteURL": site_url
        }
    }
    response = requests.post("https://api.capsolver.com/createTask", json=payload)
    task_id = response.json().get("taskId")
    
    # L?y k?t qu?
    while True:
        time.sleep(3)
        result = requests.post("https://api.capsolver.com/getTaskResult", json={"clientKey": api_key, "taskId": task_id})
        status = result.json().get("status")
        if status == "ready":
            return result.json()["solution"]["gRecaptchaResponse"]
        elif status == "failed":
            print("Kh?ng th? gi?i quy?t CAPTCHA")
            return None

captcha_token = solve_captcha()
print(f"M? CAPTCHA ?? gi?i quy?t: {captcha_token}")

Cách th?c ho?t ??ng:

1. API c?a Capsolver t?o m?t tác v? ?? gi?i quy?t CAPTCHA trên trang web m?c tiêu c?a b?n.
2. Nó tr? v? m?t m? th?ng báo mà b?n có th? tiêm vào trình thu th?p d? li?u c?a mình ?? b? qua CAPTCHA.

V?n ?ang g?p khó kh?n v?i vi?c liên t?c th?t b?i trong vi?c gi?i quy?t hoàn toàn các captcha trong khi th?c hi?n webscraping?

Nh?n m? khuy?n m?i M? Khuy?n M?i c?a b?n cho các gi?i pháp captcha hàng ??u -CapSolver: CAPTCHA. Sau khi ??i m?, b?n s? nh?n ???c thêm 5% ti?n th??ng sau m?i l?n n?p, Kh?ng gi?i h?n

Scraping mà kh?ng c?n CAPTCHA: M?t ví d? ??n gi?n h?n

Kh?ng ph?i t?t c? các trang web ??u s? d?ng CAPTCHA. H?y thu th?p d? li?u t? books.toscrape.com, m?t sandbox kh?ng có CAPTCHA:

import requests
from bs4 import BeautifulSoup

url = "http://books.toscrape.com/"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")

# Trích xu?t tiêu ?? và giá sách
for book in soup.select("article.product_pod"):
    title = book.h3.a["title"]
    price = book.select(".price_color")[0].get_text()
    print(f"Tiêu ??: , Giá: {price}")

T?i sao ?i?u này ho?t ??ng:
Trang web này kh?ng có các bi?n pháp ch?ng bot, nh?ng lu?n ki?m tra robots.txt c?a trang web tr??c khi thu th?p d? li?u.

Xác ??nh Lo?i và Tham s? CAPTCHA ?

Tr??c khi gi?i quy?t CAPTCHA, b?n c?n bi?t lo?i c?a nó (ví d?: reCAPTCHA v2, hCaptcha). S? d?ng các c?ng c? nh? H??ng d?n Xác ??nh CAPTCHA c?a Capsolver ??:

1. Phát hi?n nhà cung c?p CAPTCHA.
2. Tìm các tham s? b?t bu?c nh? sitekey ho?c pageurl.

Ví d? v? tham s? cho reCAPTCHA v2:

• websiteKey: "6Le-wvkSAAAAAPBMRTvw0Q4Muexq9bi0DJwx_mJ-"
• websiteURL: URL c?a trang m?c tiêu c?a b?n.

Các Th?c ti?n T?t nh?t ?? Tránh CAPTCHA Hoàn toàn

1. Làm ch?m l?i: Thêm ?? tr? gi?a các yêu c?u b?ng time.sleep().
2. Xoay vòng proxy: S? d?ng các d?ch v? nh? Nst Proxy ?? tránh b? c?m IP.
3. S? d?ng tiêu ?? th?c t?: B?t ch??c User-Agent và Accept-Language c?a trình duy?t.

C?u h?i th??ng g?p: X? l? CAPTCHA trong quá trình Scraping

1. CAPTCHA solver ho?t ??ng nh? th? nào?

Chúng s? d?ng s? k?t h?p c?a AI và ng??i lao ??ng ?? gi?i quy?t CAPTCHA và tr? v? m? th?ng báo ?? t? ??ng hóa.

2. Có th? t? ??ng hóa t?t c? CAPTCHA kh?ng?

H?u h?t các lo?i ph? bi?n (reCAPTCHA, hCaptcha) có th? ???c gi?i quy?t, nh?ng các lo?i n?ng cao yêu c?u các ph??ng pháp tinh vi h?n.

4. Cách d? nh?t ?? tránh CAPTCHA là gì?

• S? d?ng trình duy?t kh?ng có ??u nh? Puppeteer ho?c Playwright ?? m? ph?ng các t??ng tác c?a con ng??i
• S? d?ng proxy di ??ng
• S? d?ng phiên b?n user-agent m?i nh?t
• S? d?ng client TLS
• S? d?ng tiêu ?? chính xác / th? t? tiêu ?? c?a phiên b?n user-agent

Suy ngh? cu?i cùng

CAPTCHA là m?t tr? ng?i, nh?ng kh?ng ph?i là m?t ?i?m ch?t. K?t h?p các th?c ti?n thu th?p d? li?u th?ng minh v?i các c?ng c? nh? Capsolver ?? gi?m thi?u s? gián ?o?n. Thu th?p d? li?u vui v?! ?