Cách v??t qua th? thách Cloudflare khi thu th?p d? li?u web vào n?m 2025

Gi?i thi?u: T?i sao Cloudflare là n?i ám ?nh c?a ng??i Scraper

H?y ??i m?t v?i th?c t?: n?u b?n ?? th? web scraping trong vài n?m g?n ??y, b?n có th? ?? b? cu?c vì màn hình "Ki?m tra trình duy?t" khét ti?ng c?a Cloudflare. ??n n?m 2025, Cloudflare ?? t?ng c??ng b?o v? các trang web kh?i bot, khi?n vi?c scraping gi?ng nh? m?t trò ch?i whack-a-mole.

Nh?ng t?i sao l?i ph?i b? c?ng s?c v??t qua nó? ??n gi?n: d? li?u là s?c m?nh. Cho dù b?n ?ang theo d?i giá c?, t?ng h?p n?i dung hay ph?n tích xu h??ng, các b?c t??ng c?a Cloudflare kh?ng th? ng?n ch?n t?t c? m?i ng??i. D??i ??y là cách ?i?u h??ng mê cung mà kh?ng b? m?c k?t trong luy?n ng?c CAPTCHA.

Th? thách Cloudflare so v?i Turnstile: S? khác bi?t là gì?

Th? thách Cloudflare

??y là ?i?m ki?m tra "T?i kh?ng ph?i là robot" c? ?i?n. Nó ki?m tra d?u v?n tay c?a trình duy?t (nh? cookie, h? tr? JavaScript và danh ti?ng IP) và hi?n th? CAPTCHA n?u có ?i?u gì ?ó kh?ng ?n. H?y ngh? v? nó nh? m?t ng??i b?o v? ki?m tra ch?ng minh th? c?a b?n.

Cloudflare Turnstile

???c gi?i thi?u nh? m?t "ph??ng án thay th? b?o v? quy?n riêng t?", Turnstile là ti?n ích CAPTCHA m?i h?n, m??t mà h?n c?a Cloudflare. Nó ch?y trong n?n ?? xác minh con ng??i mà kh?ng c?n nh?ng c?u ?? khó ch?u — trong h?u h?t tr??ng h?p. Nh?ng n?u nó nghi ng? ho?t ??ng c?a bot, nó v?n s? ph?t b?n b?ng m?t th? thách.

T?i sao m?i ng??i l?i nh?m l?n chúng?

• C? hai ??u ch?n bot.
• C? hai ??u s? d?ng CAPTCHA nh? ph??ng sách cu?i cùng.
  

Cách v??t qua các th? thách Cloudflare trong n?m 2025

Ph??ng pháp 1: Gi?i quy?t CAPTCHA th? c?ng

• Cách th?c ho?t ??ng: B?n t? gi?i quy?t CAPTCHA. V?ng, gi?ng nh? m?t n?ng d?n th?i trung c?.
• ?u ?i?m: Mi?n phí (n?u th?i gian c?a b?n kh?ng ?áng giá).
• Nh??c ?i?m: Kh?ng th? m? r?ng. B?n s? phát ?iên sau 10 CAPTCHA. ??y có th? là b?n sau khi gi?i quy?t 10 captcha th? c?ng: video

Ph??ng pháp 2: Trình duy?t Headless

Các c?ng c? nh? Puppeteer, Playwright, FlareSolver b?t ch??c các trình duy?t th?c. Thêm plugin ?n danh ?? ?n d?u v?n tay t? ??ng hóa.

• M?o: Xoay vòng user agent và s? d?ng proxy d?n c? ?? tránh b? c?m IP. S? d?ng cùng m?t IP proxy, userAgent, TLS, tiêu ?? c?a phiên b?n chrome mà b?n ?ang s? d?ng ?? s? d?ng cookie cf_clearance

Ph??ng pháp 3: D?ch v? gi?i quy?t CAPTCHA

??y là n?i Capsolver t?a sáng. Nó t? ??ng gi?i quy?t c? Th? thách Cloudflare và Turnstile.

• ??i v?i Th? thách Cloudflare: Làm theo H??ng d?n Th? thách Cloudflare c?a Capsolver.
• ??i v?i Turnstile: S? d?ng H??ng d?n Turnstile c?a Capsolver.
• T?i sao nó ho?t ??ng trong n?m 2025: AI c?a Capsolver thích ?ng v?i các b?n c?p nh?t c?a Cloudflare nhanh h?n h?u h?t các gi?i pháp t? làm.

Cách gi?i quy?t Th? thách Cloudflare

• Proxy là c?n thi?t, vui lòng s? d?ng proxy t?nh ho?c proxy dính thay vì proxy lu?n phiên.
• UserAgent tùy ch?nh hi?n kh?ng ???c h? tr?, vui lòng s? d?ng tiêu ?? và cookie ???c tr? v? b?i API c?a chúng t?i.
• N?u b?n kh?ng nh?n ???c gi?i pháp, IP c?a b?n có th? b? ch?n, vui lòng th? thay ??i proxy c?a b?n.
• B?n ph?i s? d?ng th? vi?n yêu c?u TLS ?? yêu c?u trang web m?c tiêu.

POST https://api.capsolver.com/createTask
Host: api.capsolver.com
Content-Type: application/json
{
  "clientKey": "YOUR_API_KEY",
  "task": {
    "type": "AntiCloudflareTask",
    "websiteURL": "https://www.yourwebsite.com",
    "proxy": "ip:port:user:pass"
  }
}

Các yêu c?u quan tr?ng ?? thành c?ng gi?i pháp

?? ??m b?o gi?i pháp ???c tr? v? ho?t ??ng nh? d? ??nh, tính nh?t quán là chìa khóa. B?n ph?i tu?n th? các ?i?u sau:

1. ??a ch? IP
   S? d?ng cùng m?t ??a ch? IP ???c s? d?ng trong quá trình gi?i quy?t th? thách. Thay ??i IP (ví d?: proxy, m?ng) s? làm m?t hi?u l?c gi?i pháp.

2. User-Agent & Tiêu ??

   • Gi? nguyên chu?i User-Agent chính xác t? yêu c?u ban ??u.
   • Bao g?m t?t c? các tiêu ?? ???c tr? v? b?i Capsolver trong các yêu c?u ti?p theo.

3. D?u v?n tay TLS
   Cloudflare xác th?c d?u v?n tay TLS. ?? tránh s? kh?ng kh?p:

   • S? d?ng các th? vi?n b?t ch??c quá trình b?t tay TLS c?a trình duy?t th?c, ch?ng h?n nh?:
     • Python-Tls-Client (Python)
     • tls-client (JavaScript/TypeScript)
     • curl_cffi (Curl v?i m?o danh)

Cách gi?i quy?t Cloudflare Turnstile

• Lo?i Turnstile kh?ng yêu c?u proxy, vì v?y b?n ch? c?n s? d?ng AntiTurnstileTaskProxyLess

POST https://api.capsolver.com/createTask
Host: api.capsolver.com
Content-Type: application/json
{
  "clientKey": "YOUR_API_KEY",
  "task": {
    "type": "AntiTurnstileTaskProxyLess",
    "websiteURL": "https://www.yourwebsite.com",
    "websiteKey": "0x4XXXXXXXXXXXXXXXXX",
    "metadata": {
       "action": "login",  //tùy ch?n
       "cdata": "0000-1111-2222-3333-example-cdata"  //tùy ch?n
    }
  }
}

V? trí c?a token ph? thu?c vào cách tri?n khai c?a trang web m?c tiêu. Ki?m tra l?u l??ng m?ng trong quá trình t??ng tác th? c?ng ?? xác ??nh chính xác tham s? ho?c tiêu ?? yêu c?u token.

4. Nh?ng sai l?m th??ng g?p (Và cách kh?c ph?c)

Sai l?m 1: S? d?ng c?ng c? sai cho Turnstile so v?i Th? thách

??y là cách di?n ??t l?i n?i dung c?a b?n m?t cách bóng b?y, chuyên nghi?p h?n:

• Ph?n bi?t Th? thách Cloudflare và Turnstile
  M?t ?i?m ?au ??u ph? bi?n ??i v?i các nhà phát tri?n là ph?n bi?t gi?a h? th?ng Th? thách và Turnstile c?a Cloudflare, ??c bi?t là khi tích h?p các gi?i pháp nh? Capsolver. D??i ??y là cách ch?n ?oán và gi?i quy?t s? nh?m l?n gi?a hai h? th?ng này:

• T?i sao AntiTurnstileTaskProxyLess kh?ng thành c?ng v?i l?i 600010
  N?u b?n ?ang s? d?ng lo?i tác v? AntiTurnstileTaskProxyLess c?a Capsolver và g?p ph?i l?i:
  callback: error-callback, error: 600010
  ?i?u này cho th?y s? kh?ng kh?p: B?n ?ang c? g?ng gi?i quy?t Th? thách Cloudflare (yêu c?u lo?i tác v? khác) thay vì CAPTCHA Turnstile.

• Cách xác ??nh h? th?ng nào mà m?t trang web s? d?ng

  1. Ki?m tra cookie cf_clearance
     • Th? thách Cloudflare: T?o cookie cf_clearance sau khi xác minh thành c?ng.
     • Turnstile: Kh?ng t?o cookie cf_clearance.

Gi?i quy?t l?i

1. Xác minh S?n ph?m Cloudflare

   • S? d?ng các b??c trên ?? xác nh?n xem trang web s? d?ng Th? thách hay Turnstile.

2. Ch?n Lo?i tác v? Capsolver chính xác

   • ??i v?i Th? thách Cloudflare: S? d?ng các lo?i tác v? ???c thi?t k? ?? b? qua Th? thách (ví d?: AntiCloudflareTask).
   • ??i v?i Turnstile: S? d?ng AntiTurnstileTaskProxyLess.

3. Xem l?i Tài li?u c?a Capsolver

   • Tham kh?o chéo các ví d? tri?n khai trong h??ng d?n c?a h?:
     • Gi?i pháp Th? thách Cloudflare
     • H??ng d?n tích h?p Turnstile
       M?o chuyên nghi?p: Lu?n lu?n th? nghi?m trên quy m? nh? tr??c. Các lo?i tác v? ???c c?u hình sai s? l?ng phí th?i gian và tín d?ng API. Khi có nghi ng?, h?y sao chép các tr??ng h?p s? d?ng chính th?c c?a Capsolver ?? ??m b?o phù h?p v?i các bi?n pháp b?o v? c?a trang web m?c tiêu.

Sai l?m 2: B? qua vi?c xoay vòng IP/Tiêu ??/UserAgent

Cloudflare ??a vào danh sách ?en IP/Tiêu ??/UserAgent ?áng ng?. Xoay vòng proxy, user agent, cài ??t tls, tiêu ?? c?a b?n...

Sai l?m 3: Quên d?u v?n tay trình duy?t

Ngay c? v?i trình duy?t headless, thi?u các chi ti?t nh? k?t xu?t WebGL ho?c múi gi? c?ng có th? kích ho?t Cloudflare. S? d?ng các c?ng c? nh? Puppeteer-Stealth.

K?t lu?n

M?o cu?i cùng: N?u b?n b? m?c k?t, h?y t? h?i mình: "D? li?u này có ?áng ?? ph?i v?t v? kh?ng?" ??i khi, tr? ti?n cho m?t API (n?u có) s? ti?t ki?m th?i gian, s? t?nh táo...

Chúc may m?n, và nguy?n cho các v? th?n CAPTCHA s? m?m c??i v?i b?n! ???