Cách gi?i quy?t Cloudflare b?ng Playwright trong n?m 2024

B?n bi?t ??y, có m?t s? ph?n khích nh?t ??nh khi v??t qua các tr? ng?i, ??c bi?t là khi nh?ng tr? ng?i ?ó là nh?ng ng??i gác c?ng k? thu?t s? nh? Cloudflare. N?u b?n ?? t?ng th?y mình ?ang nhìn ch?m ch?m vào m?t th? thách Cloudflare trong khi c? g?ng t? ??ng hóa m?t nhi?m v? web, b?n ?ang ? trong m?t nhóm t?t. T?i ?? ? ?ó, nhi?u l?n. Nh?ng vào n?m 2024, trò ch?i ?? thay ??i, và các c?ng c? c?ng v?y. H?y ?? t?i h??ng d?n b?n cách t?i ?? gi?i quy?t Cloudflare b?ng Playwright, và v?ng, chúng ta c?ng s? nói v? ng??i m?i xu?t hi?n m?t cách lén lút, Cloudflare Turnstile.

Cloudflare là gì và t?i sao nó quan tr?ng

Tr??c khi chúng ta ?i s?u vào vi?c gi?i quy?t các th? thách Cloudflare, h?y dành m?t chút th?i gian ?? hi?u nh?ng gì chúng ta ?ang ph?i ??i m?t. Cloudflare là m?t d?ch v? b?o m?t m?nh m? ???c s? d?ng b?i hàng tri?u trang web ?? b?o v? ch?ng l?i l?u l??ng truy c?p ??c h?i, các cu?c t?n c?ng DDoS và nhi?u m?i ?e d?a khác. Khi nó phát hi?n hành vi b?t th??ng - nh? m?t k?ch b?n t? ??ng c? g?ng truy c?p m?t trang - nó s? ??a ra m?t th? thách, th??ng d??i d?ng CAPTCHA, ?? xác minh r?ng b?n là m?t con ng??i ch? kh?ng ph?i m?t bot.

Nh?ng ??y là ?i?m chính: Cloudflare kh?ng ch? ??n thu?n là ??a ra CAPTCHA ??n gi?n n?a. Vào n?m 2024, h? ?? tung ra m?t th? g?i là Cloudflare Turnstile, m?t h? th?ng th? thách tinh vi và thích ?ng h?n, ???c thi?t k? ?? ch?ng ch?u h?n v?i t? ??ng hóa. ?ó là m?t qu? h?ch c?ng ?? b? g?y, nh?ng v?i cách ti?p c?n phù h?p, b?n v?n có th? chi?n th?ng.

B?n ?ang g?p khó kh?n v?i vi?c liên t?c th?t b?i trong vi?c gi?i quy?t hoàn toàn captcha khó ch?u?

Khám phá gi?i pháp captcha t? ??ng li?n m?ch v?i c?ng ngh? Auto Web Unblock h? tr? AI c?a Capsolver!

Nh?n M? Khuy?n m?i c?a b?n cho các gi?i pháp captcha hàng ??u; CapSolver: WEBS. Sau khi ??i, b?n s? nh?n ???c thêm 5% ti?n th??ng sau m?i l?n n?p ti?n, Kh?ng gi?i h?n

T?i sao Playwright là c?ng c? ???c l?a ch?n trong n?m 2024

B?n có th? t? h?i, "T?i sao Playwright? T?i sao kh?ng g?n bó v?i Selenium ho?c Puppeteer c??" Và ?ó là m?t c?u h?i h?p l?. C?u tr? l?i là Playwright ?? n?i lên nh? m?t th? l?c m?nh m? cho t? ??ng hóa web, cung c?p các tính n?ng khi?n nó ??c bi?t hi?u qu? ch?ng l?i các th? thách hi?n ??i nh? nh?ng th? thách do Cloudflare ??t ra.

Playwright h? tr? nhi?u ng? c?nh trình duy?t, ?i?u ?ó có ngh?a là b?n có th? m? ph?ng nhi?u ng??i dùng hi?u qu? h?n. Nó c?ng cung c?p nhi?u quy?n ki?m soát h?n ??i v?i hành vi c?a trình duy?t, giúp d? dàng b?t ch??c các t??ng tác c?a ng??i dùng th?c - ?i?u này r?t quan tr?ng khi x? l? các bi?n pháp b?o m?t n?ng cao c?a Cloudflare.

B?t ??u: Cài ??t Playwright

?i?u ??u tiên là, n?u b?n ch?a có, b?n c?n ph?i cài ??t Playwright. Vi?c thi?t l?p r?t ??n gi?n:

npm install playwright

Sau khi cài ??t, b?n ?? s?n sàng ?? b?t ??u t? ??ng hóa các tác v? web c?a mình. Nh?ng n?u m?c tiêu c?a b?n là v??t qua các th? thách Cloudflare, ??c bi?t là CAPTCHA Turnstile m?i c?a h?, chúng ta c?n th?c hi?n thêm m?t vài b??c. Chúng ta s? t?n d?ng CapSolver, m?t API c?a bên th? ba ???c thi?t k? ?? gi?i quy?t CAPTCHA nh? Turnstile, và tích h?p nó v?i Playwright ?? truy c?p các trang web ???c b?o v? b?i Cloudflare.

B??c 1: L?y siteKey

Tr? ng?i ??u tiên b?n ph?i ??i m?t v?i CAPTCHA Turnstile là l?y siteKey t? trang web. Khóa này r?t c?n thi?t ?? CapSolver x? l? CAPTCHA và cung c?p cho b?n m?t m? th?ng báo h?p l?.

B?n có th? trích xu?t siteKey b?ng cách ki?m tra ngu?n c?a trang web ho?c, ?? làm cho cu?c s?ng d? dàng h?n, b?n có th? s? d?ng Ph?n m? r?ng CapSolver. Nó t? ??ng phát hi?n các tham s? CAPTCHA trên trang. ?? bi?t h??ng d?n chi ti?t v? cách thi?t l?p, h?y xem bài ??ng trên blog c?a chúng t?i:
Xác ??nh các tham s? Cloudflare Turnstile.

Sau khi có siteKey, b?n ?? s?n sàng chuy?n sang b??c ti?p theo.

B??c 2: G?i API CapSolver ?? gi?i quy?t CAPTCHA

V?i siteKey trong tay, ?? ??n lúc s? d?ng API c?a CapSolver ?? gi?i quy?t CAPTCHA Turnstile và l?y m? th?ng báo h?p l?. M? th?ng báo này s? cho phép chúng ta b? qua th? thách và ti?n hành các tác v? thu th?p d? li?u web ho?c t? ??ng hóa c?a mình.

??y là m?t ?o?n m? m?u s? d?ng axios và Playwright ?? t??ng tác v?i CapSolver:

const axios = require('axios');
const playwright = require("playwright");

const api_key = "YOUR_API_KEY"; // Khóa API CapSolver c?a b?n
const site_key = "0xxxxxx"; // siteKey mà b?n ?? l?y
const site_url = "https://xxx.xxx.xxx/xxx"; // URL c?a trang web m?c tiêu
const proxy = "http://xxx:[email protected]:x"; // Tùy ch?n: S? d?ng proxy c?a b?n n?u c?n

async function solveCaptcha() {
  const payload = {
    clientKey: api_key,
    task: {
      type: 'AntiTurnstileTaskProxyLess',
      websiteKey: site_key,
      websiteURL: site_url,
      metadata: {
        action: '', // Tùy ch?n, ch? ??nh n?u c?n
        type: "turnstile"
      }
    }
  };

  try {
    const res = await axios.post("https://api.capsolver.com/createTask", payload);
    const task_id = res.data.taskId;
    if (!task_id) {
      console.log("Kh?ng th? t?o tác v?:", res.data);
      return;
    }

    console.log("Tác v? ?? ???c t?o, ?ang ch? m? th?ng báo...");

    while (true) {
      await new Promise(resolve => setTimeout(resolve, 1000)); // Ch? trong 1 gi?y tr??c khi ki?m tra l?i
      const getResultPayload = {clientKey: api_key, taskId: task_id};
      const resp = await axios.post("https://api.capsolver.com/getTaskResult", getResultPayload);
      
      if (resp.data.status === "ready") {
        console.log("CAPTCHA ?? ???c gi?i quy?t, m? th?ng báo ?? ???c nh?n:", resp.data.solution.token);
        return resp.data.solution.token;
      }

      if (resp.data.status === "failed" || resp.data.errorId) {
        console.log("CAPTCHA gi?i quy?t th?t b?i! Ph?n h?i:", resp.data);
        return;
      }
    }
  } catch (error) {
    console.error("L?i khi gi?i quy?t CAPTCHA:", error);
  }
}

Trong m? này, chúng ta t?o m?t tác v? b?ng cách g?i yêu c?u POST ??n API c?a CapSolver, chuy?n siteKey và URL c?a trang web mà chúng ta mu?n truy c?p. Sau khi tác v? ???c t?o, chúng ta liên t?c ki?m tra tr?ng thái cho ??n khi CapSolver tr? v? m? th?ng báo gi?i pháp. M? th?ng báo này là th? mà chúng ta s? s? d?ng ?? ch?ng minh v?i Cloudflare r?ng chúng ta là con ng??i.

B??c 3: Tiêm m? th?ng báo CAPTCHA b?ng Playwright

B?y gi? chúng ta ?? có m? th?ng báo CAPTCHA, chúng ta c?n tiêm nó vào phiên d??i d?ng cookie b?ng Playwright. ?i?u này s? cho phép chúng ta ?i?u h??ng trang web mà kh?ng b? ch?n b?i s? b?o v? c?a Cloudflare. ??y là cách th?c hi?n ?i?u ?ó:

const wait = (ms) => new Promise(resolve => setTimeout(resolve, ms));

async function accessSiteWithToken(){
  let clearanceCookie;

  // Gi?i quy?t CAPTCHA và l?y m? th?ng báo
  await solveCaptcha().then(token => {
    clearanceCookie = token;
  });

  const browser = await playwright.chromium.launch();
  const context = await browser.newContext();
  const page = await context.newPage();

  await wait(500);

  // Tiêm m? th?ng báo d??i d?ng cookie
  await page.setCookie({
    name: "cf_clearance",
    value: clearanceCookie,
    url: site_url, // ??m b?o ?i?u này kh?p v?i URL m?c tiêu
    domain: "xx.xx.xx" // ?i?u ch?nh mi?n theo trang web th?c t?
  });

  await wait(500);

  // ?i?u h??ng ??n trang web sau khi ??t cookie
  await page.goto(site_url);
  
  // B?y gi? b?n có th? thu th?p d? li?u web ho?c t??ng tác v?i trang m?t cách t? do
  console.log("?? truy c?p thành c?ng trang web!");

  await browser.close();
}

// Ch?y k?ch b?n ?? truy c?p trang web
accessSiteWithToken().then();

Suy ngh? cu?i cùng

Cloudflare ch?c ch?n ?? khi?n vi?c thu th?p d? li?u web ho?c t? ??ng hóa các tác v? tr? nên khó kh?n h?n trong n?m 2024, nh?ng v?i các c?ng c? nh? Playwright và CapSolver, th? thách kh?ng ph?i là kh?ng th?. Kh? n?ng m? ph?ng các t??ng tác c?a ng??i dùng th?c c?a Playwright k?t h?p v?i API gi?i quy?t CAPTCHA c?a CapSolver cung c?p m?t cách m?nh m? ?? b? qua nh?ng rào c?n này mà kh?ng c?n ?? m? h?i.

T?t nhiên, lu?n lu?n là m?t ? t??ng hay ?? ??m b?o b?n ?ang tu?n th? các th?c ti?n thu th?p d? li?u web h?p pháp và ??o ??c. M?t s? trang web có chính sách nghiêm ng?t liên quan ??n truy c?p t? ??ng, vì v?y h?y ??m b?o b?n bi?t r? chúng tr??c khi ti?p t?c.

Trong th? gi?i t? ??ng hóa web lu?n thay ??i, ?i?u quan tr?ng là ph?i ?i tr??c th?i ??i - và v?i Playwright và CapSolver, b?n ???c trang b? ?? làm ?i?u ?ó.