D?u v?n tay TLS c?a Cloudflare: Nó là gì và cách gi?i quy?t

Cloudflare là m?t trong nh?ng d?ch v? t?i ?u hóa hi?u n?ng và b?o m?t web ???c s? d?ng r?ng r?i nh?t, cung c?p kh? n?ng b?o v? ch?ng l?i các cu?c t?n c?ng DDoS, l?u l??ng truy c?p bot và nhi?u m?i ?e d?a t? ??ng khác. Trong s? nhi?u bi?n pháp b?o m?t c?a nó, xác th?c d?u v?n tay TLS ?óng m?t vai trò quan tr?ng trong vi?c xác ??nh và ch?n các k?t n?i ?áng ng?. C?ng ngh? này ph?n tích các ??c ?i?m c?a quá trình b?t tay TLS c?a máy khách ?? xác ??nh xem nó ??n t? m?t trình duy?t h?p pháp hay m?t bot.

??i v?i nh?ng ng??i thu th?p d? li?u web, nhà nghiên c?u và nhà phát tri?n x? l? vi?c duy?t web t? ??ng, xác th?c d?u v?n tay TLS c?a Cloudflare có th? là m?t tr? ng?i l?n. N?u các yêu c?u c?a b?n kh?ng kh?p v?i các yêu c?u c?a trình duy?t th?c, Cloudflare có th? ch?n ho?c thách th?c chúng b?ng CAPTCHA. Trong bài vi?t này, chúng ta s? tìm hi?u cách th?c ho?t ??ng c?a xác th?c d?u v?n tay TLS c?a Cloudflare và các ph??ng pháp hi?u qu? ?? gi?i quy?t nó b?ng các k? thu?t và tri?n khai m? n?ng cao.

Xác th?c d?u v?n tay TLS là gì?

B?o m?t L?p Truy?n t?i (TLS) là m?t giao th?c m?t m? b?o m?t các giao ti?p internet. Khi m?t máy khách (ví d?: trình duy?t, bot ho?c máy khách API) k?t n?i v?i máy ch?, nó s? kh?i t?o m?t quá trình b?t tay TLS, trong ?ó c? hai bên ?àm phán các cài ??t m? hóa ?? thi?t l?p k?t n?i an toàn.

Trong quá trình này, các ??c ?i?m c? th? c?a quá trình b?t tay, bao g?m:

• Các phiên b?n TLS
• Các b? m? hóa (ch?ng h?n nh? TLS_AES_128_GCM_SHA256, ???c ??nh ngh?a trong RFC 8446 - ??c t? TLS 1.3
• Các ph??ng pháp nén (m?c dù nén TLS ?? b? lo?i b? do các m?i quan t?m v? b?o m?t)
• Các ph?n m? r?ng (ch?ng h?n nh? ALPN, SNI và OCSP stapling, ?nh h??ng ??n vi?c ?àm phán giao th?c và xác th?c ch?ng ch?)

???c k?t h?p l?i ?? t?o thành m?t d?u v?n tay duy nh?t. Vì các máy khách khác nhau tri?n khai TLS h?i khác nhau, nên d?u v?n tay này có th? xác ??nh ?áng tin c?y ph?n m?m ?ang th?c hi?n yêu c?u.

Cloudflare và các nhà cung c?p b?o m?t khác s? d?ng ph??ng pháp này ?? phát hi?n các máy khách kh?ng ph?i trình duy?t, ch?ng h?n nh? các c?ng c? t? ??ng hóa và c?ng c? thu th?p d? li?u, b?ng cách so sánh d?u v?n tay TLS c?a chúng v?i d?u v?n tay c?a các trình duy?t ?? bi?t. N?u d?u v?n tay c?a m?t yêu c?u kh?ng kh?p v?i m?u d? ki?n, nó có th? b? thách th?c ho?c b? ch?n.

Vi?c Cloudflare s? d?ng xác th?c d?u v?n tay TLS

Cloudflare s? d?ng xác th?c d?u v?n tay JA3 ?? t?ng c??ng b?o m?t b?ng cách ph?n tích các ??c ?i?m ??c ?áo c?a quá trình b?t tay TLS c?a máy khách, ???c chuy?n ??i thành chu?i b?m (b?m JA3). ?i?u này cho phép Cloudflare ph?n bi?t gi?a các trình duy?t th?c và các máy khách kh?ng tiêu chu?n nh? bot ho?c c?ng c? thu th?p d? li?u web. Ví d?, n?u m?t t?p l?nh Python s? d?ng th? vi?n requests m?c ??nh, d?u v?n tay JA3 c?a nó s? khác v?i d?u v?n tay c?a trình duy?t, d?n ??n vi?c b? ch?n ho?c thách th?c.

Cách th?c ho?t ??ng:

Quá trình b?t tay TLS liên quan ??n vi?c ?àm phán các tham s? m?t m? (nh? các b? m? hóa), khác nhau gi?a các máy khách. Cloudflare s? d?ng các bi?n th? này ?? t?o ra m?t b?m JA3 duy nh?t. N?u b?m kh?ng kh?p v?i d?u v?n tay trình duy?t th?ng th??ng, yêu c?u có th? b? g?n c? là ?áng ng?.

Cách ki?m tra d?u v?n tay JA3 c?a b?n:

B?n có th? ki?m tra d?u v?n tay JA3 c?a mình b?ng các ph??ng pháp sau:

• S? d?ng Bash:

curl --tlsv1.2 --tls-max 1.2 --ciphers DEFAULT https://ja3er.com/json

• S? d?ng Python:

import requests

response = requests.get("https://ja3er.com/json")
print(response.json())

Tác ??ng ??i v?i vi?c thu th?p d? li?u web

Cloudflare có th? ch?n ho?c thách th?c các yêu c?u t? các máy khách kh?ng ph?i trình duy?t d?a trên d?u v?n tay JA3 c?a chúng. ?? gi?i quy?t v?n ?? này, các c?ng c? thu th?p d? li?u web có th? c?n ph?i b?t ch??c hành vi c?a trình duy?t b?ng các c?ng c? nh? Selenium, Playwright ho?c d?ch v? proxy ?? xoay d?u v?n tay và tránh b? phát hi?n.

B?n ?ang g?p khó kh?n v?i vi?c liên t?c kh?ng th? gi?i quy?t hoàn toàn Cloudflare?

Nh?n m? khuy?n m?i c?a b?n M? Khuy?n M?i cho các gi?i pháp captcha hàng ??u -CapSolver: CLOUD. Sau khi ??i m?, b?n s? nh?n ???c thêm 5% ti?n th??ng sau m?i l?n n?p ti?n, kh?ng gi?i h?n

Cách Cloudflare s? d?ng xác th?c d?u v?n tay TLS ?? ch?n bot

T?i sao xác th?c d?u v?n tay TLS l?i hi?u qu?

Xác th?c d?u v?n tay TLS c?a Cloudflare hi?u qu? vì:

1. Các trình duy?t có d?u v?n tay TLS riêng bi?t: Các trình duy?t th?c (Chrome, Firefox, Edge) t?o ra các quá trình b?t tay TLS có th? nh?n bi?t ???c.
2. Các bot và t?p l?nh có các m?u d? ?oán ???c: Nhi?u c?ng c? t? ??ng hóa (ví d?: requests c?a Python, Puppeteer v?i cài ??t m?c ??nh) s? d?ng các c?u hình TLS c? ??nh ho?c l?i th?i.
3. D?u v?n tay TLS khó gi? m?o: Kh?ng gi?ng nh? chu?i user-agent, có th? d? dàng thay ??i, vi?c s?a ??i d?u v?n tay TLS yêu c?u ki?m soát chính xác các cài ??t SSL/TLS c?p th?p.

Cách Cloudflare ch?n các máy khách ?áng ng?

Cloudflare thu th?p d?u v?n tay JA3 t? các k?t n?i ??n và so sánh chúng v?i c? s? d? li?u các d?u v?n tay trình duy?t ?? bi?t. N?u có s? kh?ng kh?p, Cloudflare có th?:

• Thách th?c yêu c?u b?ng CAPTCHA
• Ch?n hoàn toàn yêu c?u
• ?ánh d?u yêu c?u ?? ki?m tra thêm

N?u b?n ?ang ch?y các c?ng c? thu th?p d? li?u web ho?c c?ng c? t? ??ng, vi?c kh?ng b?t ch??c d?u v?n tay TLS c?a trình duy?t th?c có th? s? kích ho?t các bi?n pháp b?o m?t c?a Cloudflare.

Cách gi?i quy?t xác th?c d?u v?n tay TLS c?a Cloudflare

1. S? d?ng trình duy?t th?c v?i các khung t? ??ng hóa

Thay vì s? d?ng các th? vi?n HTTP c? b?n nh? requests, h?y chuy?n sang các c?ng c? t? ??ng hóa trình duy?t nh?:

• Selenium (v?i undetected-chromedriver)
• Puppeteer (Chrome kh?ng ??u d?a trên Node.js)
• Playwright (t? ??ng hóa ?a trình duy?t)

Ví d? v?i Playwright:

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    context = browser.new_context()
    page = context.new_page()
    page.goto("https://ja3er.com/json")
    print(page.content())

Các khung này k? th?a d?u v?n tay TLS c?a trình duy?t th?c, khi?n chúng khó phát hi?n h?n so v?i các yêu c?u HTTP tr?c ti?p.

2. B?t ch??c quá trình b?t tay TLS c?a trình duy?t

N?u b?n ph?i s? d?ng các th? vi?n HTTP nh? requests c?a Python, h?y s?a ??i các yêu c?u c?a mình ?? kh?p v?i d?u v?n tay c?a trình duy?t th?c b?ng cách s? d?ng:

• Th? vi?n khách hàng TLS: S? d?ng tls-client ho?c curl_cffi trong Python ?? g?i các yêu c?u v?i c?u hình TLS th?c t?.
• Tiêu ?? tùy ch?nh: ??m b?o các tiêu ?? HTTP c?a b?n kh?p v?i các tiêu ?? c?a trình duy?t th?c.
• Gi? m?o JA3: T?o d?u v?n tay JA3 kh?p v?i trình duy?t b?ng các c?ng c? nh? ja3transport.

Ví d? s? d?ng tls-client:

from tls_client import Session

session = Session(client_identifier="chrome_114")
response = session.get("https://targetwebsite.com")
print(response.text)

3. S? d?ng proxy d?n c? ho?c proxy lu?n phiên

Cloudflare có th? liên k?t d?u v?n tay TLS v?i ??a ch? IP, vì v?y vi?c s? d?ng:

• Proxy d?n c? (ví d?: IPRoyal, Smartproxy)
• Proxy lu?n phiên (t? ??ng thay ??i IP cho m?i yêu c?u)

Có th? gi?m kh? n?ng b? phát hi?n, ??c bi?t là khi k?t h?p v?i các cài ??t TLS th?c t?.

4. S? d?ng trình duy?t kh?ng ??u v?i các tinh ch?nh

Khi s? d?ng trình duy?t kh?ng ??u (ví d?: Puppeteer, Playwright), h?y ??m b?o:

• B?t ch? ?? ?n danh (ví d?: Puppeteer Stealth Plugin)
• Tránh các thu?c tính trình duy?t m?c ??nh (có th? ti?t l? t? ??ng hóa)
• Kh?p ?? ph?n gi?i màn hình và kích th??c c?a s? c?a trình duy?t th?c

Ví d? s? d?ng Puppeteer Stealth:

const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());
(async () => {
    const browser = await puppeteer.launch({ headless: true });
    const page = await browser.newPage();
    await page.goto('https://ja3er.com/json');
    console.log(await page.content());
    await browser.close();
})();

5. D?ch v? gi?i quy?t Cloudflare

Các d?ch v? nh? CapSolver cung c?p các gi?i pháp chuyên bi?t cho các thách th?c c?a Cloudflare, bao g?m c? vi?c phát hi?n d?u v?n tay TLS.

K?t lu?n

Xác th?c d?u v?n tay TLS c?a Cloudflare là m?t k? thu?t tinh vi ???c s? d?ng ?? phát hi?n và ch?n các yêu c?u t? ??ng b?ng cách ph?n tích quá trình b?t tay TLS c?a máy khách. Tuy nhiên, b?ng cách hi?u cách th?c ho?t ??ng c?a xác th?c d?u v?n tay JA3 và tri?n khai t? ??ng hóa trình duy?t, gi? m?o JA3 và lu?n phiên proxy, có th? gi?i quy?t các c? ch? phát hi?n c?a Cloudflare.

?? có m?t gi?i pháp d? dàng h?n, CapSolver cung c?p các d?ch v? chuyên bi?t ?? x? l? các thách th?c c?a Cloudflare, bao g?m c? d?u v?n tay TLS, ?? b?n có th? t?p trung vào các tác v? thu th?p d? li?u c?a mình mà kh?ng g?p nhi?u r?c r?i.

C?u h?i th??ng g?p

1. TLS là gì và t?i sao nó l?i quan tr?ng?
TLS (B?o m?t L?p Truy?n t?i) ??m b?o giao ti?p an toàn b?ng cách m? hóa d? li?u gi?a máy khách và máy ch?, ng?n ch?n truy c?p trái phép và thao túng d? li?u.

2. Làm th? nào t?i có th? b?o v? trang web c?a mình kh?i các cu?c t?n c?ng DDoS?
S? d?ng các d?ch v? nh? Cloudflare ?? b?o v? ch?ng l?i DDoS, tri?n khai gi?i h?n t?c ??, s? d?ng T??ng l?a ?ng d?ng web (WAF) và c?p nh?t ph?n m?m th??ng xuyên.

3. CAPTCHA là gì và t?i sao nó l?i ???c s? d?ng trên các trang web?
CAPTCHA là m?t bài ki?m tra ???c s? d?ng ?? ph?n bi?t ng??i dùng v?i bot, b?o v? các trang web kh?i b? l?m d?ng b?i các t?p l?nh t? ??ng và ng?n ch?n th? rác.

4. Làm th? nào ?? t?i kh?c ph?c s? c? l?i SSL/TLS c?a Cloudflare?
Ki?m tra cài ??t ch?ng ch? SSL, ??m b?o cài ??t SSL/TLS c?a Cloudflare chính xác, xác minh h? tr? phiên b?n TLS và lo?i tr? s? c? t??ng l?a ho?c DNS.

5. Làm th? nào ?? t?i c?i thi?n b?o m?t trang web c?a mình?
S? d?ng HTTPS, tri?n khai WAF, c?p nh?t ph?n m?m th??ng xuyên, b?t xác th?c hai y?u t?, b?o v? ch?ng l?i DDoS và sao l?u d? li?u.