O que é Puppeteer e como usar na raspagem de dados | Guia Completo 2024

A raspagem de dados tornou-se uma habilidade crucial para qualquer pessoa que lida com extra??o de dados da web. Se você é um desenvolvedor, cientista de dados ou entusiasta procurando reunir informa??es de sites, o Puppeteer é uma das ferramentas mais poderosas à sua disposi??o. Este guia completo irá explorar o que é o Puppeteer e como utilizá-lo efetivamente na raspagem de dados da web.

Introdu??o ao Puppeteer

O Puppeteer é uma biblioteca Node que fornece uma API de alto nível para controlar o Chrome ou o Chromium através do Protocolo DevTools. ? mantido pela equipe do Google Chrome e oferece aos desenvolvedores a capacidade de realizar uma variedade de tarefas do navegador, como gerar capturas de tela, raspar websites e, mais importante, fazer raspagem de dados da web. O Puppeteer é altamente popular devido às suas capacidades de navega??o sem interface gráfica, o que o torna ideal para tarefas automatizadas.

Lutando com falhas repetidas na resolu??o completa do irritante captcha? Descubra a resolu??o automática e sem problemas de captchas com a tecnologia AI-powered Auto Web Unblock do CapSolver!

Reivindique seu Código de B?nus para as principais solu??es de captcha; CapSolver: WEBS. Depois de resgatá-lo, você receberá um b?nus extra de 5% após cada recarga, ilimitado.

Por que usar o Puppeteer para raspagem de dados?

Axios e Cheerio s?o ótimas escolhas para raspagem de dados em JavaScript, mas têm limita??es: lidar com conteúdo din?mico e contornar mecanismos anti-raspagem.

Como um navegador sem cabe?a, o Puppeteer se destaca na raspagem de conteúdo din?mico. Ele carrega completamente a página-alvo, executa JavaScript e pode até mesmo disparar solicita??es XHR para recuperar dados adicionais. Isso é algo que raspadores estáticos n?o conseguem alcan?ar, especialmente com Aplica??es de Página ?nica (SPAs) onde o HTML inicial n?o contém dados significativos.

O que mais o Puppeteer pode fazer? Ele pode renderizar imagens, capturar screenshots e tem uma extens?o para resolver vários captchas como reCAPTCHA, captcha, captcha. Por exemplo, você pode programar seu script para navegar por uma página, tirar screenshots em intervalos específicos e analisar essas imagens para obter insights competitivos. As possibilidades s?o praticamente ilimitadas!

Uso Simples do Puppeteer

Nós já completamos a primeira parte do ScrapingClub usando Selenium e Python. Agora, vamos usar o Puppeteer para completar a segunda parte.

Antes de come?armos, certifique-se de ter o Puppeteer instalado em sua máquina local. Se ainda n?o tiver, você pode instalá-lo usando os seguintes comandos:

npm i puppeteer # Faz o download do Chrome compatível durante a instala??o.
npm i puppeteer-core # Alternativamente, instala como uma biblioteca, sem fazer o download do Chrome.

Acessando uma Página da Web

const puppeteer = require('puppeteer');

(async function() {
    const browser = await puppeteer.launch({headless: false});
    const page = await browser.newPage();
    await page.goto('https://scrapingclub.com/exercise/detail_json/');

    // Pausa por 5 segundos
    await new Promise(r => setTimeout(r, 5000));
    await browser.close();
})();

O método puppeteer.launch é usado para iniciar uma nova inst?ncia do Puppeteer e pode aceitar um objeto de configura??o com várias op??es. O mais comum é headless, que especifica se o navegador deve ser executado no modo sem cabe?a. Se você n?o especificar este par?metro, ele será padr?o para true. Outras op??es comuns de configura??o s?o as seguintes:

Configurando o Tamanho da Janela

Para obter a melhor experiência de navega??o, precisamos ajustar dois par?metros: o tamanho da viewport e o tamanho da janela do navegador. O código é o seguinte:

const puppeteer = require('puppeteer');

(async function() {
    const browser = await puppeteer.launch({
        headless: false,
        args: ['--window-size=1920,1080']
    });
    const page = await browser.newPage();
    await page.setViewport({width: 1920, height: 1080});
    await page.goto('https://scrapingclub.com/exercise/detail_json/');

    // Pausa por 5 segundos
    await new Promise(r => setTimeout(r, 5000));
    await browser.close();
})();

Extraindo Dados

No Puppeteer, existem vários métodos para extrair dados.

1. Usando o Método evaluate

   O método evaluate executa código JavaScript no contexto do navegador para extrair os dados necessários.

   javascript Copy

   const puppeteer = require('puppeteer');
   
   (async function () {
       const browser = await puppeteer.launch({
           headless: false,
           args: ['--window-size=1920,1080']
       });
       const page = await browser.newPage();
       await page.setViewport({width: 1920, height: 1080});
       await page.goto('https://scrapingclub.com/exercise/detail_json/');
   
       const data = await page.evaluate(() => {
           const image = document.querySelector('.card-img-top').src;
           const title = document.querySelector('.card-title').innerText;
           const price = document.querySelector('.card-price').innerText;
           const description = document.querySelector('.card-description').innerText;
           return {image, title, price, description};
       });
   
       console.log('Nome do produto:', data.title);
       console.log('Pre?o do produto:', data.price);
       console.log('Imagem do produto:', data.image);
       console.log('Descri??o do produto:', data.description);
   
       // Pausa por 5 segundos
       await new Promise(r => setTimeout(r, 5000));
       await browser.close();
   })();

2. Usando o Método $eval

   O método $eval seleciona um único elemento e extrai seu conteúdo.

   javascript Copy

   const puppeteer = require('puppeteer');
   
   (async function () {
       const browser = await puppeteer.launch({
           headless: false,
           args: ['--window-size=1920,1080']
       });
       const page = await browser.newPage();
       await page.setViewport({width: 1920, height: 1080});
       await page.goto('https://scrapingclub.com/exercise/detail_json/');
   
       const title = await page.$eval('.card-title', el => el.innerText);
       const price = await page.$eval('.card-price', el => el.innerText);
       const image = await page.$eval('.card-img-top', el => el.src);
       const description = await page.$eval('.card-description', el => el.innerText);
   
       console.log('Nome do produto:', title);
       console.log('Pre?o do produto:', price);
       console.log('Imagem do produto:', image);
       console.log('Descri??o do produto:', description);
   
       // Pausa por 5 segundos
       await new Promise(r => setTimeout(r, 5000));
       await browser.close();
   })();

3. Usando o Método $$eval

   O método $$eval seleciona vários elementos de uma vez e extrai seus conteúdos.

   javascript Copy

   const puppeteer = require('puppeteer');
   
   (async function () {
       const browser = await puppeteer.launch({
           headless: false,
           args: ['--window-size=1920,1080']
       });
       const page = await browser.newPage();
       await page.setViewport({width: 1920, height: 1080});
       await page.goto('https://scrapingclub.com/exercise/detail_json/');
   
       const data = await page.$$eval('.my-8.w-full.rounded.border > *', elements => {
           const image = elements[0].querySelector('img').src;
           const title = elements[1].querySelector('.card-title').innerText;
           const price = elements[1].querySelector('.card-price').innerText;
           const description = elements[1].querySelector('.card-description').innerText;
           return {image, title, price, description};
       });
   
       console.log('Nome do produto:', data.title);
       console.log('Pre?o do produto:', data.price);
       console.log('Imagem do produto:', data.image);
       console.log('Descri??o do produto:', data.description);
   
       // Pausa por 5 segundos
       await new Promise(r => setTimeout(r, 5000));
       await browser.close();
   })();

4. Usando os Métodos page.$ e evaluate

   O método page.$ seleciona elementos e o método evaluate executa código JavaScript no contexto do navegador para extrair dados.

   javascript Copy

   const puppeteer = require('puppeteer');
   
   (async function () {
       const browser = await puppeteer.launch({
           headless: false,
           args: ['--window-size=1920,1080']
       });
       const page = await browser.newPage();
       await page.setViewport({width: 1920, height: 1080});
       await page.goto('https://scrapingclub.com/exercise/detail_json/');
   
       const imageElement = await page.$('.card-img-top');
       const titleElement = await page.$('.card-title');
       const priceElement = await page.$('.card-price');
       const descriptionElement = await page.$('.card-description');
       const image = await page.evaluate(el => el.src, imageElement);
       const title = await page.evaluate(el => el.innerText, titleElement);
       const price = await page.evaluate(el => el.innerText, priceElement);
       const description = await page.evaluate(el => el.innerText, descriptionElement);
   
       console.log('Nome do produto:', title);
       console.log('Pre?o do produto:', price);
       console.log('Imagem do produto:', image);
       console.log('Descri??o do produto:', description);
   
       // Pausa por 5 segundos
       await new Promise(r => setTimeout(r, 5000));
       await browser.close();
   })();

Contornando Prote??es Anti-Raspagem

Completar os exercícios do ScrapingClub é relativamente simples. No entanto, em cenários reais de raspagem de dados, obter informa??es nem sempre é t?o fácil. Alguns sites utilizam tecnologias anti-raspagem que podem detectar seu script como um bot e bloqueá-lo. A situa??o mais comum envolve desafios CAPTCHA, como captcha, captcha, recaptcha, captcha e captcha.

Para resolver esses desafios CAPTCHA, é necessário ter experiência extensiva em aprendizado de máquina, engenharia reversa e contramedidas de impress?o digital do navegador, o que pode consumir uma quantidade significativa de tempo.

Felizmente, você n?o precisa mais lidar com todo esse trabalho sozinho. O CapSolver oferece uma solu??o abrangente que ajuda você a resolver facilmente todos os desafios. O CapSolver oferece uma extens?o para navegador que permite resolver automaticamente desafios CAPTCHA enquanto usa o Puppeteer para raspagem de dados. Além disso, ele fornece um método de API para resolver CAPTCHAs e obter tokens. Tudo isso pode ser feito em apenas alguns segundos. Confira este documento para descobrir como resolver os vários desafios CAPTCHA que você encontrar!

Conclus?o

A raspagem de dados é uma habilidade inestimável para qualquer pessoa envolvida na extra??o de dados da web e o Puppeteer, como uma ferramenta com uma API avan?ada e recursos poderosos, é uma das melhores escolhas para alcan?ar esse objetivo. Sua capacidade de lidar com conteúdo din?mico e resolver mecanismos anti-raspagem o destaca entre as ferramentas de raspagem disponíveis.

Neste guia, exploramos o que é o Puppeteer, suas vantagens na raspagem de dados da web e como configurá-lo e utilizá-lo de forma eficaz. Demonstramos com exemplos como acessar páginas da web, configurar tamanhos de viewport e extrair dados usando diversos métodos. Além disso, discutimos os desafios impostos por tecnologias anti-raspagem e como o CapSolver oferece uma solu??o poderosa para o desafio CAPTCHA.