Guia para extrair dados do Google Maps com Python

A extração de dados do Google Maps utilizando Python permite a recolha de informações valiosas sobre localizações, empresas e serviços, o que é benéfico para a análise de mercado, a identificação de novas localizações ideais, a manutenção de diretórios actuais, a análise da concorrência e a avaliação da popularidade dos locais. Este guia fornece um passo-a-passo abrangente sobre como extrair informações do Google Maps utilizando as bibliotecas Python requests e lxml. Inclui instruções detalhadas sobre como efetuar pedidos, tratar respostas, analisar dados estruturados e exportá-los para um ficheiro CSV.

Configuração do seu ambiente

Certifique-se de que tem as seguintes bibliotecas Python instaladas:

• requests;
• lxml;
• csv (biblioteca padrão).

Instale essas bibliotecas usando pip, se necessário:

pip install requests
pip install lxml

Abaixo, apresentaremos um processo de raspagem passo a passo, completo com exemplos.

Guia passo a passo para extrair dados do Google Maps

Nas secções seguintes, apresentaremos um processo detalhado, passo a passo, para a recolha de dados do Google Maps, com exemplos visuais para o guiar em cada fase.

Passo 1. Definir o URL de destino

Especifique o URL a partir do qual pretende extrair dados.

url = "https link"

Passo 2. Definir cabeçalhos e proxies

A configuração de cabeçalhos apropriados é crucial para imitar as actividades de um utilizador genuíno, reduzindo significativamente as hipóteses de o scraper ser sinalizado como um bot. Além disso, a integração de servidores proxy ajuda a manter atividades de raspagem contínuas, contornando quaisquer bloqueios que possam surgir por exceder os limites de solicitação associados a um único endereço IP.

headers = {
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'accept-language': 'en-IN,en;q=0.9',
    'cache-control': 'no-cache',
    'dnt': '1',
    'pragma': 'no-cache',
    'priority': 'u=0, i',
    'sec-ch-ua': '"Not)A;Brand";v="99", "Google Chrome";v="127", "Chromium";v="127"',
    'sec-ch-ua-arch': '"x86"',
    'sec-ch-ua-bitness': '"64"',
    'sec-ch-ua-full-version-list': '"Not)A;Brand";v="99.0.0.0", "Google Chrome";v="127.0.6533.72", "Chromium";v="127.0.6533.72"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-model': '""',
    'sec-ch-ua-platform': '"Linux"',
    'sec-ch-ua-platform-version': '"6.5.0"',
    'sec-ch-ua-wow64': '?0',
    'sec-fetch-dest': 'document',
    'sec-fetch-mode': 'navigate',
    'sec-fetch-site': 'none',
    'sec-fetch-user': '?1',
    'upgrade-insecure-requests': '1',
    'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36',
}

proxies = {
    "http": "http://username:password@your_proxy_ip:port",
    "https": "https://username:password@your_proxy_ip:port",
}

Passo 3. Buscar o conteúdo da página

Envie uma solicitação para o URL do Google Maps e obtenha o conteúdo da página:

import requests

response = requests.get(url, headers=headers, proxies=proxies)
if response.status_code == 200:
    page_content = response.content
else:
    print(f"Failed to retrieve the page. Status code: {response.status_code}")

Passo 4. Analisar o conteúdo HTML

Use lxml para analisar o conteúdo HTML:

from lxml import html

parser = html.fromstring(page_content)

Identificação dos XPaths de dados

Compreender a estrutura do documento HTML é crucial para extrair os dados corretamente. Você precisa identificar as expressões XPath para os pontos de dados que deseja extrair. Veja como fazer isso:

1. Inspecionar a página Web: Abra a página do Google Maps num navegador Web e utilize as ferramentas de programador do navegador (clique com o botão direito do rato > Inspecionar) para examinar a estrutura HTML.
2. Encontrar os elementos relevantes: Procure os elementos HTML que contêm os dados que pretende extrair (por exemplo, nomes de restaurantes, moradas).
3. Escrever XPaths: Com base na estrutura HTML, escreva expressões XPath para extrair os dados. Para este guia, os XPaths são:

Nome do restaurante:

//div[@jscontroller="AtSb"]/div/div/div/a/div/div/div/span[@class="OSrXXb"]/text()

Endereço:

 //div[@jscontroller="AtSb"]/div/div/div/a/div/div/div[2]/text()

Opções:

 = ', '.join(result.xpath('.//div[@jscontroller="AtSb"]/div/div/div/a/div/div/div[4]/div/span/span[1]//text()'))

Latitude geográfica:

//div[@jscontroller="AtSb"]/div/@data-lat

Geo Longitude:

 //div[@jscontroller="AtSb"]/div/@data-lng

Passo 5. Extração de dados

Extrair os dados utilizando os XPaths identificados:

results = parser.xpath('//div[@jscontroller="AtSb"]')
data = []

for result in results:
    restaurant_name = result.xpath('.//div/div/div/a/div/div/div/span[@class="OSrXXb"]/text()')[0]
    address = result.xpath('.//div/div/div/a/div/div/div[2]/text()')[0]
    options = ', '.join(result.xpath('.//div/div/div/a/div/div/div[4]/div/span/span[1]//text()'))
    geo_latitude = result.xpath('.//div/@data-lat')[0]
    geo_longitude = result.xpath('.//div/@data-lng')[0]

    # Anexar à lista de dados
    data.append({
        "restaurant_name": restaurant_name,
        "address": address,
        "options": options,
        "geo_latitude": geo_latitude,
        "geo_longitude": geo_longitude
    })

Passo 6. Guardar dados em CSV

Guarde os dados extraídos num ficheiro CSV:

import csv

with open("google_maps_data.csv", "w", newline='', encoding='utf-8') as csv_file:
    writer = csv.DictWriter(csv_file, fieldnames=["restaurant_name", "address", "options", "geo_latitude", "geo_longitude"])
    writer.writeheader()
    for entry in data:
        writer.writerow(entry)

Código completo

Aqui está o código completo para extrair dados do Google Maps:

import requests
from lxml import html
import csv

# Definir o URL de destino e os cabeçalhos
url = "https://www.google.com/search?sca_esv=04f11db33f1535fb&sca_upv=1&tbs=lf:1,lf_ui:4&tbm=lcl&sxsrf=ADLYWIIFVlh6WQCV6I2gi1yj8ZyvZgLiRA:1722843868819&q=google+map+restaurants+near+me&rflfq=1&num=10&sa=X&ved=2ahUKEwjSs7fGrd2HAxWh1DgGHbLODasQjGp6BAgsEAE&biw=1920&bih=919&dpr=1"
headers = {
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'accept-language': 'en-IN,en;q=0.9',
    'cache-control': 'no-cache',
    'dnt': '1',
    'pragma': 'no-cache',
    'priority': 'u=0, i',
    'sec-ch-ua': '"Not)A;Brand";v="99", "Google Chrome";v="127", "Chromium";v="127"',
    'sec-ch-ua-arch': '"x86"',
    'sec-ch-ua-bitness': '"64"',
    'sec-ch-ua-full-version-list': '"Not)A;Brand";v="99.0.0.0", "Google Chrome";v="127.0.6533.72", "Chromium";v="127.0.6533.72"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-model': '""',
    'sec-ch-ua-platform': '"Linux"',
    'sec-ch-ua-platform-version': '"6.5.0"',
    'sec-ch-ua-wow64': '?0',
    'sec-fetch-dest': 'document',
    'sec-fetch-mode': 'navigate',
    'sec-fetch-site': 'none',
    'sec-fetch-user': '?1',
    'upgrade-insecure-requests': '1',
    'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36',
}
proxies = {
    "http": "http://username:password@your_proxy_ip:port",
    "https": "https://username:password@your_proxy_ip:port",
}

# Obter o conteúdo da página
response = requests.get(url, headers=headers, proxies=proxies)
if response.status_code == 200:
    page_content = response.content
else:
    print(f"Failed to retrieve the page. Status code: {response.status_code}")
    exit()

# Analisar o conteúdo HTML
parser = html.fromstring(page_content)

# Extrair dados utilizando XPath
results = parser.xpath('//div[@jscontroller="AtSb"]')
data = []

for result in results:
    restaurant_name = result.xpath('.//div/div/div/a/div/div/div/span[@class="OSrXXb"]/text()')[0]
    address = result.xpath('.//div/div/div/a/div/div/div[2]/text()')[0]
    options = ', '.join(result.xpath('.//div/div/div/a/div/div/div[4]/div/span/span[1]//text()'))
    geo_latitude = result.xpath('.//div/@data-lat')[0]
    geo_longitude = result.xpath('.//div/@data-lng')[0]

    # Anexar à lista de dados
    data.append({
        "restaurant_name": restaurant_name,
        "address": address,
        "options": options,
        "geo_latitude": geo_latitude,
        "geo_longitude": geo_longitude
    })

# Guardar dados em CSV
with open("google_maps_data.csv", "w", newline='', encoding='utf-8') as csv_file:
    writer = csv.DictWriter(csv_file, fieldnames=["restaurant_name", "address", "options", "geo_latitude", "geo_longitude"])
    writer.writeheader()
    for entry in data:
        writer.writerow(entry)

print("Data has been successfully scraped and saved to google_maps_data.csv.")

Para uma raspagem eficaz da Web, é crucial utilizar os cabeçalhos de pedido e os proxies corretos. As melhores opções de proxy são os proxies de centro de dados ou ISP, que oferecem altas velocidades e baixa latência. No entanto, uma vez que se trata de proxies estáticos, é necessário implementar a rotação de IP para evitar o bloqueio de forma eficaz. Uma opção alternativa e mais fácil de usar é utilizar proxies residenciais. Estes proxies dinâmicos simplificam o processo de rotação e têm um fator de confiança mais elevado, o que os torna mais eficazes para contornar os bloqueios.