Como extrair dados de listas de reprodução do Spotify usando Python

A recolha de dados pode ser descrita como a recolha automatizada de dados de sítios Web e, no caso do Spotify, significa recolher informações sobre faixas, artistas, álbuns e outros elementos úteis para análise ou criação de aplicações de música.

Usar Python ajuda a extrair listas de reprodução do Spotify, bem como o nome do artista e as faixas. Isto é possível graças à API do Spotify, que permite obter dados legalmente e sem violar as regras. No entanto, se a API não fornecer as ferramentas necessárias, pode utilizar o web scraping. O BeautifulSoup e o Selenium são perfeitos para fazer scraping do Spotify.

Neste tutorial de raspagem de dados do Spotify, você aprenderá como instalar bibliotecas, trabalhar com a API do Spotify, aplicar raspagem e salvar dados em CSV.

Instalar as bibliotecas necessárias

Então, já sabemos quais ferramentas são adequadas para raspar os dados do Spotify usando Python. Agora, vamos ver como instalar as bibliotecas necessárias:

pip install beautifulsoup4
pip install selenium
pip install requests

Então, qual é o objetivo de cada um deles?

• BeautifulSoup é uma biblioteca muito útil que permite a recuperação de informação de páginas Web. Percorre o código HTML da página web de cima para baixo e depois extrai os elementos necessários. Também é utilizada no processamento de conteúdos estáticos, por exemplo, para extrair a lista de faixas de uma página que está atualmente aberta.
• Embora o BeautifulSoup funcione muito bem com sítios estáticos, isso não é suficiente para trabalhar com conteúdo dinâmico. Os sites dinâmicos precisam de alguma forma de envolvimento do utilizador e é aí que entra o Selenium. Esta biblioteca ajuda-o a abrir páginas Web de forma programática, a premir botões, a escrever texto, a deslocar-se e a interagir com vários elementos do site.
• A biblioteca Requests é utilizada para criar pedidos HTTP. Com ela, é possível enviar facilmente uma solicitação GET ou POST e manipular APIs. Se não precisar de muito envolvimento com o site, como através do Selenium, então a utilização de Requests é mais simples e direta.

Descarregar o Web Driver

Para que o Selenium possa controlar o browser e interagir com o Spotify, precisa de um web driver. Este é um software especial que pode abrir automaticamente páginas, clicar em botões, etc.

Vamos utilizar o ChromeDriver, descarregá-lo do site oficial, descompactá-lo e guardar o caminho para ele.

from selenium import webdriver

driver_path = "C:/webdriver/chromedriver.exe"  # Substituir pelo seu caminho
driver = webdriver.Chrome(driver_path)
driver.get("https://google.com")

Definir função para extrair os dados

Ao fazer o scraping da lista de reprodução do Spotify, é preciso analisar o código HTML da página e determinar quais elementos contêm as informações necessárias. Vamos começar com o scraping da lista de reprodução do Python Spotify seguindo o guia passo-a-passo abaixo.

1. análise da página HTML

No browser, ao premir F12, pode ver a estrutura HTML onde se encontram os elementos necessários. Exemplo de uma estrutura deste género:

<div class="tracklist-row">
    <span class="track-name">name</span>
    <span class="artist-name">artist</span>
    <span class="track-duration">3:45</span>
</div>

2. Configurar o Selenium

Para recolher informações, utilizaremos o Selenium para carregar conteúdos dinâmicos e o BeautifulSoup para analisar o HTML.

from selenium import webdriver
import time
from bs4 import BeautifulSoup

3. Função para recolher dados de uma lista de reprodução

Abaixo está um exemplo de web scraping do Spotify usando Python, que abre a página da lista de reprodução, analisa o código HTML e extrai informações sobre as músicas.

Como funciona:

1. O browser abre a página da lista de reprodução.
2. O Selenium percorre automaticamente a página para carregar todas as músicas.
3. O BeautifulSoup analisa o código HTML e encontra os elementos necessários por classes.
4. São extraídas informações sobre o título da faixa, o artista e a duração.

def get_spotify_playlist_data(playlist_url):
   # Iniciar o browser através do Selenium
   options = webdriver.ChromeOptions()
   options.add_argument("--headless")  # Executar em modo headless (sem janela do browser)
   driver = webdriver.Chrome(options=options)

   driver.get(playlist_url)
   time.sleep(5)  # Aguardar que a página seja carregada

   # Percorrer a página para carregar todas as faixas
   driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

   # Obter o código HTML da página
   html = driver.page_source
   driver.quit()

   soup = BeautifulSoup(html, "lxml")

   # Encontrar todas as faixas
   tracks = []
   for track in soup.find_all(class_="IjYxRc5luMiDPhKhZVUH UpiE7J6vPrJIa59qxts4"):
       name = track.find(
           class_="e-9541-text encore-text-body-medium encore-internal-color-text-base btE2c3IKaOXZ4VNAb8WQ standalone-ellipsis-one-line").text
       artist = track.find(class_="e-9541-text encore-text-body-small").find('a').text
       duration = track.find(
           class_="e-9541-text encore-text-body-small encore-internal-color-text-subdued l5CmSxiQaap8rWOOpEpk").text

       tracks.append({"track title": name, "artist": artist, "duration": duration})

   return tracks

Chamar a função

Para chamar a função, passe o URL da lista de reprodução do Spotify para ela. A função abre-a, extrai os dados da lista de reprodução do Spotify com Python e devolve uma lista de títulos de músicas, artistas e durações.

playlist_url = "https://open.spotify.com/album/7aJuG4TFXa2hmE4z1yxc3n?si=W7c1b1nNR3C7akuySGq_7g" 

data = get_spotify_playlist_data(playlist_url)
for track in data:
   print(track)

Manipulação de autenticação para a API do Spotify

Para recolher informações da API do Spotify, é necessário um token. Este pode ser obtido através da autenticação. Sem ele, não será possível efetuar pedidos à API. A próxima parte detalhará como isso pode ser feito.

1. Registar a aplicação

Aceda ao Spotify Developer Dashboard, inicie sessão na sua conta ou crie uma, se ainda não a tiver. Depois de iniciar sessão, registe a aplicação, preencha o formulário que inclui um nome e uma descrição. Após a conclusão, ser-lhe-á gerado um ID de cliente e um segredo de cliente.

2. Obter o Token

Para obter o token, vamos utilizar pedidos em Python.

import requests
import base64

# Os dados da sua conta
CLIENT_ID = "client_id"
CLIENT_SECRET = "client_secret"

# Codificação em Base64
credentials = f"{CLIENT_ID}:{CLIENT_SECRET}"
encoded_credentials = base64.b64encode(credentials.encode()).decode()

# Envio de um pedido para obter o token
url = "https://accounts.spotify.com/api/token"
headers = {
    "Authorization": f"Basic {encoded_credentials}",
    "Content-Type": "application/x-www-form-urlencoded"
}
data = {"grant_type": "client_credentials"}

response = requests.post(url, headers=headers, data=data)
token = response.json().get("access_token")

print("Access Token:", token)

Desta forma, anexamos as informações recebidas anteriormente e encriptamo-las de uma determinada forma para garantir que o pedido de obtenção do token é enviado corretamente. Esta é uma medida de segurança comum a muitas API. Depois disso, enviamos um pedido de obtenção do token. Assim que o obtivermos, este será impresso na consola.

3. Fazer pedidos

Assim que tiver o token, pode fazer pedidos.

artist_id = "6qqNVTkY8uBg9cP3Jd7DAH"
url = f"https://api.spotify.com/v1/artists/{artist_id}"

headers = {"Authorization": f"Bearer {token}"}

response = requests.get(url, headers=headers)
artist_data = response.json()

Armazenar dados extraídos

Para guardar os dados recolhidos em formato JSON para análise posterior, utilizaremos a biblioteca Python padrão.

playlist_url = "https://open.spotify.com/album/7aJuG4TFXa2hmE4z1yxc3n?si=W7c1b1nNR3C7akuySGq_7g"


data = get_spotify_playlist_data(playlist_url)


with open('tracks.json', 'w', encoding='utf-8') as json_file:
   json.dump(data, json_file, ensure_ascii=False, indent=4)
   print("Data saved to tracks.json")

Práticas recomendadas para extrair dados de listas de reprodução do Spotify

Seguir práticas éticas facilitará o processo de raspagem do Spotify usando Python. Para isso, obtenha a API oficial do Spotify, pois ela lhe dá acesso legal às informações sem violar nenhuma regra. Ao fazer scraping na web, lembre-se de limitar a taxa de solicitações se a API não estiver atendendo a todos os seus requisitos para evitar a sobrecarga do servidor.

A política do sítio Web encontra-se no ficheiro robots.txt, pelo que deve ser verificada antes de se proceder à recolha de dados do sítio Web. Além disso, os servidores proxy são úteis para evitar bloqueios.

Conclusão

Este guia de recolha de dados mostrou exemplos de recolha de dados Python Spotify, bem como informações adicionais necessárias para o tratamento adequado do processo de recolha de dados.

Vamos destacar os pontos principais:

• Como o BeautifulSoup analisa a página HTML e inclui poderosas funcionalidades de recolha de informações, é perfeitamente adequado para sítios estáticos.
• Quando se trata de sítios dinâmicos que requerem a interação do utilizador, o Selenium é de longe a melhor opção. Permite o acionamento automático de botões, o deslocamento de páginas e a obtenção de conteúdos dinâmicos.
• Existem regras para o scraping ético. Segui-las evitará que alguém seja bloqueado ou sobrecarregue o servidor. É preferível utilizar a API do Spotify em vez de analisar HTML.

A utilização destas ferramentas de scraping do Spotify com Python permite-lhe recolher de forma fácil e rápida os dados necessários, optimizando o processo de análise de conteúdos musicais.