Przewodnik po skrobaniu publicznej zawartości Dokumentów Google za pomocą Pythona

W dzisiejszych czasach informacje rozprzestrzeniają się w niezwykłym tempie, a wiele plików jest przechowywanych w Dokumentach Google. Tak więc, rzeczywiście, skrobanie danych z Dokumentów Google to świetny sposób na zaoszczędzenie dużej ilości czasu i wysiłku.

W tym artykule przeanalizujemy metody, które pomagają zautomatyzować ten proces. Użyjemy Pythona do skrobania dokumentów Google i zapisywania takich plików w formacie JSON, który jest powszechnym formatem przechowywania danych.

Po co skrobać Dokumenty Google?

Zautomatyzowane pobieranie danych przechowywanych w dokumentach publicznych może być wykorzystywane z różnych powodów. Pomaga zautomatyzować gromadzenie informacji bez konieczności ręcznej interwencji. Jest to bardzo przydatne w przypadku:

• projekty badawcze;
• zadania monitorowania;
• tworzenie prywatnych baz danych.

Skrobanie Dokumentów Google za pomocą Pythona jest również przydatne do analizowania zawartości takich plików. Sprawia to, że usługa ta jest doskonałym źródłem do otrzymywania dokładnych i dogłębnych informacji, które są później przetwarzane za pomocą raportów lub szkolenia systemów uczenia maszynowego.

Kluczowe narzędzia i biblioteki do skrobania Dokumentów Google

Aby skutecznie wykonać skrobanie danych z Dokumentów Google, należy wybrać odpowiednie narzędzia w Pythonie do tego zadania. Niektóre z bibliotek są następujące:

• Requests to podstawowa biblioteka używana do wykonywania czynności związanych z HTTP. Pozwala ona użytkownikowi na pobieranie i wyodrębnianie zawartości HTML.
• BeautifulSoup to narzędzie do przetwarzania, które jest bardzo wydajne do analizowania treści HTML. Korzystając z BeautifulSoup, można łatwo uzyskać wymagane fragmenty tekstu lub elementy z pliku.
• Interfejs API Dokumentów Google umożliwia programową pracę z plikami. Umożliwia dostęp do elementów dokumentu, takich jak tytuły, sekcje, style i inne.

Wybór między tymi narzędziami zależy od tego, czy celem jest odczyt pliku, czy też chcesz wykonywać zaawansowane interakcje za pomocą wywołania API na danych strukturalnych.

Konfiguracja środowiska do skrobania w Dokumentach Google

Teraz chciałbym, abyśmy przeanalizowali, jak skonfigurować środowisko pracy i wykonać opisane procesy.

Krok 1: Przygotowanie środowiska Python

Upewnij się, że masz zainstalowany Python. Następny:

• Skonfiguruj i uruchom środowisko wirtualne:

  
  python -m venv myenv
  myenv\Scripts\activate
  source myenv/bin/activate
  

• Zainstaluj wszystkie wymagane zależności:

  
  pip install requests beautifulsoup4 google-api-python-client gspread google-auth
  

Krok 2: Uzyskanie dostępu do publicznych Dokumentów Google

Otwórz odpowiedni plik. Dokument powinien być publicznie autoryzowany. Wykonaj poniższe kroki:

1. Otwórz plik.
2. Na górnym pasku kliknij "Plik" → "Udostępnij" → "Opublikuj w sieci" lub "Udostępnij" z ustawieniem "Każdy z linkiem może przeglądać".

Bez tego skrypty będą zwracać błędy dostępu.

Krok 3: Badanie struktury adresów URL Dokumentów Google

Gdy tylko dokument zostanie opublikowany, jego adres URL przyjmuje następujący format:

https://docs.google.com/document/d/1AbCdEfGhIjKlMnOpQrStUvWxYz/view

1AbCdEfGhIjKlMnOpQrStUvWxYz - identyfikator pliku. W ten sposób można uzyskać dostęp do dokumentu za pomocą API lub skrobania HTML.

Krok 4: Wybór odpowiedniego podejścia do skrobania danych z Dokumentów Google

Oto dwa podstawowe podejścia do wyodrębniania informacji z takich dokumentów:

• Skrobanie HTML. Jeśli plik został opublikowany jako strona internetowa, można uzyskać do niego dostęp za pomocą żądań i przeanalizować go za pomocą BeautifulSoup.
• Google Docs API. Powinien być stosowany, gdy niesformatowane dane mają być ustrukturyzowane, ponieważ nie wymaga użycia HTML.

HTML wystarcza w mniej złożonych przypadkach, podczas gdy API są niezbędne w bardziej skomplikowanych.

Krok 5: Analizowanie zawartości HTML opublikowanych Dokumentów Google

Gdy plik został opublikowany jako strona internetowa, możliwe jest pobranie jego kodu HTML, a następnie przeanalizowanie go w celu uzyskania odpowiednich informacji:

import requests
from bs4 import BeautifulSoup

url = 'https://docs.google.com/document/d/YOUR_ID/pub'

response = requests.get(url)
if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'html.parser')

    # Wyodrębnienie całego tekstu ze strony
    text = soup.get_text()
    print(text)
else:
    print(f'Access error: {response.status_code}')

Oto działający algorytm:

• Wykonujemy żądanie HTTP get do adresu URL dokumentu, używając na przykład requests.
• Następnie przeanalizuj stronę internetową za pomocą BeautifulSoup.
• Następnie wyczyść zawartość i wyodrębnij odpowiedni zwykły tekst.

Krok 6: Korzystanie z interfejsu API Dokumentów Google do wyodrębniania danych

Jeśli wymagana jest większa precyzja w zakresie potrzebnych informacji, najodpowiedniejszym sposobem jest skorzystanie z obsługi i dokumentacji wydanej przez firmę, a tym samym skorzystanie z Google Docs API.

Kroki inicjujące:

Utwórz projekt w Cloud Console

1. Uzyskaj dostęp do Google Cloud Console.
2. Utwórz nowy projekt.
3. W sekcji "API i usługi" włącz Google Docs API.
4. Utwórz poświadczenia:
   • Wybierz opcję "Konto usługi".
   • Zapisz wygenerowany plik JSON, będziesz go potrzebować w swoim kodzie.

Łączenie się z Google Docs API i pobieranie dokumentów

Wygląda to następująco:

from google.oauth2 import service_account
from googleapiclient.discovery import build

# Ścieżka do pliku JSON konta usługi
SERVICE_ACCOUNT_FILE = 'path/to/your/service_account.json'

# Identyfikator dokumentu
DOCUMENT_ID = 'YOUR_ID'

# Konfiguracja dostępu
credentials = service_account.Credentials.from_service_account_file(
    SERVICE_ACCOUNT_FILE,
    scopes=['https://www.googleapis.com/pl/auth/documents.readonly']
)

service = build('docs', 'v1', credentials=credentials)

# Pobieranie zawartości dokumentu
document = service.documents().get(documentId=DOCUMENT_ID).execute()

# Drukowanie tytułu dokumentu
print('Document title: {}'.format(document.get('title')))

Krok 7: Przechowywanie i analizowanie zeskrobanych danych

Po pozyskaniu danych konieczne jest ich efektywne przechowywanie, aby można je było później odzyskać.

Zapisz do JSON:

import json

# Zakładając, że masz zmienną `data` z wyodrębnioną zawartością
with open('output.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=4)

Następnie można analizować lub zmieniać dane zgodnie z własnymi wymaganiami.

Krok 8: Automatyzacja gromadzenia danych

Ustawienie automatycznych aktualizacji byłoby lepszym rozwiązaniem niż samodzielne wykonywanie skryptu.

Poniżej znajduje się przykład skryptu automatyzacji:

import time

def main():
    # Kod do wyodrębniania i zapisywania danych
    print("Data harvesting...")

# Uruchamianie co 6 godzin
while True:
    main()
    time.sleep(6 * 60 * 60)

Wyzwania i kwestie etyczne

Podczas gdy scraping danych z Dokumentów Google może wydawać się prosty, konkretne wyzwania obejmują:

• Ograniczenia dostępu - dokumenty oznaczone jako "publiczne" mogą nie zezwalać na swobodny dostęp do wszystkich ustawień.
• Zmiany w strukturze HTML - może zmienić kod back-end w dowolnym momencie. To, co jest funkcjonalne dzisiaj, może przestać być funkcjonalne jutro.
• Aktualizacja wymagająca - jeśli dokument jest często aktualizowany, należy określić, w jaki sposób przechwytywać dane najbardziej efektywnie.

Ostatnią i z pewnością najważniejszą kwestią jest etyka:

• Nie naruszaj praw autorskich ani wytycznych dotyczących prywatności.
• Upewnij się, że zebrane dane pochodzą z dokumentów o charakterze publicznym.
• Nigdy nie należy lekceważyć warunków korzystania z usług, ponieważ może to prowadzić do zablokowania konta lub podjęcia kroków prawnych przeciwko użytkownikowi.

Wnioski

Przyjrzeliśmy się dogłębnie skrobaniu danych z Dokumentów Google przy użyciu Pythona. Poziom złożoności twojego projektu będzie decydował o tym, czy wybierzesz skrobanie HTML, czy Google Docs API. Mając do czynienia z dokumentami publicznymi, najlepiej zachować ostrożność i rozważyć prawne konsekwencje skrobania stron internetowych.

Takie skrobanie daje ogromne możliwości, takie jak prowadzenie badań, monitorowanie zmian i rozwijanie wyspecjalizowanych usług. Dzięki tej wiedzy można płynnie zautomatyzować publiczne skrobanie dokumentów Google za pomocą Pythona i usprawnić automatyzację powtarzających się zadań.