Python Web Scraping Tutorial: Kako pridobiti podatke iz spletnih strani

Spletno strganje je močna tehnika, ki vam omogoča, da samodejno pridobivate in analizirate podatke iz spletnih strani. S pomočjo Pythona bo to enostavno! Ne glede na to, ali želite zbirati podatke za raziskave, avtomatizirati ponavljajoče naloge ali se preprosto zabavati, Python ponuja orodja, ki vam to omogočajo. Ta vodič vam bo pomagal obvladati osnove spletnega strganja in vas usmeril skozi postopek, tako da boste lahko začeli uporabljati spletno strganje za svoje projekte.

Kaj je spletno strganje?

Spletno strganje je postopek samodejnega pridobivanja in analiziranja podatkov s spletnih strani. Predstavljajte si, da imate robota, ki obišče spletno stran, prebere njeno vsebino in iz nje izlušči podatke, ki jih potrebujete. Spletno strganje lahko vključuje zbiranje informacij, kot so cene izdelkov, novice, vremenska napoved ali katere koli druge vrste podatkov, ki jih najdete na spletni strani. Python omogoča enostavno spletno strganje s pomočjo različnih knjižnic.

Zakaj uporabiti Python za spletno strganje?

Python velja za eno najboljših programskih jezikov za spletno strganje, saj je preprost za uporabo in ima močne knjižnice, ki omogočajo učinkovito strganje podatkov. Python omogoča samodejno nalaganje spletnih strani, pridobivanje HTML vsebine in shranjevanje podatkov v strukturirane formate, kot so CSV datoteke ali podatkovne baze. Knjižnice, kot so BeautifulSoup, Requests in Scrapy, omogočajo enostavno spletno strganje.

Orodja, ki jih potrebujete za spletno strganje

PRED začetkom spletnega strganja boste potrebovali nekaj knjižnic, vendar ne skrbite – Python omogoča enostavno namestitev vseh potrebnih orodij. Najpogosteje uporabljene knjižnice za spletno strganje v Pythonu so:

• Requests: Knjižnica, ki vam omogoča pošiljanje HTTP zahtevkov za pridobivanje HTML vsebine spletne strani.
• BeautifulSoup: Knjižnica, ki omogoča analizo HTML in XML dokumentov. Pomoč vam bo pri navigaciji po strukturi spletne strani ter izvlečenju podatkov.
• Pandas: Knjižnica za manipulacijo z podatki, odlična za organizacijo in shranjevanje podatkov, ki jih pridobite s strganjem.

Te knjižnice lahko enostavno namestite s pomočjo orodja pip:

pip install requests beautifulsoup4 pandas

Korak-po-korak vodič za spletno strganje s Pythonom

Začnimo s pisanjem preprostega Python skripta, ki bo strgal podatke iz spletne strani. Uporabili bomo knjižnici Requests in BeautifulSoup za pridobivanje informacij s spletne strani.

Korak 1: Pošiljanje zahtevka na spletno stran

Prvi korak pri strganju podatkov je pošiljanje zahtevka na spletno stran, ki jo želite strgati. Knjižnica Requests naredi to zelo enostavno. Tukaj je, kako pošljemo GET zahtevek za pridobivanje HTML vsebine spletne strani:

import requests

# Pošljemo GET zahtevek na spletno stran
url = "https://example.com"
response = requests.get(url)

# Preverimo, ali je zahtevek uspešen
if response.status_code == 200:
    print("Zahtevek je bil uspešen!")
    print(response.text)  # Izpišemo HTML vsebino strani
else:
    print("Napaka pri pridobivanju strani.")

Ta skript pošlje GET zahtevek na določeni URL in izpiše HTML vsebino, če je zahtevek uspešen. Če stran ni bila pravilno naložena, bo izpisal napako.

Korak 2: Analiza HTML vsebine z BeautifulSoup

Ko imate HTML vsebino, jo morate analizirati, da boste lahko navigirali in izluščili podatke. Tukaj pa pride v igro BeautifulSoup. BeautifulSoup vam omogoča, da preprosto iščete specifične elemente v HTML strukturi.

Spremenimo kodo tako, da bo analizirala HTML vsebino in izvlekla naslov spletne strani:

from bs4 import BeautifulSoup

# Analiziramo HTML vsebino
soup = BeautifulSoup(response.text, 'html.parser')

# Izvlečemo naslov spletne strani
title = soup.title.string
print("Naslov spletne strani:", title)

Ta koda analizira HTML vsebino z BeautifulSoup in izvleče naslov spletne strani. Na enak način lahko izvlečete tudi druge elemente, kot so naslovi, odstavki ali povezave.

Korak 3: Izvlečenje podatkov iz HTML elementov

Zdaj, ko znamo analizirati HTML, si oglejmo, kako izvlečemo specifične podatke s spletne strani. HTML elementi, kot so <div>, <a> in <h1>, imajo različne atribute, ki jih lahko uporabimo za iskanje teh elementov.

Recimo, da želite izvleči vse povezave (URL-je) s spletne strani. To lahko storite z iskanjem vseh <a> oznak in pridobivanjem href atributa:

# Najdemo vse  oznake na strani
links = soup.find_all('a')

# Izvlečemo href atribut (URL) vsake povezave
for link in links:
    print(link.get('href'))

import pandas as pd

# Ustvarimo seznam povezav
links_list = [link.get('href') for link in links]

# Shranimo povezave v DataFrame
df = pd.DataFrame(links_list, columns=["Povezave"])

# Shranimo DataFrame v CSV datoteko
df.to_csv('scraped_links.csv', index=False)

try:
    response = requests.get(url)
    response.raise_for_status()  # Povzroči napako za napačne odgovore
except requests.exceptions.RequestException as e:
    print("Prišlo je do napake:", e)