Cum se utilizează Python cURL?

de
Tweet
Share
Share
Pin

Explorând cURL: Un Instrument Versatil pentru Linii de Comandă și Integrarea cu Python

cURL este un instrument de linie de comandă remarcabil, care funcționează ca un client HTTP eficient. Popularitatea sa derivă din capacitatea de a efectua cereri HTTP direct din linia de comandă. Flexibilitatea cURL permite utilizarea sa în diverse scenarii, cum ar fi crearea de scripturi pentru extragerea datelor web (web scraping), verificarea funcționalității site-urilor web și descărcarea fișierelor, toate acestea direct din linia de comandă.

Acest utilitar se distinge prin simplitatea sa și prin capacitatea de a fi integrat în numeroase limbaje de programare. Articolul de față oferă o introducere detaliată în lumea cURL, explicând ce este și cum poate fi folosit în contextul limbajului Python.

Ce reprezintă cURL?

Conform definiției de pe site-ul său oficial, cURL se traduce prin „client URL”. Este un instrument de linie de comandă și, totodată, o bibliotecă destinată transferului de date prin diverse protocoale de rețea la nivel de aplicație, printre care se numără HTTP, HTTPS, FTP și IMAP.

Recunoașterea sa este larg răspândită, fiind implementat în peste 10 miliarde de dispozitive, de la radiouri și televizoare la routere, imprimante și computere. Un aspect important este că cURL este un proiect gratuit și cu sursă deschisă. Codul său sursă este disponibil pe platforma GitHub, invitând la colaborare și dezvoltare continuă.

Aplicațiile practice ale cURL

cURL se evidențiază prin utilitatea și versatilitatea sa. Iată câteva dintre cele mai frecvente scenarii de utilizare:

  • Testarea API-urilor: cURL oferă o modalitate eficientă de a verifica dacă un API funcționează corect, asigurând că răspunsurile primite corespund solicitărilor transmise. Permite, de asemenea, evaluarea vitezei de răspuns a API-ului, un factor crucial în performanța generală a aplicației. Se pot crea scripturi care monitorizează continuu starea API-ului și trimit alerte în cazul detectării unor probleme.
  • Extragerea datelor web (Web Scraping): cURL automatizează procesul de preluare a informațiilor de pe paginile web. Integrarea sa cu diverse limbaje de programare și utilizarea ca comandă Bash simplifică procesul. cURL permite colectarea dinamică a datelor, iar analiza ulterioară a codului HTML permite extragerea exactă a informațiilor dorite. Pentru cei interesați de web scraping, recomandăm explorarea API-ului tipstrick.ro Web Scraping, care facilitează semnificativ acest proces.
  • Descărcarea de date: cURL permite salvarea răspunsurilor primite la cereri într-un fișier local. Aceste răspunsuri pot proveni atât din solicitări API, cât și din transferul de fișiere de pe un server. Prin stocarea răspunsului într-un fișier, se realizează practic descărcarea fișierului respectiv. Fiind un instrument de linie de comandă, cURL permite automatizarea descărcării mai multor fișiere simultan.

Integrarea cURL în Python: Utilizarea PycURL

Instalarea PycURL

Pentru a beneficia de funcționalitățile cURL în Python, se utilizează biblioteca PycURL. Aceasta acționează ca o interfață Python pentru biblioteca cURL, oferind un strat suplimentar peste funcționalitățile existente. Datorită acestui design, PycURL devine o opțiune mai rapidă comparativ cu alte biblioteci pentru efectuarea de cereri, cum ar fi urllib sau requests. Pentru a utiliza PycURL, este necesară instalarea sa. Deși există instrucțiuni detaliate disponibile, o metodă simplă este utilizarea pip.

pip install PycURL

În cazul sistemelor Ubuntu 22.04, a fost necesară instalarea unor instrumente suplimentare înainte de a instala PycURL. Se recomandă utilizarea comenzii de mai jos înainte de a instala PycURL cu pip:

sudo apt install libcurl4-openssl-dev libssl-dev

Efectuarea unei solicitări GET simple

Pentru a începe, creați un script Python unde veți scrie codul. Deschideți fișierul cu editorul de text preferat. Vom folosi Vim ca exemplu, dar puteți folosi orice alt editor. Pentru a deschide fișierul cu Vim, folosiți comanda de mai jos:

vim pycurl.py

În acest caz, pycurl.py este numele fișierului nostru, dar îl puteți denumi cum doriți.

Importați clasa cURL din modulul PycURL:

from pycurl import Curl

După importul PycURL, importăm BytesIO din modulul io. Aceasta ne va permite să creăm un buffer unde vom stoca răspunsul primit de la PycURL.

from io import BytesIO

Apoi, creăm o nouă instanță a clasei Curl:

c = Curl()

Instanțiem BytesIO pentru a crea un buffer nou. PycURL nu dispune de un mecanism de stocare încorporat pentru răspunsuri, astfel încât trebuie să creăm un buffer și să indicăm unde să scrie datele:

buffer = BytesIO()

Odată ce bufferul este creat, putem configura opțiunile pentru obiectul client. În acest caz, setăm două opțiuni: adresa URL la care trimitem solicitarea și locul unde dorim să scriem conținutul răspunsului. Iată codul care realizează acest lucru:

c.setopt(c.URL, 'http://pycurl.io/')
c.setopt(c.WRITEDATA, buffer)

După configurarea opțiunilor, trimitem cererea apelând metoda perform a obiectului client, apoi închidem conexiunea cu metoda close:

c.perform()
c.close()

Pentru a accesa conținutul răspunsului, folosim metoda getvalue() a obiectului buffer și decodificăm conținutul. Apoi îl putem afișa în consolă:

body = buffer.getvalue()
print(body.decode('iso-8859-1'))

Scriptul final ar trebui să arate astfel:

from pycurl import Curl
from io import BytesIO

# Create a pycUrl instance
c = Curl()
buffer = BytesIO()

c.setopt(c.URL, 'http://pycurl.io/')
c.setopt(c.WRITEDATA, buffer)

# Make the request
c.perform()

# Close the connection
c.close()

body = buffer.getvalue()
print(body.decode('iso-8859-1'))

După executarea scriptului, veți obține un rezultat similar cu acesta:

Efectuarea unei solicitări POST

Pentru a efectua o solicitare POST, trebuie să configurăm opțiunea POSTFIELDS a obiectului client cURL. Următorul exemplu demonstrează o solicitare POST către API-ul JSON Placeholder:

from io import BytesIO
from json import dumps
from pycurl import Curl

# Create a pycUrl instance
c = Curl()
buffer = BytesIO()

# Create a data dictionary
data = {
    'userId': 1,
    'title': 'Lorem Ipsum',
    'body': 'Dolor sit amet'
}

# Encode the data to json
encoded_data = dumps(data)

# Set request options
c.setopt(c.URL, 'https://jsonplaceholder.typicode.com/posts')
c.setopt(c.HTTPHEADER, ['Accept: application/json', 'Content-Type: application/json'])
c.setopt(c.POSTFIELDS, encoded_data)
c.setopt(c.WRITEDATA, buffer)

# Make the request
c.perform()

# Close the connection
c.close()

body = buffer.getvalue()
print(body.decode('iso-8859-1'))

În codul de mai sus, am creat un obiect dicționar cu datele pe care le vom trimite ca parte a solicitării. Apoi, am codificat datele în format JSON și le-am inclus în cerere prin configurarea opțiunii POSTFIELDS cu datele codificate. De asemenea, am specificat anteturile pentru a indica tipul de conținut al cererii și formatul de date al răspunsului acceptat. La executarea codului, ar trebui să obțineți un răspuns similar cu cel afișat mai jos.

Salvarea răspunsurilor în fișiere

Puteți utiliza un buffer de fișier în locul unui buffer de memorie prin intermediul opțiunii cURL WRITEDATA. Acest lucru permite salvarea directă a răspunsului într-un fișier. Exemplul următor ilustrează acest concept:

from pycurl import Curl

file_name="output.json"

# Opening the file in write mode
with open(file_name, 'wb') as f:
    
    # Creating a Curl instance
    c = Curl()

    # Set request options
    c.setopt(c.URL, 'https://jsonplaceholder.typicode.com/users/1')
    c.setopt(c.HTTPHEADER, ['Accept: application/json'])
    c.setopt(c.WRITEDATA, f)

    # Make the request
    c.perform()

    # Close the connection
    c.close()

    print(f'Wrote output to {file_name}')

Alternative la PycURL

PycURL oferă un strat minimal peste biblioteca cURL, ceea ce îi conferă flexibilitate și control asupra funcțiilor de nivel inferior. Cu toate acestea, complexitatea sa poate fi un dezavantaj pentru unii, fiind mai orientat către dezvoltatorii cu experiență. Din acest motiv, uneori este preferată o alternativă mai simplă. În această secțiune, vom discuta alternativele disponibile.

#1. Alte biblioteci

În afară de PycURL, Python oferă și alte biblioteci pentru efectuarea de solicitări, inclusiv „requests” și „urllib”. Acestea reprezintă alternative populare și mai accesibile comparativ cu PycURL.

#2. Alte limbaje

cURL are interfețe implementate în diverse limbaje de programare. O resursă utilă este Curl Converter, un site web care permite transformarea comenzilor cURL în cod echivalent în diferite limbaje de programare. Puteți, de asemenea, să apelați direct comanda cURL în terminal sau să o includeți într-un script Bash.

Concluzie

În acest articol, am prezentat cURL și am explicat cum poate fi utilizat în Python cu ajutorul modulului PycURL. Am discutat, de asemenea, despre alternativele la PycURL, cum ar fi modulul „requests” și utilizarea altor limbaje de programare. Pentru o înțelegere mai profundă, vă încurajăm să explorați exemple de utilizare a cURL în condiții reale.