En este tutorial voy a explicar paso a paso como utilizar la biblioteca Requests de Python, que nos permite realizar de forma sencilla solicitudes HTTP.
El Protocolo HTTP
Sabemos que HTTP (Hypertext Transfer Protocol) es un protocolo para la transmisión de datos en la Web. Por lo que cuando visitamos una página web, nuestro navegador está realizando una serie de solicitudes HTTP a servidor que tiene alojada la página.
La librería de Python Requests nos facilita la escritura de programas que necesitan enviar y recibir información a través de HTTP. Esto significa que en vez de tener que aprender al detalle como funciona el protocolo HTTP, podemos realizar este tipo de conexiones usando objetos de Python, a través de los cuales podemos enviar/recibir mensajes usando los métodos y atributos proporcionados por estos objetos.
Instalación
Para instalar requests, utilizamos pip, el sistema de gestión de paquetes de Python.
|
1 |
$ pip install requests |
Una vez instalado, podemos importarlo desde el intérprete de comandos de Python, para comprobar que se ha instalado correctamente.
|
1 |
>>> import requests |
Métodos HTTP
Los métodos más utilizados por el protocolo HTTP son GET y POST y otros menos utilizados son PUT, HEAD, DELETE, PATCH y OPTIONS.
El método GET es utilizado para solicitar datos y se compone de pares de valores (name y value) los cuales son enviados a través de la dirección URL (Uniform Resource Locator).
|
1 |
https://domain.com?option1=value&option2=value2 |
Lo más importante que debemos saber sobre el método GET es que no debemos usarlo cuando tratamos con información relevante. Para enviar datos a un servidor de forma segura utilizaremos el método POST. El método POST nos permite enviar datos sensibles y no serán guardados ni en la caché, historial, favoritos, etc …
Modo de Uso
Para empezar a familiarizarnos con Requests vamos a utilizar el método get() y recibimos el contenido de este mismo blog. La URL le indica a la librería Requests el protocolo y la dirección que queremos consultar. Como resultado obtenemos un objeto.
|
1 2 3 4 5 |
>>> import requests >>> url = 'https://blog.artegrafico.net' >>> r = requests.get(url) >>> print(r) <Response [200]> |
¿Qué es Response?
Response es un objeto con el resultado de nuestra solicitud y el valor que le sigue es el código de estado de dicha solicitud. En este caso 200 indica que la solicitud ha sido completada con éxito.
Podemos acceder al código de estado de una solicitud a través del atributo status_code.
|
1 2 |
>>> r.status_code 200 |
Contenido de una Solicitud
Podemos acceder al contenido de una solicitud a través del atributo content. Veamos los primeros 100 caracteres de la solicitud.
|
1 2 3 |
>>> import requests >>> url = 'https://blog.artegrafico.net' >>> r = requests.get(url, stream=True) |
|
1 2 |
>>> r.content[:100] b'\n<!DOCTYPE html>\n<html lang="es">\n<head>\n <meta charset="UTF-8">\n <meta http-equiv="X-UA-Compa' |
El texto HTML (Hypertext Markup Language) puede ser complicado de leer, pero tu navegador sabe cómo interpretarlo. No hemos tenido que escribir nada de código para encontrar el servidor, realizar la conexión, construir el mensaje HTTP, esperar y decodificar la respuesta.
En el «hipotético caso» de que necesitemos acceder al contenido en bruto (raw) de una solicitud, tenemos que usar el argumento stream=True en la solicitud.
|
1 2 3 4 |
>>> r.raw.read()[:100] b'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03\xed}\xdbr\xdc\xb6\xb2\xe8\xb3]\xb5\xfe\x01\x9e\xd4\xb64;\xc3\xb9_u\xcb\xb6\x15\xe5Vr\xe2X\xca\xc9\xda\xe5\xb8\\\x18\x123\x03\x99C\xd2\x04)i\x92\xf8_V\x1eW\x9dZ\x0f\xa7\xd6\xdb>\x0f\xa7*\xfa\xb1\xd3\r\x80\xd7\xa14\x17II\x94\x8c\xaa\xec!\x01\xb0\xd1ht7\xba\x81\x06\xf0x\xef' >>> r.headers['Content-Encoding'] 'gzip' |
Pero, ¿Qué significa todo esto?, Cuando comprobamos el atributo Content-Encoding en las cabeceras de la solicitud, nos indica que la respuesta ha sido comprimida en formato Gzip, por lo que el contenido ha necesitado ser descomprimido mucho antes de que nosotros pudiéramos leerlo en formato HTML. Por suerte esto es algo que realiza la librería Requests por nosotros.
Para comprobar la codificación de dichos datos utilizamos el atributo encoding.
|
1 2 |
>>> r.encoding 'UTF-8' |
Las Cabeceras
Las cabeceras también pueden aportarnos información útil y para leer su contenido utilizamos el atributo headers.
|
1 2 |
>>> r.headers {'Connection': 'keep-alive', 'Date': 'Sat, 10 Apr 2021 12:48:08 GMT', 'Vary': 'Accept-Encoding', 'Content-Length': '11030', 'Server': 'nginx', 'Link': '<https://blog.artegrafico.net/wp-json/>; rel="https://api.w.org/"', 'X-Powered-By': 'PHP/7.4.8, PleskLin', 'Content-Encoding': 'gzip', 'Content-Type': 'text/html; charset=UTF-8'} |
Parámetros
Para enviar parámetros a través de la URL, necesitamos hacer uso del argumento params en el método get().
|
1 2 |
p = { 's': 'python' } response = requests.get( 'http://blog.artegrafico.net', params=p ) |
Siempre que necesitamos enviar datos sensibles y que necesitan ser codificados utilizamos POST con el argumento data y sus parámetros en el método post().
|
1 2 |
>>> p = { 's': 'python' } >>> response = requests.post( 'http://blog.artegrafico.net', data=p ) |
Pero, ¿Dónde ha ido toda la información relacionada con estos parámetros?. Serán parte del body o cuerpo del mensaje HTTP. Para ello tenemos que consultar el atributo body.
|
1 |
>>> response.request.body |
Si lo que queremos es enviar un fichero, utilizamos el argumento files.
|
1 2 |
>>> files = { 'file': open('file.doc', 'rb') } >>> r = requests.post( url, files=files ) |
Es muy común enviar y recibir datos en formato JSON y el módulo Request puede realizar la conversión por nosotros usando el parámetro json.
|
1 2 3 4 5 |
>>> r = requests.post("https://domain.com/path/to/api", json=p) >>> response.request.url 'https://example.com/path/to/api' >>> response.request.body b'{"param1": "value1", "param2": "value2", "param3": 'value3'}' |
TimeOuts
Podemos detener una solicitud indicando el tiempo exacto en milisegundos, para ello usamos el argumento timeout en el método que estemos utilizando.
|
1 |
r = requests.post('http://blog.artegrafico.net', data=p, timeout=2.000) |
Documentación
Más documentación de la librería Requests siguiendo este enlace.
En el caso de tener problemas a la hora de acceder al contenido de una URL, ya sea por disponer de Anti-Bots u otro tipo de protección de Cloudflare podemos usar el módulo de Python Cloudflare-scrape, cuyo funcionamiento se complementa con el módulo Request. Más información en este mismo Blog siguiendo este enlace.
