Récupérer les résultats et positions de la SERP avec Python (scraping)

Voici un texte d’introduction qui présente le code Python que j’ai fourni pour extraire les éléments de la SERP (résultats de recherche, titres, liens, descriptions et positions) d’un moteur de recherche comme Google :

Selenium et Beautiful Soup sont deux bibliothèques Python populaires qui permettent de naviguer et d’analyser le code HTML d’un site web. Dans cet article, nous allons voir comment utiliser ces bibliothèques pour extraire les éléments de la SERP (Search Engine Results Page) d’un moteur de recherche comme Google.

La SERP est la page de résultats de recherche qui s’affiche lorsque vous effectuez une recherche sur un moteur de recherche. Elle contient une liste de résultats de recherche, chacun comprenant un titre, un lien vers la page web, une description et une position dans la liste des résultats.

En utilisant Selenium et Beautiful Soup, nous pouvons naviguer vers la page de résultats de recherche de Google, analyser le code HTML de la page et extraire ces éléments pour chaque résultat de la SERP. Nous verrons comment faire cela en détail dans la suite de cet article en examinant le code Python que j’ai fourni.

Exemple de code Python

Voici un exemple de code Python qui utilise Selenium et la bibliothèque Beautiful Soup pour extraire les éléments de la SERP (résultats de recherche, titres, liens, descriptions et positions) d’un moteur de recherche comme Google :

from selenium import webdriver
from bs4 import BeautifulSoup

# Créer un nouvel objet de navigateur
driver = webdriver.Firefox()

# Naviguer vers la page de résultats de recherche de Google
requete_google = "chaussure randonnée"
driver.get(f"http://www.google.com/search?q={requete_google}")

# Analyser le code HTML de la page avec Beautiful Soup
soup = BeautifulSoup(driver.page_source, "html.parser")

# Extraire les éléments de la SERP
results = soup.find_all("div", class_="g")
for result in results:
    # Extraire le titre
    title = result.find("h3").text
    # Extraire le lien
    link = result.find("a")["href"]
    # Extraire la description
    description = result.find("span", class_="st").text
    # Extraire la position (numéro du résultat)
    position = results.index(result) + 1

    print(f"Position: {position}")
    print(f"Title: {title}")
    print(f"Link: {link}")
    print(f"Description: {description}")

# Fermer le navigateur
driver.quit()

Ce code ouvre un navigateur Firefox, navigue vers la page de résultats de recherche de Google pour la requête « your search query », analyse le code HTML de la page avec Beautiful Soup et extrait les éléments de la SERP. Chaque résultat est imprimé avec sa position, son titre, son lien et sa description. Ensuite, le navigateur est fermé.

Il est important de noter que vous devrez remplacer « your search query » par votre propre requête de recherche. Vous pouvez également utiliser un autre navigateur que Firefox en utilisant une autre classe de webdriver, comme Chrome ou Safari.

Tu veux en savoir plus sur "Google, Firefox, SERP" ? 😎

Comment installer Python sur Windows ?

La première étape de l'apprentissage d'un langage de programmation n'est pas toujours de faire son Hello World souvent il est nécessaire de passer par la…