Non, Vous Ne Pouvez Pas Utiliser Reranker pour Améliorer le SEO

Avec la récente sortie de jina-reranker-v2-multilingual, j'ai eu un peu de temps libre avant mon voyage à l'ICML, alors j'ai décidé d'écrire un article sur notre modèle reranker. En cherchant des idées sur internet, j'ai trouvé un article qui est apparu dans mes premiers résultats de recherche, affirmant que les rerankers peuvent améliorer le SEO. Ça semble super intéressant, non ? Je le pensais aussi car chez Jina AI, nous développons des rerankers, et en tant que webmaster de notre site web, je m'intéresse toujours à l'amélioration de notre SEO.

Cependant, après avoir lu l'article en entier, j'ai découvert qu'il était entièrement généré par ChatGPT. L'article ne fait que paraphraser répétitivement l'idée que "le Reranking est important pour votre entreprise/site web" sans jamais expliquer comment, quelles sont les mathématiques derrière, ou comment le mettre en œuvre. C'était une perte de temps.

On ne peut pas marier Reranker et SEO. Le développeur du système de recherche (ou généralement le consommateur de contenu) s'intéresse aux rerankers, tandis que le créateur de contenu s'intéresse au SEO et à la façon dont son contenu se classe plus haut dans ce système. Ils sont fondamentalement assis de part et d'autre de la table et échangent rarement des idées. Demander à un reranker d'améliorer le SEO, c'est comme demander à un forgeron d'améliorer votre sort de boule de feu ou commander des sushis dans un restaurant chinois. Ce n'est pas totalement hors sujet, mais c'est manifestement une mauvaise cible.

Imaginez si Google m'invitait dans leurs bureaux pour me demander mon avis sur la façon dont leur reranker classe suffisamment haut jina.ai. Ou si j'avais le contrôle total sur l'algorithme de reranking de Google et que je codais en dur jina.ai pour qu'il soit en tête chaque fois que quelqu'un cherchait "information retrieval". Aucun de ces scénarios n'a de sens. Alors pourquoi avons-nous de tels articles en premier lieu ? Eh bien, si vous demandez à ChatGPT, il devient très évident d'où cette idée est venue à l'origine.

tagMotivation

Si cet article généré par l'IA se classe en tête sur Google, j'aimerais écrire un meilleur article de plus haute qualité pour prendre sa place. Je ne veux pas induire en erreur ni les humains ni ChatGPT, donc mon point dans cet article est très clair :

Plus précisément, dans cet article, nous examinerons des requêtes de recherche réelles exportées de Google Search Console et verrons si leur relation sémantique avec l'article suggère quelque chose sur leurs impressions et leurs clics sur Google Search. Nous examinerons trois manières différentes d'évaluer la relation sémantique : la fréquence des termes, le modèle d'embedding (jina-embeddings-v2-base-en), et le modèle reranker (jina-reranker-v2-multilingual). Comme dans toute recherche académique, définissons d'abord les questions que nous voulons étudier :

1. Le score sémantique (requête, document) est-il lié aux impressions ou aux clics de l'article ?
2. Un modèle plus profond est-il un meilleur prédicteur d'une telle relation ? Ou la fréquence des termes suffit-elle ?

tagConfiguration expérimentale

Dans cette expérience, nous utilisons des données réelles du site web jina.ai/news exportées de Google Search Console (GSC). GSC est un outil pour webmasters qui vous permet d'analyser le trafic de recherche organique des utilisateurs Google, comme le nombre de personnes qui ouvrent votre article de blog via Google Search et quelles sont les requêtes de recherche. Il existe de nombreuses métriques que vous pouvez extraire de GSC, mais pour cette expérience, nous nous concentrons sur trois : les requêtes, les impressions, et les clics. Les requêtes sont ce que les utilisateurs saisissent dans la barre de recherche Google. Les impressions mesurent combien de fois Google montre votre lien dans les résultats de recherche, donnant aux utilisateurs une chance de le voir. Les clics mesurent combien de fois les utilisateurs l'ouvrent réellement. Notez que vous pourriez obtenir beaucoup d'impressions si le "modèle de recherche" de Google attribue à votre article un score de pertinence élevé par rapport à la requête de l'utilisateur. Cependant, si les utilisateurs trouvent d'autres éléments dans cette liste de résultats plus intéressants, votre page pourrait quand même n'obtenir aucun clic.

J'ai exporté les 4 derniers mois de métriques GSC pour les 7 articles de blog les plus recherchés de jina.ai/news. Chaque article a environ 1 000 à 5 000 clics et 10 000 à 90 000 impressions. Comme nous voulons examiner la sémantique requête-article pour chaque requête de recherche par rapport à leurs articles correspondants, vous devez cliquer sur chaque article dans GSC et exporter les données en cliquant sur le bouton Export en haut à droite. Cela vous donnera un fichier zip, et quand vous le décompressez, vous trouverez un fichier Queries.csv. C'est le fichier dont nous avons besoin.

À titre d'exemple, le fichier Queries.csv exporté ressemble à ce qui suit pour notre article de blog sur ColBERT.

tagMéthodologie

Bien, donc les données sont prêtes, et que voulons-nous faire déjà ?

Nous voulons vérifier si la relation sémantique entre une requête et l'article (notée $Q(q,d)$) est corrélée avec leurs impressions et clics. Les impressions peuvent être considérées comme le modèle de recherche secret de Google, $G(q,d)$. En d'autres termes, nous voulons utiliser des méthodes publiques telles que la fréquence des termes, les modèles d'embedding et les modèles reranker pour modéliser $Q(q,d)$ et voir si cela approxime ce $G(q,d)$ privé.

Et les clics ? Les clics peuvent également être considérés comme une partie du modèle de recherche secret de Google mais sont influencés par des facteurs humains indéterministes. Intuitivement, les clics sont plus difficiles à modéliser.

Quoi qu'il en soit, aligner $Q(q,d)$ sur $G(q,d)$ est notre objectif. Cela signifie que notre $Q(q,d)$ devrait avoir un score élevé lorsque $G(q,d)$ est élevé et bas lorsque $G(q,d)$ est bas. Cela peut être mieux visualisé avec un nuage de points, en plaçant $Q(q,d)$ sur l'axe X et $G(q,d)$ sur l'axe Y. En traçant les valeurs $Q$ et $G$ de chaque requête, nous pouvons voir intuitivement à quel point notre modèle de recherche s'aligne avec le modèle de recherche de Google. L'ajout d'une ligne de tendance peut aider à révéler des motifs fiables.

Permettez-moi donc de résumer la méthode ici avant de montrer les résultats :

• Nous voulons vérifier si la relation sémantique entre une requête et un article est corrélée avec les impressions et les clics sur Google Search.
• L'algorithme que Google utilise pour déterminer la pertinence des documents par rapport à une requête est inconnu ($G(q,d)$), tout comme les facteurs derrière les clics. Cependant, nous pouvons observer ces nombres $G$ à partir de GSC, c'est-à-dire les impressions et les clics pour chaque requête.
• Nous cherchons à voir si les méthodes de recherche publiques ($Q(q,d)$) comme la fréquence des termes, les modèles d'embedding, et les modèles de reranking, qui fournissent tous des façons uniques de scorer la pertinence requête-document, sont de bonnes approximations de $G(q,d)$. D'une certaine manière, nous savons déjà qu'ils ne sont pas de bonnes approximations ; sinon, tout le monde pourrait être Google. Mais nous voulons comprendre à quel point ils sont éloignés.
• Nous visualiserons les résultats dans un nuage de points pour une analyse qualitative.

tagImplémentation

L'implémentation complète peut être trouvée dans le Google Colab ci-dessous.

• En général, tous les nuages de points des clics sont plus dispersés que leurs équivalents pour les impressions, bien que les deux soient basés sur les mêmes données. Cela s'explique par le fait que, comme mentionné précédemment, un nombre élevé d'impressions ne garantit pas de clics.
• Les graphiques de fréquence des termes sont plus dispersés que les autres. Cela s'explique par le fait que la plupart des requêtes de recherche réelles de Google n'apparaissent pas exactement dans l'article, donc leur valeur X est zéro. Pourtant, elles génèrent toujours des impressions et des clics. C'est pourquoi vous pouvez voir que le point de départ de la ligne de tendance de la fréquence des termes ne part pas de Y-zéro. On pourrait s'attendre à ce que lorsque certaines requêtes apparaissent plusieurs fois dans l'article, les impressions et les clics augmentent probablement. La ligne de tendance le confirme, mais sa variance augmente également, suggérant un manque de données de support. En général, la fréquence des termes n'est pas un bon prédicteur.
• En comparant le prédicteur de fréquence des termes aux nuages de points du modèle d'embedding et du modèle reranker, ces derniers semblent bien meilleurs : les points de données sont mieux distribués, et la variance de la ligne de tendance semble raisonnable. Cependant, si vous les comparez à la ligne de tendance de référence montrée ci-dessus, vous remarquerez une différence significative - aucune ligne de tendance ne commence à X-zéro. Cela signifie que même si vous obtenez une très forte similarité sémantique du modèle, Google est très susceptible de vous attribuer zéro impression/clic. Cela devient plus évident dans le nuage de points des clics, où le point de départ est encore plus poussé vers la droite que leur équivalent en impressions. En bref, Google n'utilise pas notre modèle d'embedding et notre modèle reranker — quelle surprise !
• Enfin, si je devais choisir le meilleur prédicteur parmi ces trois, je le donnerais au modèle reranker. Pour deux raisons :
  • La ligne de tendance du modèle reranker sur les impressions et les clics est mieux répartie sur l'axe X par rapport à la ligne de tendance du modèle d'embedding, lui donnant plus de "gamme dynamique", ce qui la rend plus proche de la ligne de tendance de référence.
  • Le score est bien distribué entre 0 et 1. Notez que c'est principalement parce que notre dernier modèle Reranker v2 est calibré, alors que notre précédent jina-embeddings-v2-base-en sorti en octobre 2023 ne l'était pas, donc vous pouvez voir ses valeurs s'étendre de 0,60 à 0,90. Cela dit, cette seconde raison n'a rien à voir avec son approximation de $G(q,d)$ ; c'est juste qu'un score sémantique bien calibré entre 0 et 1 est plus intuitif à comprendre et à comparer.

tagRéflexions finales

Alors, quelle est la conclusion pour le SEO ici ? Comment cela impacte-t-il votre stratégie SEO ? Honnêtement, pas beaucoup.

Les graphiques sophistiqués ci-dessus suggèrent un principe SEO de base que vous connaissez probablement déjà : écrivez du contenu que les utilisateurs recherchent et assurez-vous qu'il soit lié aux requêtes populaires. Si vous avez un bon prédicteur comme Reranker V2, vous pouvez peut-être l'utiliser comme une sorte de "copilote SEO" pour guider votre rédaction.

Ou peut-être pas. Peut-être devriez-vous simplement écrire pour le savoir, écrire pour vous améliorer, pas pour plaire à Google ou à qui que ce soit. Parce que si vous pensez sans écrire, vous pensez seulement que vous pensez.