Métamoteur de recherche

Un métamoteur de recherche (ou agrégateur de recherche ) est un outil de recherche d'informations en ligne qui utilise les données d'un moteur de recherche Web pour produire ses propres résultats. Les métamoteurs prennent les informations d'un utilisateur et interrogent immédiatement les moteurs de recherche Des données suffisantes sont collectées, classées et présentées aux utilisateurs.

Des problèmes tels que le spam réduisent l' exactitude et la précision des résultats. Le processus de fusion vise à améliorer l'ingénierie d'un métamoteur de recherche.

Parmi les exemples de métamoteurs de recherche, on peut citer Skyscanner et Kayak.com , qui regroupent les résultats de recherche des agences de voyages en ligne et des sites Web des fournisseurs, et Searx , un moteur de recherche gratuit et open source qui regroupe les résultats des moteurs de recherche Internet.

Le premier à avoir intégré l'idée de la méta-recherche fut Daniel Dreilinger de l'Université d'État du Colorado . Il développa SearchSavvy, qui permettait aux utilisateurs de rechercher jusqu'à 20 moteurs de recherche et répertoires différents à la fois. Bien que rapide, le moteur de recherche était limité aux recherches simples et n'était donc pas fiable. Eric Selberg, étudiant à l'Université de Washington, a publié une version plus « mise à jour » appelée MetaCrawler . Ce moteur de recherche a amélioré la précision de SearchSavvy en ajoutant sa propre syntaxe de recherche en arrière-plan et en faisant correspondre la syntaxe à celle des moteurs de recherche qu'il sondait. Metacrawler a réduit le nombre de moteurs de recherche interrogés à 6, mais bien qu'il ait produit des résultats plus précis, il n'était toujours pas considéré comme aussi précis que la recherche d'une requête dans un moteur individuel.

Le 20 mai 1996, HotBot , alors détenu par Wired , était un moteur de recherche dont les résultats de recherche provenaient des bases de données Inktomi et Direct Hit. Il était connu pour ses résultats rapides et comme un moteur de recherche capable de rechercher dans les résultats de recherche. Après avoir été racheté par Lycos en 1998, le développement du moteur de recherche a été échelonné et sa part de marché a chuté de manière drastique. Après avoir subi quelques modifications, HotBot a été repensé en une interface de recherche simplifiée, ses fonctionnalités étant intégrées à la refonte du site Web de Lycos.

Un métamoteur de recherche appelé Anvish a été développé par Bo Shu et Subhash Kak en 1999 ; les résultats de recherche ont été triés à l'aide de réseaux neuronaux instantanément formés . Il a ensuite été intégré dans un autre métamoteur de recherche appelé Solosearch.

En août 2000, l'Inde a obtenu son premier méta-moteur de recherche avec le lancement de HumHaiIndia.com. Il a été développé par Sumeet Lamba, alors âgé de 16 ans. Le site Web a ensuite été rebaptisé Tazaa.com.

Ixquick est un moteur de recherche connu pour sa politique de confidentialité. Développé et lancé en 1998 par David Bodnick, il appartient à Surfboard Holding BV. En juin 2006, Ixquick a commencé à supprimer les données privées de ses utilisateurs en suivant le même processus que Scroogle . La politique de confidentialité d'Ixquick ne prévoit aucun enregistrement des adresses IP des utilisateurs, aucun cookie d'identification, aucune collecte de données personnelles et aucun partage de données personnelles avec des tiers. Il utilise également un système de classement unique où un résultat est classé par étoiles. Plus il y a d'étoiles dans un résultat, plus les moteurs de recherche sont d'accord sur le résultat.

En avril 2005, Dogpile , alors détenue et exploitée par InfoSpace , Inc., a collaboré avec des chercheurs de l' Université de Pittsburgh et de l'Université d'État de Pennsylvanie pour mesurer le chevauchement et les différences de classement des principaux moteurs de recherche Web afin d'évaluer les avantages de l'utilisation d'un métamoteur de recherche pour effectuer des recherches sur le Web. Les résultats ont révélé que sur 10 316 requêtes aléatoires définies par l'utilisateur de Google , Yahoo! et Ask Jeeves , seulement 3,2 % des résultats de recherche de première page étaient les mêmes sur ces moteurs de recherche pour une requête donnée. Une autre étude réalisée plus tard dans l'année, utilisant 12 570 requêtes aléatoires définies par l'utilisateur de Google , Yahoo!, MSN Search et Ask Jeeves, a révélé que seulement 1,1 % des résultats de recherche de première page étaient les mêmes sur ces moteurs de recherche pour une requête donnée.

En envoyant plusieurs requêtes à plusieurs autres moteurs de recherche, on étend la couverture des données du sujet et on peut trouver plus d'informations. Ils utilisent les index créés par d'autres moteurs de recherche, agrégeant et souvent post-traitant les résultats de manière unique. Un métamoteur de recherche présente un avantage par rapport à un seul moteur de recherche car il permet de récupérer plus de résultats avec le même effort. Il réduit également le travail des utilisateurs qui n'ont pas à saisir individuellement des recherches à partir de différents moteurs pour rechercher des ressources.

La métarecherche est également une approche utile si le but de la recherche de l'utilisateur est d'obtenir une vue d'ensemble du sujet ou d'obtenir des réponses rapides. Au lieu de devoir passer par plusieurs moteurs de recherche comme Yahoo! ou Google et de comparer les résultats, les moteurs de métarecherche sont capables de compiler et de combiner rapidement les résultats. Ils peuvent le faire soit en répertoriant les résultats de chaque moteur interrogé sans post-traitement supplémentaire (Dogpile), soit en analysant les résultats et en les classant selon leurs propres règles (IxQuick, Metacrawler et Vivismo).

Un métamoteur de recherche peut également masquer l'adresse IP du chercheur aux moteurs de recherche interrogés, garantissant ainsi la confidentialité de la recherche.

Les métamoteurs de recherche ne sont pas capables d' analyser les formulaires de requête ni de traduire entièrement la syntaxe de la requête . Le nombre d' hyperliens générés par les métamoteurs de recherche est limité et ne fournit donc pas à l'utilisateur les résultats complets d'une requête.

La majorité des métamoteurs ne fournissent pas plus de dix fichiers liés à partir d'un seul moteur de recherche et n'interagissent généralement pas avec les moteurs de recherche plus importants pour obtenir des résultats. Les liens payants par clic sont prioritaires et sont normalement affichés en premier.

La métarecherche donne également l'illusion que le sujet recherché est plus vaste, en particulier si l'utilisateur recherche des informations populaires ou courantes. Il est courant d'obtenir plusieurs résultats identiques provenant des moteurs interrogés. Il est également plus difficile pour les utilisateurs d'effectuer une recherche avec une syntaxe de recherche avancée qui sera envoyée avec la requête, de sorte que les résultats peuvent ne pas être aussi précis que lorsqu'un utilisateur utilise une interface de recherche avancée sur un moteur spécifique. Cela conduit de nombreux moteurs de métarecherche à utiliser la recherche simple.

Un métamoteur de recherche accepte une seule requête de recherche de l' utilisateur . Cette requête de recherche est ensuite transmise à la base de données d'un autre moteur de recherche . Un métamoteur de recherche ne crée pas une base de données de pages Web , mais génère un système de base de données fédérée d' intégration de données à partir de sources multiples.

Étant donné que chaque moteur de recherche est unique et dispose de différents algorithmes pour générer des données classées, des doublons seront également générés. Pour supprimer les doublons, un métamoteur traite ces données et applique son propre algorithme. Une liste révisée est produite en sortie pour l'utilisateur. Lorsqu'un métamoteur contacte d'autres moteurs de recherche, ces derniers répondent de trois manières :

• Ils coopéreront tous deux et fourniront un accès complet à l'interface du métamoteur de recherche, y compris un accès privé à la base de données d'index, et informeront le métamoteur de recherche de toute modification apportée à la base de données d'index ;
• Les moteurs de recherche peuvent se comporter de manière non coopérative, c'est-à-dire qu'ils ne refuseront ni n'accorderont aucun accès aux interfaces ;
• Le moteur de recherche peut être complètement hostile et refuser au métamoteur l'accès total à sa base de données et, dans des circonstances graves, en recourant à des méthodes légales .

Les pages Web bien classées sur de nombreux moteurs de recherche sont susceptibles d'être plus pertinentes pour fournir des informations utiles. Cependant, tous les moteurs de recherche ont des scores de classement différents pour chaque site Web et la plupart du temps, ces scores ne sont pas les mêmes. Cela est dû au fait que les moteurs de recherche privilégient différents critères et méthodes de notation, de sorte qu'un site Web peut apparaître bien classé sur un moteur de recherche et mal classé sur un autre. Cela constitue un problème car les moteurs de métarecherche dépendent fortement de la cohérence de ces données pour générer des comptes fiables.

Un métamoteur de recherche utilise le processus de fusion pour filtrer les données afin d'obtenir des résultats plus efficaces. Les deux principales méthodes de fusion utilisées sont : la fusion de collections et la fusion de données.

• Collection Fusion : également connue sous le nom de recherche distribuée, elle traite spécifiquement des moteurs de recherche qui indexent des données non liées. Pour déterminer la valeur de ces sources, Collection Fusion examine le contenu, puis classe les données en fonction de leur probabilité de fournir des informations pertinentes par rapport à la requête. À partir de ce qui est généré, Collection Fusion est en mesure de sélectionner les meilleures ressources du classement. Ces ressources choisies sont ensuite fusionnées dans une liste.
• Fusion de données : traite des informations récupérées à partir des moteurs de recherche qui indexent des ensembles de données communs. Le processus est très similaire. Les scores de classement initiaux des données sont fusionnés en une seule liste, après quoi les classements originaux de chacun de ces documents sont analysés. Les données avec des scores élevés indiquent un niveau élevé de pertinence pour une requête particulière et sont donc sélectionnées. Pour produire une liste, les scores doivent être normalisés à l'aide d'algorithmes tels que CombSum. En effet, les moteurs de recherche adoptent des politiques d'algorithmes différentes, ce qui fait que le score produit est incomparable.

Le spamdexing est une manipulation délibérée des index des moteurs de recherche. Il utilise un certain nombre de méthodes pour manipuler la pertinence ou la proéminence des ressources indexées d'une manière qui n'est pas conforme à l'intention du système d'indexation. Le spamdexing peut être très pénible pour les utilisateurs et problématique pour les moteurs de recherche car le contenu renvoyé par les recherches est peu précis. Cela finira par rendre le moteur de recherche peu fiable et non fiable pour l'utilisateur. Pour lutter contre le spamdexing, les algorithmes des robots de recherche sont rendus plus complexes et sont modifiés presque tous les jours pour éliminer le problème.

Il s'agit d'un problème majeur pour les métamoteurs de recherche car il altère les critères d'indexation du robot d'indexation , qui sont largement utilisés pour formater les listes de classement. Le spamdexing manipule le système de classement naturel d'un moteur de recherche et place les sites Web plus haut dans la liste de classement qu'ils ne le seraient naturellement. Il existe trois méthodes principales utilisées pour y parvenir :

Le spam de contenu est une technique qui altère la vision logique qu'un moteur de recherche a du contenu d'une page. Les techniques incluent :

• Bourrage de mots-clés - Emplacements calculés de mots-clés dans une page pour augmenter le nombre de mots-clés, la variété et la densité de la page
• Texte caché/invisible - Texte sans rapport avec le sujet masqué en lui donnant la même couleur que l'arrière-plan, en utilisant une taille de police minuscule ou en le masquant dans le code HTML
• Meta-tag Stuffing - Répéter des mots-clés dans les balises méta et/ou utiliser des mots-clés sans rapport avec le contenu du site
• Pages de porte d'entrée - Pages Web de faible qualité avec peu de contenu, mais des mots-clés ou des expressions pertinents
• Sites de scraping - Programmes qui permettent aux sites Web de copier le contenu d'autres sites Web et de créer du contenu pour un site Web
• Article Spinning - Réécrire des articles existants au lieu de copier du contenu à partir d'autres sites
• Traduction automatique - Utilise la traduction automatique pour réécrire le contenu dans plusieurs langues différentes, ce qui produit un texte illisible

Les spams de liens sont des liens entre des pages présents pour des raisons autres que le mérite. Les techniques incluent :

• Logiciel de création de liens - Automatisation du processus d'optimisation des moteurs de recherche (SEO)
• Fermes de liens - Pages qui se référencent mutuellement (également appelées sociétés d'admiration mutuelle)
• Liens cachés – Placer des hyperliens là où les visiteurs ne les verront pas ou ne pourront pas les voir
• Attaque Sybil – Falsification d'identités multiples à des fins malveillantes
• Blogs de spam - Blogs créés uniquement à des fins de promotion commerciale et de transmission d'autorité de lien vers des sites cibles
• Détournement de page - Création d'une copie d'un site Web populaire avec un contenu similaire, mais redirige les internautes vers des sites Web sans rapport, voire malveillants
• Acheter des domaines expirés - Acheter des domaines expirés et remplacer des pages par des liens vers des sites Web sans rapport
• Cookie Stuffing - Placer un cookie de suivi d'affiliation sur l'ordinateur d'un visiteur d'un site Web à son insu
• Forum Spam - Sites Web pouvant être modifiés par les utilisateurs pour insérer des liens vers des sites de spam

Il s'agit d'une technique de référencement dans laquelle différents matériaux et informations sont envoyés au robot d'exploration Web et au navigateur Web . Elle est couramment utilisée comme technique de spamdexing car elle peut inciter les moteurs de recherche à visiter un site sensiblement différent de la description du moteur de recherche ou à attribuer à un certain site un classement plus élevé.