Conférence sur la recherche textuelle

La conférence TREC ( Text REtrieval Conference ) est un cycle d' ateliers permanents axés sur différents domaines de recherche en recherche d'information (RI) . Co-organisée par le NIST ( National Institute of Standards and Technology ) et l' IARPA (Intelligence Advanced Research Projects Activity, qui relève du Bureau du directeur du renseignement national ), elle a été lancée en 1992 dans le cadre du programme TIPSTER Text . Son objectif est de soutenir et d'encourager la recherche au sein de la communauté de la recherche d'information en fournissant l'infrastructure nécessaire à l'évaluation à grande échelle des méthodologies de recherche textuelle et en accélérant le transfert des technologies issues des laboratoires vers les applications commerciales .

Les protocoles d'évaluation du TREC ont permis d'améliorer de nombreuses technologies de recherche. Une étude de 2010 estimait que « sans le TREC, les internautes américains auraient passé jusqu'à 3,15 milliards d'heures supplémentaires à utiliser les moteurs de recherche entre 1999 et 2009 » Hal Varian , économiste en chef chez Google, a écrit que « les données du TREC ont dynamisé la recherche sur la recherche d'informations. Disposer d'un ensemble de données standardisé, largement accessible et rigoureusement élaboré a jeté les bases de futures innovations dans ce domaine »

Chaque thème comporte un défi pour lequel le NIST fournit aux groupes participants des ensembles de données et des problèmes tests. Selon le thème, les problèmes tests peuvent être des questions, des sujets ou des caractéristiques extractibles cibles . Une notation uniforme est appliquée afin d'évaluer équitablement les systèmes. Après l'évaluation des résultats, un atelier permet aux participants de partager leurs réflexions et leurs idées et de présenter leurs travaux de recherche actuels et futurs. La Conférence sur la recherche d'information textuelle a été créée en 1992, financée par la DARPA (Projet de recherche avancée de défense des États-Unis) et organisée par le NIST. Son objectif était de soutenir la recherche au sein de la communauté de la recherche d'information en fournissant l'infrastructure nécessaire à l'évaluation à grande échelle des méthodologies de recherche d'information textuelle.

Objectifs

Encourager la recherche par extraction basée sur de vastes collections de textes
Accroître la communication entre l'industrie, le monde universitaire et le gouvernement en créant un forum ouvert pour l'échange d'idées de recherche
Accélérer le transfert de technologie des laboratoires de recherche vers les produits commerciaux en démontrant des améliorations substantielles des méthodologies de récupération sur des problèmes du monde réel
Accroître la disponibilité de techniques d'évaluation appropriées pour l'industrie et le monde universitaire, y compris le développement de nouvelles techniques d'évaluation plus adaptées aux systèmes actuels

Le programme TREC est supervisé par un comité composé de représentants des secteurs public, privé et universitaire. Pour chaque édition, le NIST fournit un ensemble de documents et de questions. Les participants utilisent leur propre système de recherche documentaire pour traiter ces données et soumettent au NIST une liste des documents les mieux classés. Le NIST centralise les résultats individuels, vérifie l'exactitude des documents extraits et évalue l'ensemble des résultats. Le cycle TREC se conclut par un atelier permettant aux participants de partager leurs expériences.

Jugements de pertinence dans TREC

TREC définit la pertinence comme suit : « Si vous deviez rédiger un rapport sur le sujet et utiliser les informations contenues dans ce document, alors ce document est pertinent. » La plupart des tâches de recherche TREC utilisent une pertinence binaire : un document est soit pertinent, soit non pertinent. Certaines tâches TREC utilisent une pertinence graduée, prenant en compte plusieurs degrés de pertinence. La plupart des collections TREC sont trop volumineuses pour permettre une évaluation complète de la pertinence ; pour ces collections, il est impossible de calculer le rappel absolu pour chaque requête. Afin de déterminer les documents à évaluer, TREC utilise généralement une méthode de regroupement des appels. Dans cette méthode, les n documents les mieux classés de chaque exécution sont agrégés, et l’ensemble de documents résultant est évalué de manière exhaustive.

Divers TRECs

En 1992, la conférence TREC-1 s'est tenue au NIST. Cette première édition a réuni 28 équipes de chercheurs issus du monde universitaire et industriel. Elle a présenté un large éventail d'approches pour la recherche textuelle dans de vastes corpus documentaires. TREC-1 a finalement démontré l'efficacité de la construction automatique de requêtes à partir d'énoncés en langage naturel. Les techniques basées sur le traitement automatique du langage naturel se sont avérées tout aussi performantes que celles basées sur une approche vectorielle ou probabiliste.

L'étude TREC2 s'est déroulée en août 1993. Trente et un groupes de chercheurs y ont participé. Deux types de recherche ont été examinés : la recherche par requête ad hoc et la recherche par requête de routage.

Dans le cadre de TREC-3, un petit groupe d'expériences a travaillé sur une collection de données en langue espagnole, tandis que d'autres ont porté sur la formulation de requêtes interactives dans plusieurs bases de données.

Ils ont même raccourci le TREC-4 pour étudier les problèmes liés à des déclarations d'utilisateurs très courtes.

TREC-5 comprend des versions courtes et longues des sujets afin d'approfondir l'étude des techniques les plus efficaces selon la longueur des sujets.

Dans TREC-6, trois nouvelles pistes ont été introduites : la reconnaissance vocale, la recherche multilingue et la recherche d'informations de haute précision. L'objectif de la recherche multilingue est de faciliter la recherche sur les systèmes capables de retrouver des documents pertinents quelle que soit la langue du document source.

TREC-7 comportait sept pistes, dont deux étaient une nouvelle piste de requêtes et une piste de très grands corpus. L'objectif de la piste de requêtes était de créer une vaste collection de requêtes.

TREC-8 comprend sept pistes, dont deux étaient nouvelles : la réponse aux questions et les recherches Web. L’objectif des requêtes de réponse aux questions est d’explorer les possibilités de fournir des réponses à des requêtes spécifiques en langage naturel.

TREC-9 comprend sept pistes

Dans TREC-10, des pistes vidéo ont été introduites. Ces pistes vidéo ont été conçues pour promouvoir la recherche sur la recherche de contenu à partir de vidéos numériques.

Dans TREC-11, des pistes de nouveauté ont été introduites. L'objectif de ces pistes est d'étudier la capacité des systèmes à localiser des informations pertinentes et nouvelles au sein de l'ensemble classé de documents renvoyés par un système de recherche documentaire traditionnel.

TREC-12, qui s'est tenu en 2003, a ajouté trois nouvelles pistes : la piste génome, la piste de récupération robuste et HARD (Highly Accurate Retrieval from Documents)

Pistes

Pistes actuelles

De nouvelles pistes sont ajoutées au fur et à mesure que de nouveaux besoins de recherche sont identifiés ; cette liste est à jour pour TREC 2018.

Piste CENTRE Objectif : une tâche de recherche ad hoc dans des documents d’actualité.
Recherche de réponses complexes (CAR) Objectif : étudier les technologies permettant de traiter automatiquement les flux de médias sociaux lors de situations d'urgence (nouvel axe de recherche pour TREC 2018).
Le volet Actualités Objectif : une spécialisation du parcours Aide à la décision clinique axée sur la liaison des données des patients en oncologie aux essais cliniques.
Piste de résumé en temps réel (RTS) Objectif : développer et évaluer une technologie de recherche à grande échelle dans les documents liés à la chimie , y compris les articles universitaires et les brevets, afin de mieux répondre aux besoins des chercheurs professionnels, et plus particulièrement des chercheurs de brevets et des chimistes.
Voie d’aide à la décision clinique Objectif : étudier les techniques de recherche pour répondre à des besoins d’information complexes qui dépendent fortement du contexte et des intérêts de l’utilisateur.
Parcours de crowdsourcing Objectif : étudier la récupération des données génomiques , non seulement les séquences génétiques, mais aussi la documentation justificative telle que les articles de recherche, les rapports de laboratoire, etc. Dernière session : TREC 2007.
Piste de recherche sur les domaines dynamiques Objectif : étudier la recherche dans les données d’une organisation pour accomplir une tâche. Dernière session : TREC 2008.
Parcours Entité Objectif : étudier la capacité des systèmes de recherche à trouver des documents par sujet, quelle que soit la langue source. Après 1999, cet axe a donné naissance au projet CLEF .
FedWeb Track Objectif : étudier les techniques de sélection et de combinaison des résultats de recherche provenant d’un grand nombre de services de recherche Web en ligne réels.
Piste de filtrage Objectif : parvenir à une récupération de haute précision à partir de documents en exploitant des informations supplémentaires sur le chercheur et/ou le contexte de recherche.
Parcours interactif Objectif : développer des techniques pour améliorer considérablement l'efficacité des conservateurs de bases de connaissances (humains) en faisant en sorte que le système suggère des modifications/extensions à la KB sur la base de sa surveillance des flux de données, a créé le corpus de flux KBA , organisé par Diffeo .
Volet juridique Objectif : générer des réponses à de vraies questions posées par de vrais utilisateurs via un flux de questions en direct, en temps réel.
Parcours « Dossiers médicaux » Objectif : examiner la nature des besoins d’information en temps réel et leur satisfaction dans le contexte des environnements de microblogage tels que Twitter.
Piste de traitement automatique du langage naturel Objectif : étudier la capacité des systèmes à localiser des informations nouvelles (c.-à-d. non redondantes).
Parcours OpenSearch Objectif : parvenir à une récupération d’informations plus large que la simple récupération de documents en répondant à des questions factuelles, des listes et des définitions.
Piste de synthèse en temps réel Objectif : se concentrer sur l’efficacité de chaque sujet.
Voie d'évaluation de la pertinence de la session : développer des méthodes de mesure des sessions à requêtes multiples où les besoins d’information évoluent ou deviennent plus ou moins spécifiques au cours de la session.
Suivi du spam Objectif : tester si les systèmes peuvent induire les tâches que les utilisateurs pourraient tenter d’accomplir à partir d’une requête.
Piste de synthèse temporelle Objectif : étudier si/comment la communauté IR peut adapter l’évaluation traditionnelle basée sur des collections de tests IR à des collections de taille significative.
Objectif : mener des recherches sur la segmentation automatique, l’indexation et la recherche par contenu de vidéos numériques . En 2003, cette piste est devenue une évaluation indépendante nommée publications . La technologie initialement développée dans le cadre du TREC est désormais intégrée à de nombreux moteurs de recherche commerciaux à travers le monde . Un rapport indépendant du RTII a révélé qu'« environ un tiers des améliorations apportées aux moteurs de recherche Web entre 1999 et 2009 sont attribuables au TREC. Ces améliorations ont probablement permis d'économiser jusqu'à 3 milliards d'heures de recherche sur le Web. […] De plus, le rapport a démontré que pour chaque dollar investi par le NIST et ses partenaires dans le TREC, les chercheurs américains en recherche d'information, tant dans le secteur privé que dans le milieu universitaire, ont bénéficié d'un bénéfice d'au moins 3,35 à 5,07 dollars. »
Bien qu'une étude suggère que l'état de l'art de la recherche ad hoc n'ait pas progressé de manière significative au cours de la décennie précédant 2009 , elle se limite à la recherche de documents thématiquement pertinents dans de petites collections d'actualités et de sites web de quelques gigaoctets. Des progrès ont été réalisés dans d'autres types de recherche ad hoc. Par exemple, des collections de test ont été créées pour la recherche web d'éléments connus, révélant des améliorations grâce à l'utilisation du texte d'ancrage, de la pondération des titres et de la longueur des URL, techniques qui s'avéraient inefficaces sur les anciennes collections de test ad hoc. En 2009, une nouvelle collection web d'un milliard de pages a été introduite, et le filtrage anti-spam s'est révélé être une technique utile pour la recherche web ad hoc, contrairement aux collections de test précédentes.
Les collections de tests développées au TREC sont utiles non seulement pour aider potentiellement les chercheurs à faire progresser l'état de l'art, mais aussi pour permettre aux développeurs de nouveaux produits de recherche (commerciaux) d'évaluer leur efficacité sur des tests standardisés. Au cours de la dernière décennie, le TREC a créé de nouveaux tests pour la recherche dans les courriels d'entreprise, la recherche génomique, le filtrage des spams, la découverte électronique et d'autres domaines de recherche.
Les systèmes TREC servent souvent de base à des recherches ultérieures. En voici quelques exemples :
- Hal Varian , économiste en chef chez Google , affirme que « de meilleures données permettent une meilleure science. L’histoire de la recherche d’informations illustre bien ce principe », et décrit la contribution de TREC.
- Le volet juridique de TREC a influencé la communauté de la découverte électronique tant dans la recherche que dans l'évaluation des fournisseurs commerciaux.
- L' équipe de recherche d'IBM qui a construit IBM Watson ( DeepQA ), qui a battu les meilleurs joueurs de Jeopardy! du monde, a utilisé les données et les systèmes du TREC's QA Track comme mesures de performance de base.

Participation

La conférence est composée d'un groupe international varié de chercheurs et de développeurs. En 2003, 93 groupes issus du monde universitaire et de l'industrie de 22 pays y ont participé.