Résumé du projet  / Project Description (pdf in English)

Le projet INFILE a pour but d’organiser une campagne d’évaluation de système de filtrage d’information monolingue et multilingue basée sur des conditions proches d’un usage réel pour des applications de veille. La méthodologie et les métriques seront discutées au sein d’un groupe de réflexion qui sera mis en place dès le début du projet. La campagne mise en place s’adresse à tous les laboratoires Publics et Éditeurs de logiciels qui souhaitent évaluer, dans un contexte d’usage réel, leur technologie en fonction du besoin de routage de l’information pour la veille. Ce projet n’est pas limité aux acteurs français.

Les langues considérées dans la campagne d’évaluation sont l’anglais, l’arabe et le français, soit en filtrage monolingue (ou multi-monolingue), soit en filtrage interlingue.

Les documents (flux informationnel entrant) relèveront de deux domaines informationnels : l’information scientifique et technique et l’information de presse. Ces deux types d’information correspondent à un contexte de veille technologique pour le premier et à un contexte de veille informationnelle générale pour le second (veille politique, d’image, de suivi d’opérations telles que les fusions et acquisitions, etc.).

La campagne d’évaluation s’attachera à prendre en compte les résultats des discussions entre les organisateurs et la communauté des chercheurs et éditeurs de logiciels. Dans un premier temps, une campagne à blanc sera mise en place pour s’assurer du bon fonctionnement global de l’évaluation des systèmes.

Deux corpus seront réalisés avec des profils et les vérités terrain associées.

Pour chaque étape de traitement, un ensemble de documents sera envoyé automatiquement à chacun des systèmes à tester par le système évaluateur. L’attribution de chaque document à 0,1 ou plusieurs profils doit être renvoyée automatiquement. Le système évaluateur renverra les cas d’erreurs permettant ainsi au système de s’améliorer. Ce processus sera réitéré un certain nombre de fois pour permettre de visualiser et de constater la nette amélioration des performances du système. Les résultats seront calculés et communiqués aux participants pour discussion.

Les résultats de la campagne et les nouvelles méthodes d'évaluation seront présentés dans le cadre d’un atelier à la fin du projet et feront l’objet de la publication d’un ouvrage.

A la fin du projet, un kit d'évaluation sera mis à disposition de la communauté. Ce kit d’évaluation permettra à de nouvelles équipes de faire tourner leur système dans des conditions identiques à celles de la campagne. Ces équipes pourront ainsi comparer leurs résultats avec ceux des participants.

Pour participer à l’évaluation INFILE ou pour intégrer le cercle de réflexion de ce projet, écrivez-nous.

Project Abtsract

The goal of the INFILE project is to organize an evaluation campaign for monolingual and multilingual information filtering systems based on close-to-real-usage conditions for intelligence applications.  Both methodology and metrics will be discussed within a group of experts, which will be set up at the beginning of the project.

The campaign is directed to R&D laboratories and software publishers that would like to evaluate their technology, in a real-use context and according to the needs of information routing for technology watch. This project is not limited to French participants.

The languages under consideration in the evaluation campaign are English, Arabic and French, either in monolingual (or multilingual) filtering, or in interlingual filtering. 

The documents (input information) will be from two different information domains: scientific and technical, on the one hand, and journalistic, on the other.  These two information types correspond to a context of technology watch for the first one, and to a context of general intelligence for the second one (watching for political information, for image information, or the follow-up of operations such as mergings and acquisitions, etc.).
 
The evaluation campaign will take into account the results from the discussions between the organizers and the community of researchers and the software publishers. 
During the first phase, a dry run will carried out in order to ensure the good functioning of the system evaluation. 

Two corpora will be developed with profiles and the associated field results. 

For each processing phase, a set of documents will be automatically sent to each of the systems being tested by the evaluating system.  The assignment of each document to 0, 1 or several profiles must be returned automatically.  The evaluating system will return the errors, thus allowing the system to improve its performance. 

This process will be repeated a number of times in order for any improvement in the system's performance to be vizualized and assessed.

The results will be computed and communicated to the participants for discussion. The results of the campaign and the new evaluation methods will be presented in the framework of a workshop at the end of the project and will be published. 

At the end of the project, an evaluation kit will be made available to the community. With this evaluation kit, new teams will be able to assess and compare their system's results with those of the participants, in the same conditions as during the evaluation campaign.

If you wish to participate in the INFILE Campaign or if you are interested in participating in the group of experts of this project, please contact us.