Indexation

Un article de Wiki Paris Descartes.

Des clés pour comprendre l'Université numérique
Accès par catégories au glossaire : Accès thématique
HYPERGLOSSAIRE : A B C D E F G H I J K L M N O P Q R S T U V W X Y Z



L'indexation, en sciences de l'information, consiste à identifier, pour un document, plusieurs éléments significatifs (tels que le titre de l'ouvrage, le nom de l'auteur, la date de publication et les sujets traités) afin de pouvoir retrouver ce document dans une base de données.

Plus généralement, l'indexation consiste à décrire une ressource par une liste structurée ou non de mots-clés en vue de la représenter, de l'identifier, de la localiser et de faciliter son accès ultérieur via une requête basée sur ces mots-clés. La liste des mots-clés est appelée "index de la ressource".

Indexer une ressource permet de la retrouver ultérieurement, et ce, afin :

  • de la consulter
  • ou de la réutiliser dans un contexte différent.


L'indexation du document (description des documents à explorer au moyen de mots-clés) et la recherche du document (formulation d'une requête basée sur ces mots-clés) sont deux opérations distinctes dans le temps.


Sommaire


Indexation manuelle

Indexation basée sur un vocabulaire contrôlé

L'indexation manuelle consiste à décrire un document à l'aide de représentations des concepts contenus dans ce document, c'est à dire, à transcrire les concepts en langage documentaire après les avoir extraits du document par une analyse.
L'indexation manuelle s'appuie souvent sur un vocabulaire contrôlé qui permet d'accroître la consistance et la qualité de la description et de la représentation des ressources en prescrivant des termes d'indexation porteurs de sens, précis et non ambigüs. Le risque d'utiliser des variantes orthographiques, lexicales ou sémantiques est ainsi écarté. Le mot-clé (terme d'indexation) est nommé "descripteur" lorsqu'il est normalisé dans un thésaurus.
La navigation sémantique à travers le web est ainsi rendue possible.

L'indexation manuelle porte sur un document dans son intégralité dont on formalise globalement le contenu : dans un premier temps, un opérateur humain analyse et interprète le contenu selon l'usage visé, dans un second temps, il synthétise et reformule l'analyse effectuée dans le vocabulaire contrôlé, simple et manipulable pour obtenir l'index du document.

L'indexation manuelle permet d'obtenir des concepts interprétant le document dans son contexte.

Inconvénients et limites de l'indexation manuelle basée sur un vocabulaire contrôlé

  • Processus lent.
  • Elle nécessite plusieurs intermédiaires et surtout de gros moyens.
    Il faut en effet créer une nomenclature permettant de décrire l'ensemble des documents et sélectionner pour chaque document un ensemble de mots-clés.
  • Elle suppose à la fois une connaissance suffisante :
    • de la part de l'"indexeur" pour indexer correctement le contenu d'un document en un ensemble de descripteurs
    • et de la part de l'utilisateur (à la recherche de l'information) pour traduire une question, qui peut être plus ou moins précise, en un ensemble de descripteurs.
  • Le jeu de descripteurs n'est souvent ni suffisant, ni assez précis pour décrire n'importe quel document.
  • Les résultats ne sont pas forcément garantis.
    Il se peut en effet que, pour des problèmes de synonymie, certains documents répondant à la question d'un utilisateur puissent ne pas être retrouvés.

Les folksonomies

La folksonomie est un système de classification collaborative décentralisée spontanée qui s'appuie sur la puissance des communautés et des "réseaux sociaux". La folksonomie donne la possibilité pour l’usager d’indexer lui-même avec des mots-clés librement choisis (tags) ses contributions (billets de blog, signets, fichiers, etc) sur une plateforme collaborative du web 2.0 afin d'en faciliter la recherche ultérieure.


Indexation automatique

L'indexation automatique utilise des méthodes logicielles pour établir la liste (index) ordonnée de tous les mots apparaissant dans les documents avec la localisation exacte de chacune de leurs occurrences et qui correspondent au mieux au contenu informationnel d'un document.
En construisant un index avec les mots extraits des textes intégraux, l'indexation automatique élargit considérablement le champs de la recherche et autorise une requête plus souple.

L'indexation automatique suppose un certain nombre d'opérations :

  • Filtrage des mots (analyse morphologique) :
    Les mots à haute fréquence mais peu porteur de sens (mots outils, mots fonctionnels, mots vides tels que les articles, les conjonctions, les pronoms, etc) sont éliminés.
  • Lemmatisation - racinisation (Stemming) (analyse lexicale) :
    Ce procédé consiste à transformer un mot en sa forme canonique, à réduire un mot à sa racine (ou lemme) : les mots au pluriel sont ramenés au singulier, les verbes sont mis à l’infinitif, etc. Du coup, les index sont considérablement allégés, la recherche plus pertinente. La lemmatisation permet également de chercher tous les termes partageant la même racine ou toutes les déclinaisons d’un terme (par exemple, une recherche sur « cheval de course » trouvera non seulement "chevaux de course" mais aussi "course de cheval").
    Cette opération permet de relever les fréquences en cumulant les nombres d'occurrence des variations des mêmes mots.
  • Modélisation vectorielle
    Représentation du document par un vecteur dans l'espace des descripteurs.
    Pour un corpus de documents ou de pages, on obtient alors une matrice dont les colonnes représentent un document et les coordonnées la fréquence des termes.
  • Pondération
    Affectation d'un poids élevé aux descripteurs non-distribués uniformément au sein du corpus afin de contribuer à la différentiation informationnelle des documents
  • Utilisation de la popularité des sources
    Indexation des termes utilisés par une page web pour décrire une autre page web. Le page-ranking (mesure de l'importance de citation d'une page) est ensuite calculé selon la popularité des descripteurs et un coefficient de similarité issu de la modélisation vectorielle.
  • Extraction automatique des métadonnées indiquées par les auteurs et insérées entre les balises <meta> d'une page web qui permettent aux machines de les repérer.

La numérisation des contenus et les outils d'indexation et de consultation rendent possible l'indexation et la manipulation d'une partie du document (indexation de segments, de paragraphes) et non plus seulement de son intégralité.

Avantages et limites de l'indexation automatique

  • Moindre coût financier.
  • Exhaustivité et rapidité du traitement.

Mais :

  • Recherche avant tout sur l'information non structurée du web.
    Toute une partie du web (le "web invisible") reste inaccessible (notamment, les pages à accès restreint et les pages dynamiques).
  • Bruit important, non-pertinence de bon nombre de réponses retournées.
  • L'information n'est pas toujours fiable. Le web peut être un facteur de désinformation.
  • L'indexation automatique ne permet pas l'accès sémantique (ou que partiellement via les balises <meta>).


Les moteurs de recherche

Le moteur de recherche a pour objectif de répertorier les sites, les parcourir et mémoriser leur contenu (généralement sous forme d'index), afin de faciliter l’accès à une page.
Il est composé de trois étapes distinctes :

  • L'exploration via un robot logiciel explorateur (spider ou crawler)
    Ce logiciel explore l’internet et passe de site en site via les liens hypertextes. Il possède des algorithmes pour examiner périodiquement des millions de pages sans tourner en boucle, et constitue une base de données des sites et documents déjà visités.
    Le robot démarre toujours sa recherche sur une liste d’adresses, nécessaire pour pouvoir explorer tout le Web et pour éviter l’oubli de certains sites non référencés par d'autres sites. Certains robots explorent les sites les plus visités, d’autres passent de document en document en exploitant récursivement tous les liens hypertextes rencontrés sur leur passage.
    Il est possible aussi de procéder au référencement de son site, c'est à dire donner des informations détaillées aux moteurs de recherche et annuaires pour qu'ils indexent le site. Ces informations peuvent varier d'un outil à l'autre, certaines indexations sont gratuites, d'autres payantes, tandis que certains outils demanderont des liens en retour. Le référencement est souvent associé avec le positionnement qui, quant à lui, représente l'art d'optimiser la place du site dans les réponses fournies par les moteurs de recherche.
  • L'indexation automatique via un système d’indexation
    Le moteur d'indexation analyse les informations collectées par le spider, construit un index des mots rencontrés et stocke l’ensemble dans une base de données. A chaque terme répertorié de l'index sont associées les adresses des pages correspondantes sur le Web qui peuvent ainsi être retrouvées facilement.
    Utilisation de fichiers inverses (mémorisent pour chaque terme la liste des documents qui le contient) et des listes chaînées (permettent des ajouts facilités : allocation dynamique, insertion facile). Indexation dynamique.
    Le contenu indexé est très variable selon les robots : URL, titre, mots du premier paragraphe ou intégralité des pages. Les métadonnées (metadata) fournies par l’auteur de la page sont, le plus souvent, prises en compte.
  • La recherche via un logiciel de recherche (searcher)
    Traitement d'une requête formulée par l'internaute via une interface de recherche. Le logiciel de recherche interprète la requête (plus ou moins complexe) de l'internaute de manière à interroger la base en fonction des contraintes de celle-ci puis classe, traite et présente les résultats.
    Trois approches :
    • L'approche ensembliste considère que l'ensemble des documents s'obtient par une série d'opérations (intersection, union, complémentarité)
    • L'approche algébrique (ou vectorielle) considère que les documents et les questions font partie d'un même espace vectoriel.
    • L'approche probabiliste essaie de modéliser la notion de pertinence.

Un algorithme gardé secret est généralement appliqué pour donner un poids variable aux correspondances mot-clé-ressources, afin de pouvoir présenter les résultats des recherches par ordre de pertinence supposée. L'algorithme tient généralement compte du contexte du mot-clé (titre, paragraphe, hyperlien...) et de la ressource (ressources liées, popularité du site...)


Les cartes sémantiques

Elles sont utilisables en ligne (métamoteurs tels que Kartoo et MapStan) ou sur son ordinateur et permettent d'analyser des documents (ou des séries de documents) en local ou sur serveur distant. Il s'agit de logiciels qui, par le biais d'algorithmes, traitent statistiquement un texte ou une série de textes pour en proposer une représentation graphique (cartes de réseaux sémantiques) basée sur une indexation à partir des liens sémantiques entre les pages Web. Au lieu de référer les documents à des catégories thématiques, les pages Web sont reliées les unes aux autres, en fonction des mots-clés communs qu’elles partagent. Les résultats sont donc présentés graphiquement, sous forme de nœuds et de liens : les nœuds, qui correspondent aux pages Web trouvées, sont de taille variable, selon le degré de pertinence des pages Web. Les liens entre les nœuds représentent les relations entre les pages Web, c.a.d. leur proximité, leur similarité. Cette représentation doit permettre d'obtenir une vue d'ensemble synthétique, de l'information textuelle complexe.


Indexation des ressources pédagogiques numériques

L'objet pédagogique (ressource pédagogique numérique) est un concept complexe au carrefour de quatre grands types de logiques : pédagogique, organisationnelle, technique et économique.
Les enjeux principaux sont son accès et sa réutilisation.
Aussi, l'indexation des ressources pédagogiques doit introduire dans leur description une dimension pédagogique concernant notamment leur granularité et le contexte d’usage pédagogique.

Pourquoi indexer les ressources pédagogiques ?

Les enjeux :

  • Partager et indexer les ressources pour trouver les contenus produits et les réutiliser.
    Cela suppose notamment trois choses :
    • Lever des freins sociaux à la mise en commun de ressources et sensibiliser les enseignants au partage de leurs ressources.
    • Indexation de ressources correspondant à un niveau de granularité de petits niveaux et utilisation d'entrepôts pédagogiques suffisamment neutres pour que les ressources soient réutilisables dans d'autres contextes.
    • Mutualisation de ressources de qualité grâce à la collaboration entre les différents partenaires (établissements, UNR et UNT).
  • Donner l'accès à distance à ces ressources et assurer la valorisation et la pérennité des ressources numériques pour contribuer à leur visibilité et à la lisibilité de l'offre de ressources numériques au niveau international en respectant les règles du numérique : interopérabilité des systèmes, gestion des droits, utilisation d'un vocabulaire commun.


L'indexation doit ainsi pouvoir répondre aux exigences des nouveaux environnements pédagogiques :

  • Développement des formations en ligne (e-learning)
  • Modularisation de l'enseignement (Licence-Master-Doctorat)
    La présentation des ressources pédagogiques sous la forme d'unités de contenu pédagogique permet à chacun de les combiner et de les intégrer dans un parcours personnalisé.
  • Projets structurants
    • Campus numérique
    • UNT : Universités Numériques Thématiques
    • UNR : Université Numérique Virtuelle en Région
    • Politique de production de contenus
  • Mutualisation et rationalisation
    • Rentabiliser économiquement les coûts de production des ressources
    • Constituer un patrimoine éducatif
    • Assurer la traçabilité des ressources
    • Respect des droits d'auteurs
    • Respect des droits d'accès et d'utilisation
  • Optimiser la découverte des ressources
    • Limiter le "bruit" d'une recherche (retour de documents non pertinents à une question).
    • Eviter les "silences" (documents pertinents non retrouvés).


La nécessité de doubler une indexation automatique sur du texte intégral par une "indexation pédagogique" manuelle s'impose. Celle-ci doit reposer sur un système décrivant des objets en fonction de critères pédagogiques (relevant de la problématique de la didactique).

L'indexation des ressources confère "du sens", de la lisibilité aux données du web et conduit à une approche structurée et intelligible du web : elle est à la base du web sémantique.
L'indexation, en structurant les données du web sur la base de schémas interopérables, permet l'établissement de passerelles entre les banques de données, la conception de systèmes d'information en réseau, étend, de ce fait, le champs d'exploration des recherches : le jeu des métadonnées compatibles utilisées autorise les recherches multi-banques. Le web sémantique devient une sorte d'immense base de données. L'indexation rationalise l'utilisation du web.

Indexer selon des normes

L'indexation des ressources pédagogiques numérique doit être normalisée et doit se conformer à certains standards sur la base d'une interopérabilité optimale afin que :

  • des machines puissent traiter ces ressources (les filtrer, les extraire, les afficher, les échanger, ...) en exploitant les annotations sémantiques.
  • les apprenants et enseignants puissent les repérer et les retrouver "sémantiquement".
  • les ressources soient utilisables et réutilisables dans des environnements technologiques différents.
  • la pérennité, l'évolution et l'ouverture (gestion et libre-échange) des ressources numériques produites soient garanties.


Cette indexation s'appuie sur les grands principes suivants de normalisation :

  • Normalisation de l'identification des ressources numériques
    L'identification doit être fiable, durable et garantir l'unicité de la ressource sur le réseau.
    L'identification a deux objectifs :
    • de citabilité (pour les utilisateurs d’une ressource)
    • d’identification (pour les machines chargées de localiser une ressource sur un réseau)

    L'identifiant doit ainsi assurer l'accès et la préservation de la ressource : il doit permettre de la nommer, de la trouver et de la reconnaître sur le réseau de manière unique et sur le long terme.

    Les systèmes d’identification existants et normalisés sur le plan international :

    • systèmes non spécifiques au Web : ISBN ...
    • spécifications du W3C : URI, URN, URL
    • systèmes de nommage du monde de l’édition électronique : DOI, Handle
    • systèmes de redirection : PURL, POI
    • systèmes indépendants : ARK

  • Normalisation de la structuration des ressources numériques
    Le langage de balisage XML élaboré par le W3C est un langage commun, flexible et puissant pour décrire les diverses composantes de la ressource pédagogique et en faciliter l'application.
    La structuration du contenu requiert notamment des DTD spécifiques (Définition de Document Type ou Définition de Type de Document). Ce sont des fichiers définissant la structure et la grammaire d'un document de type XML, et permettant ainsi d'en vérifier sa conformité. Ils indiquent les noms des éléments pouvant apparaître et leur contenu : le nom, l'ordre et le nombre d'occurrences autorisées des sous-éléments et les attributs permis.

  • Normalisation de l'indexation du contenu des ressources
    Choix d'un langage partageable (vocabulaire contrôlé, classification spécifique ou générale, thésaurus) permettant de classer et décrire le contenu des ressources pédagogiques à indexer.
    Construction d'ontologies partageables.
    On peut citer par exemple :
    • La Classification Décimale de Dewey : classification des domaines de connaissances
    • Rameau : répertoire d'autorité-matière encyclopédique et alphabétique unifié (langage d'indexation matière).
    • Mesh (Medical Subject Headings) (F-Mesh : version française) : thésaurus de la base Medline
    • etc ...

  • Normalisation de la description des ressources
    Choix d'un schéma standard de métadonnées descriptives (identification, description, localisation des grains).
    Il existe un certain nombre de schémas de métadonnées dans le domaine des normes et standards pour le e-learning et les Tice, tels que :
    • Dublin Core (DC) : schéma général de métadonnées conçu pour décrire simplement des ressources en ligne, il est constitué de 15 éléments de base relatifs au contenu, à la propriété intellectuelle et à des instances techniques (date, type, identifiant...). Standard généraliste de description bibliographique.
    • LOM (Learning Object Matadata) : format plus élaboré, il est axé sur la ressource et s'appuie sur un modèle de granularité des objets pédagogiques.

    L'adoption d'un profil d'application particulier permet de sélectionner des descripteurs du schéma de métadonnées en fonction d'un contexte et de besoins spécifiques (relatifs à l'organisation, aux méthodes, aux pratiques et au cadre de travail).
    L'indexation par l'usager, à travers les folksonomies, peut être intégrée au LOM grâce à la classe 9 du LOM.

    Mais ces schémas de métadonnées ne laissent pas réellement place, dans leurs champs, à une intégration du contexte d'usage de la ressource, sauf à en modifier la nature.
    Ils ne sont pas compatibles avec toutes les approches pédagogiques :

    • Pas de description de l'activité de l'apprenant.
    • Pas de description des communications entre apprenants et/ou formateurs.
    • Pas de description des productions créées par les apprenants.

    Par ailleurs, il n'y a pas de séparation formelle entre l'unité de structuration (leçon, cours, enseignement) et la ressource brute : elles sont traitées sur le même plan.
    C'est pourquoi, en parallèle à ces standards, sont apparus d'autres types de normalisation autour de la pédagogie.

  • Normalisation de la description des contextes d'utilisation (pédagogique et technique)
    Cette normalisation est relative au contenu des formations en ligne (proposé notamment sur les plates-formes d'enseignement à distance).
    Son objectif est de :
    • remédier aux problèmes posés par la variété des formats concurrents ou incompatibles.
    • faciliter le transfert, l'utilisation et la réutilisation des contenus entre plates-formes, en faisant disparaître les contraintes de conversion.

    C'est ainsi que sont apparues les normes AICC, IEEE, SCORM, IMS.

    On distingue :

    • Agrégation de contenus
      Si une ressource peut être utilisée isolément, elle se trouvera surtout intégrée dans des ensembles complexes formant des cours, des modules, des leçons. Pour que les plates-formes de formation en ligne puissent prendre en charge ces assemblages, il importe qu'ils soient structurés dans un format standardisé afin de rendre compte de la structure des agrégations, de leur séquence ou de leur ordre de présentation, des mécanismes de collecte et de stockage des données recueillies pendant l'utilisation de certaines ressources.
      Les objets d'apprentissage décrits selon la norme LOM se retrouvent ainsi encapsulés à l'intérieur d'un « Content package »

      SCORM lie les ressources aux activités, organise la traçabilité du parcours de l'apprenant et permet l'interopérabilité des objets pédagogiques entre plates-formes. Il définit un modèle d'agrégation de contenus qui permet de créer, de décrire et d'échanger des ressources indépendamment du système qui les a créées et un environnement d'exécution qui permet une communication avec les plates formes pour l'exécution de l'enseignement. SCORM permet de créer des ressources pédagogiques structurées et de garantir l'interopérabilité de ces ressources d'une plate-forme à l'autre. Ainsi, une ressource créée sur une plate-forme pédagogique précise peut, si elle est « scormée », « se jouer », s'exécuter sans aucun problème sur une autre plate-forme. SCORM inclut le LOM comme langage de description de la ressource pédagogique.

      IMS Content Packaging permet de décrire les ressources, l'organisation et les métadonnées (LOM). Les ressources peuvent être directement présentes dans le package ou être référencées par une adresse Web. Au niveau de l'organisation, on peut définir des séquences pédagogiques selon différents standards (par exemple IMS Simple Sequencing (IMS-SS) ou IMS-LD). IMS-CP définit les accès séquentiels aux ressources.
      Le Content package, qui se présente sous la forme d'un fichier Zip, peut être lu par un éditeur adapté ou transmis d'une plateforme vers une autre. La création d'un Content package fait appel à un éditeur spécialisé comme Reload (voir point 4, ci-dessous) ou peut être réalisée à partir d'une plateforme qui intègre cette fonctionnalité.

    • Création de scénarios pédagogiques
      Une autre approche de spécifications à utiliser pour les systèmes d'apprentissage s'appuie sur les notions d'unité d'apprentissage, d'activités et de scénarios pédagogiques, en particulier autour de la notion de Langage de Modélisation Pédagogique (EML : Educational Modelling Language). EML est un modèle de base défini par le CEN/ISS comme "un modèle d'information et d'agrégation sémantique, décrivant les contenus et les processus engagés dans une unité d'apprentissage selon une perspective pédagogique et dans le but d'assurer la réutilisabilité et l'interopérabilité".
      Cette approche vise à proposer un modèle pour la mise en place des situations d'apprentissage en s'appuyant non pas sur les ressources mais sur les activités. Le concept d'unité d'apprentissage représente un ensemble d'activités autour d'un scénario. Ces activités sont réalisées par des acteurs tenant un rôle précis et se déroulent dans un environnement caractérisé par un ensemble de services, d'outils et de ressources pédagogiques. Une des principales propriétés d'une unité d'apprentissage réside dans le fait qu'elle ne peut être décomposée sans perdre son sens et son efficacité d'apprentissage.

      IMS-Learning Design (IMS-LD), spécification du langage EML, permet de représenter et d'encoder des structures d'apprentissages pour des apprenants à la fois seuls et en groupe, rassemblés par rôles, tel que « Apprenants » et « Équipe ». IMS-LD propose des choix de modélisation d'une unité d'apprentissage par niveau permettant de définir des scénarios prescriptifs (niveau A : niveau de base), des scénarios de personnalisation de l'apprentissage (niveau B) et des scénarios dynamiques (niveau C). Il préconise la création de bibliothèques de ressources (numériques ou non, pédagogiques ou non) et la création de bibliothèques de scénarios pédagogiques.
      IMS-LD est flexible (il n'impose pas de modèle pédagogique) : il peut être utilisé avec un grand nombre de théories d’apprentissage ou approches d’acquisition de la connaissance : béhaviorisme, cognitivisme et constructivisme ainsi que toute combinaison ou extension de ces théories.

  • Normalisation de la description des formations
    Le CDM (Course Description Metadata) est un standard européen de description d’enseignements et de programmes d’études.
    Sa déclinaison française, le CDM-fr, permettra, dans le cadre des cursus Licence-Master-Doctorat (LMD) d’améliorer l’information concernant les formations dans l’enseignement supérieur et de faciliter l’accès à ces formations.

  • Normalisation des protocoles d'échanges des métadonnées
    L'OAI (Open Archive Initiative) propose un ensemble des protocoles communs d’échange et de transfert de données. Elle vise à rendre partageable dans le monde entier des descriptions de documents (métadonnées) et à rendre accessibles ces documents, sans les dupliquer ni modifier leur localisation d’origine.


Comment sont stockées les métadonnées par rapport aux ressources ?

Trois possibilités. Les métadonnées peuvent être :

  • Intégrées (embedded) dans les ressources
    Elles se différencient du contenu de la ressource grâce à une syntaxe particulière.
    Ainsi, les métadonnées sont encadrées de balises <meta> dans les fichiers HTML et <tag> dans les fichiers XML.
  • Encapsulées
    EX : dans le cas de SCORM, le fichier zip contient un fichier (manifest.xml) contenant toutes les métadonnées.
  • Externalisées
    Elles sont séparées dans un fichier extérieure à la ressource.


Qui indexent les ressources pédagogiques ?

  • L'auteur, l'enseignant, renseigne les métadonnées concernant l'objectif pédagogique et le contexte d'utilisation de son cours.
  • Les bibliothèques et les centres de documentation définissent les métadonnées :
    • permettant l'accès, le repérage d'un contenu de cours par l'usager (enseignant ou étudiant).
      Ce type d'indexation s'appuie notamment sur des thésaurus, sur des vocabulaires normalisés.
    • relevant du cycle de vie du document, des versions, des droits relatifs au document.
  • Les cellules TICE assurent l'indexation rendant compte de la conception technique (plate-forme, formats, liens avec d'autres objets), notamment en vue de la réutilisation sur d'autres plates-formes. Cet type d'indexation est surtout à destination des concepteurs.


Le projet ORI-OAI : un outil pour indexer les ressources

Le projet ORI-OAI est un projet inter-UNT d'Outil de Référencement et d'Indexation.

Liens pour approfondir