PyEDdA

Ce dépôt contient le code réalisé dans le cadre du projet GEODE par Khaled Chabane, Ludovic Moncla et Alice Brenon.

Il contient le code développé à l'origine pour l'article "Classification automatique d'articles encyclopédiques" (https://hal.archives-ouvertes.fr/hal-03481219v1) présenté lors de la conférence EGC 2022.

Utilisation

Ce dépôt est un paquet python pouvant être installé avec pip ainsi qu'avec guix. À partir d'une copie, depuis ce dossier, il est possible d'obtenir un environnement dans lequel pyedda est installé et utilisable dans un shell à l'aide des commandes suivantes:

Pip

pip install -e .

Guix

guix shell python -f guix.scm

Présentation

Ce dépôt contient le code développée pour une étude comparative de différentes approches de classification supervisée appliquées à la classification automatique d’articles encyclopédiques. Notre corpus d’apprentissage est constitué des 17 volumes de texte de l’Encyclopédie de Diderot et d’Alembert (1751-1772) représentant un total d’environ 70 000 articles. Nous avons expérimenté différentes approches de vectorisation de textes (sac de mots et plongement de mots) combinées à des méthodes d’apprentissage automatique classiques, d’apprentissage profond et des architectures BERT. En plus de la comparaison de ces différentes approches, notre objectif est d’identifier de manière automatique les domaines des articles non classés de l’Encyclopédie (environ 2 400 articles).

Méthodes testées

Nos expérimentations concernent l’étude de différentes approches de classification comprenant deux étapes principales : la vectorisation et la classification supervisée. Nous avons testé et comparé les différentes combinaisons suivantes :

1. vectorisation en sac de mots et apprentissage automatique classique (Naive Bayes, Logistic regression, Random Forest, SVM et SGD) ;
2. vectorisation en plongement de mots statiques (Doc2Vec) et apprentissage automatique classique (Logistic regression, Random Forest, SVM et SGD) ;
3. vectorisation en plongement de mots statiques (FastText) et apprentissage profond (CNN et LSTM) ;
4. approche end-to-end utilisant un modèle de langue pré-entraîné (BERT,CamemBERT) et une technique de fine-tuning pour adapter le modèle sur notre tâche de classification.

Résultats

F-mesures moyennes des différents modèles pour les jeux de validation et de test avec un échantillonnage max de 500 (1) et 1 500 (2) articles par classe et sans échantillonnage (3).

F-mesures obtenues par ensemble de domaines avec les approches SGD + TF-IDF (1), LSTM + FastText (2) et BERT (3) sans échantillonnage et sur le jeu de test.

Matrice de confusion obtenue avec l’approche SGD+TF-IDF sur le jeu de test

Cette figure présente la matrice de confusion obtenue avec la méthode SGD+TF-IDF sur le jeu de test. On peut voir qu’un grand nombre d’articles des classes Arts et métiers et Economie domestique a été classé dans la classe Métiers, de la même manière les classes Mesure, Miné- ralogie, Pharmacie et Politique sont souvent confondues avec les classes Commerce, Histoire naturelle, Médecine - Chirurgie et Droit - Jurisprudence, respectivement. Les proximités sé- mantiques entre ces classes montrent bien la difficulté pour les modèles de choisir entre l’une ou l’autre et les résultats confirment qu’en cas de trop grande proximité les modèles choisissent la classe la plus représentée dans le jeu de données.

Citation

Moncla, L., Chabane, K., et Brenon, A. (2022). Classification automatique d’articles encyclopédiques. Conférence francophone sur l’Extraction et la Gestion des Connaissances (EGC). Blois, France.

Remerciements

Les auteurs remercient le LABEX ASLAN (ANR-10-LABX-0081) de l'Université de Lyon pour son soutien financier dans le cadre du programme français "Investissements d'Avenir" géré par l'Agence Nationale de la Recherche (ANR).