Ce dépôt contient le code réalisé dans le cadre du projet
[GEODE](https://geode-project.github.io/) par **Khaled Chabane**, **Ludovic
Moncla** et **Alice Brenon**.
This repository contains the code developed for classifying French encyclopedia articles as part of the [GEODE](https://geode-project.github.io/) project.
Il contient le code développé à l'origine pour l'article "*Classification
présenté lors de la conférence [EGC 2022](https://egc2022.univ-tours.fr/).
<!--
## Utilisation
Ce dépôt est un paquet python pouvant être installé avec
...
...
@@ -28,112 +23,148 @@ pip install -e .
```sh
guix shell python -f guix.scm
```
-->
## Overview
This git repository contains the code developed for a comparative study of supervised classification approaches applied to the automatic classification of encyclopedia articles written in French.
Our dataset is composed of 17 volumes of text from the *Encyclopédie* by Diderot and d'Alembert (1751-72) including about 70,000 articles.
We combine text vectorization (bag-of-words and word embeddings) with machine learning methods, deep learning, and transformer architectures.
In addition evaluating these approaches, we review the classification predictions using a variety of quantitative and qualitative methods.
The best model obtains 86% as an average F-score for 38 classes.
Using network analysis we highlight the difficulty of classifying semantically close classes. We also introduce examples of opportunities for qualitative evaluation of "misclassifications" in order to understand the relationship between content and different ways of ordering knowledge.
## Experiments
Our experiments compare approaches to classifying *EDdA* articles using vectorization and supervised classification. We test the following combinations:
1. Bag-of-words vectorization and classic ML algorithms (Naive Bayes, Logistic Regression, Random forest, SVM and SGD);
2. Vectorization using static word embeddings (Doc2Vec) and classic ML algorithms (Logistic regression, Random Forest, SVM et SGD);
3. Vectorization using static word embeddings (FastText[fr]) and deep learning algorithms (CNN and BiLSTM);
4. An *end-to-end* approach using pre-trained contextual language models (BERT, CamemBERT) with fine-tuning to adapt the model for our task.
## Results
All the results (measured with precision, recall and F-score) are in the [reports](./reports) directory. Some tables and figures are listed below:
### Mean F-scores for different models for the test set with a sample of a maximum of 500 articles (1), 1 500 (2) and no limit (3).
### F-scores for classes on the test set obtained with SGD + TF-IDF (1), BiLSTM + FastText (2) and BERT Multilingual (3).
## Présentation
Ce dépôt contient le code développée pour une étude comparative de différentes
approches de classification supervisée appliquées à la classification
automatique d’articles encyclopédiques. Notre corpus d’apprentissage est
constitué des 17 volumes de texte de l’Encyclopédie de Diderot et d’Alembert
(1751-1772) représentant un total d’environ 70 000 articles. Nous avons
expérimenté différentes approches de vectorisation de textes (sac de mots et
plongement de mots) combinées à des méthodes d’apprentissage automatique
classiques, d’apprentissage profond et des architectures BERT. En plus de la
comparaison de ces différentes approches, notre objectif est d’identifier de
manière automatique les domaines des articles non classés de l’Encyclopédie
(environ 2 400 articles).
## Méthodes testées
Nos expérimentations concernent l’étude de différentes approches de
classification comprenant deux étapes principales : la vectorisation et la
classification supervisée. Nous avons testé et comparé les différentes
combinaisons suivantes :
1. vectorisation en sac de mots et apprentissage automatique classique (Naive
Bayes, Logistic regression, Random Forest, SVM et SGD) ;
2. vectorisation en plongement de mots statiques (Doc2Vec) et apprentissage
automatique classique (Logistic regression, Random Forest, SVM et SGD) ;
3. vectorisation en plongement de mots statiques (FastText) et apprentissage
profond (CNN et LSTM) ;
4. approche *end-to-end* utilisant un modèle de langue pré-entraîné
(BERT,CamemBERT) et une technique de *fine-tuning* pour adapter le modèle sur
notre tâche de classification.
## Résultats
### F-mesures moyennes des différents modèles pour les jeux de validation et de test avec un échantillonnage max de 500 (1) et 1 500 (2) articles par classe et sans échantillonnage (3).
### F-mesures obtenues par ensemble de domaines avec les approches SGD + TF-IDF (1), LSTM + FastText (2) et BERT (3) sans échantillonnage et sur le jeu de test.
| Ensemble de domaines | Support | (1) | (2) | (3) | Ensemble de domaines | Support | (1) | (2) | (3) |
### F-scores obtained with BERT Multilingual and CamemBERT for each class
### F-scores obtained with Naive Bayes + TF-IDF on each class with three different sampling.
### F-scores obtained with SGD on each class with three different vectorizers without sampling.
### F-scores for classes on the test set obtained with SGD + TF-IDF, BiLSTM + FastText and BERT Multilingual.
### Confusion matrix for SGD+TF-IDF
Cette figure présente la matrice de confusion obtenue avec la méthode SGD+TF-IDF
sur le jeu de test. On peut voir qu’un grand nombre d’articles des classes *Arts
et métiers* et *Economie domestique* a été classé dans la classe *Métiers*, de
la même manière les classes *Mesure*, *Miné- ralogie*, *Pharmacie* et
*Politique* sont souvent confondues avec les classes *Commerce*, *Histoire
naturelle*, *Médecine - Chirurgie* et *Droit - Jurisprudence*, respectivement.
Les proximités sé- mantiques entre ces classes montrent bien la difficulté pour
les modèles de choisir entre l’une ou l’autre et les résultats confirment qu’en
cas de trop grande proximité les modèles choisissent la classe la plus
représentée dans le jeu de données.
This confusion matrix presents the results for the SGD+TF-IDF model on the test set. We see that most articles in the classes *Arts et métiers* and *Economie domestique* (Domestic economy) were classified as *Métiers*. In the same manner *Mesure* (Measurement), *Minéralogie* (Mineralology), *Pharmacie* (Pharmacy) and *Politique* (Politics) were confused with *Commerce*, *Histoire naturelle* (Natural history), *Médecine - Chirurgie* (Medicine - Surgery) and *Droit - Jurisprudence* (Law), respectively. The semantic similarity between these classes illustrates the difficulty a model has when choosing a “best match.” The results confirm that when there is great semantic similarity, the model chooses the best represented class in the dataset, thereby privileging certain ENCCRE domains that contain more articles.
## Citation
## Cite our work
Moncla, L., Chabane, K., et Brenon, A. (2022). Classification automatique
d’articles encyclopédiques. *Conférence francophone sur l’Extraction et la
Gestion des Connaissances (EGC)*. Blois, France.
Gestion des Connaissances ([EGC](https://egc2022.univ-tours.fr/))*. Blois, France. [https://hal.archives-ouvertes.fr/hal-03481219v1](https://hal.archives-ouvertes.fr/hal-03481219v1)
## Ackowledgements
Data courtesy the ARTFL Encyclopédie Project, University of Chicago.
This work was supported by the [ASLAN project](https://aslan.universite-lyon.fr/)(ANR-10-LABX-0081) of Université de Lyon, within the program « Investissements d’Avenir » operated by the French National Research Agency (ANR).
## Remerciements
Les auteurs remercient le [LABEX ASLAN](https://aslan.universite-lyon.fr/)
(ANR-10-LABX-0081) de l'Université de Lyon pour son soutien financier dans le
cadre du programme français "Investissements d'Avenir" géré par l'Agence
