"La reconnaissance d'entités nommées, *Named Entity Recognition* (NER) en anglais, est une tâche très importante et incontournable en traitement automatique des langues (TAL) et en compréhension du langage naturel (NLU en anglais). \n",
"Cette tâche consiste à rechercher des objets textuels (un mot, ou un groupe de mots, souvent associés aux noms propres) catégorisables dans des classes telles que noms de personnes, noms d'organisations ou d'entreprises, noms de lieux, quantités, distances, valeurs, dates, etc.\n",
"\n",
"Dans cet atelier nous allons expérimenter et comparer trois outils de NER. \n",
"`Stanza` est une librairie Python de traitement du langage naturel. Elle contient des outils, qui peuvent être utilisés dans une chaîne de traitement, pour convertir du texte en listes de phrases et de mots, pour générer les formes de base de ces mots, leurs parties du discours et leurs caractéristiques morphologiques, pour produire une analyse syntaxique de dépendance, et pour reconnaître les entités nommées. \n",
"\n",
"`Stanza` se base sur des modèles entrainés par des réseaux de neurones à partir de la bibliothèque [PyTorch](https://pytorch.org) et permet de traiter plus de 70 langues.\n",
"\n",
"Dans cette partie nous allons voir comment utiliser `Stanza` pour la reconnaissance d'entités nommées à partir de textes en français.\n"
]
},
},
{
{
"cell_type": "markdown",
"cell_type": "markdown",
"metadata": {},
"metadata": {},
"source": [
"source": [
"### 5.1 Stanza NER"
"* Importer la librairie `Stanza` et télécharger le modèle pré-entrainé pour le français : "
"`spaCy` est également une librairie Python de traitement du langage naturel. \n",
"Elle se compose de modèles pré-entrainés et supporte actuellement la tokenisation et l'entrainement pour plus de 60 langues. Elle est doté de modèles de réseaux neuronaux pour le balisage, l'analyse syntaxique, la reconnaissance d'entités nommées, la classification de textes, l'apprentissage multi-tâches avec des transformateurs pré-entraînés comme BERT, ainsi qu'un système d'entraînement prêt pour la production et un déploiement simple des modèles. `spaCy` est un logiciel commercial, publié en open-source sous la licence MIT.\n",
"\n",
"Dans cette partie nous allons voir comment utiliser `spaCy` pour la reconnaissance d'entités nommées toujours à partir de notre exemple en français."
Supports pour l'atelier [Librairies Python et Services Web pour la reconnaissance d’entités nommées et la résolution de toponymes](https://anf-tdm-2022.sciencesconf.org/resource/page/id/11) de la formation CNRS [ANF TDM 2022](https://anf-tdm-2022.sciencesconf.org).
Supports pour l'atelier [Librairies Python et Services Web pour la reconnaissance d’entités nommées et la résolution de toponymes](https://anf-tdm-2022.sciencesconf.org/resource/page/id/11) de la formation CNRS [ANF TDM 2022](https://anf-tdm-2022.sciencesconf.org).
## 1. En bref
## 1. En bref
Dans ce tutoriel, nous allons apprendre plusieurs choses :
Dans ce tutoriel, nous allons apprendre plusieurs choses :
- Charger des jeux de données :
- Charger des jeux de données :
- à partir de fichiers txt importés depuis le disque dur ;
- à partir de fichiers txt importés depuis le disque dur ;
- à partir de la librairie Python [Perdido](https://github.com/ludovicmoncla/perdido) dans un [Pandas dataframe](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.html)(articles encyclopédiques et descriptions de randonnées).
- à partir de la librairie Python [Perdido](https://github.com/ludovicmoncla/perdido) dans un [Pandas dataframe](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.html)(articles encyclopédiques et descriptions de randonnées).
- Manipuler et interroger un dataframe
- Manipuler et interroger un dataframe
- Utiliser les librairies [Stanza](https://stanfordnlp.github.io/stanza/index.html), [spaCy](https://spacy.io) et [Perdido](https://github.com/ludovicmoncla/perdido) pour la reconnaissance d'entités nommées
- Utiliser les librairies [Stanza](https://stanfordnlp.github.io/stanza/index.html), [spaCy](https://spacy.io) et [Perdido](https://github.com/ludovicmoncla/perdido) pour la reconnaissance d'entités nommées
- afficher les entités nommées annotées ;
- afficher les entités nommées annotées ;
- comparer les résultats de `Stanza`, `spaCy` et `Perdido` ;
- comparer les résultats de `Stanza`, `spaCy` et `Perdido` ;
- discuter les limites des 3 outils pour la tâche de NER.
- discuter les limites des 3 outils pour la tâche de NER.
- Utiliser la librarie `Perdido` pour le geoparsing :
- Utiliser la librarie `Perdido` pour le geoparsing :
- cartographier les lieux geocodés ;
- cartographier les lieux geocodés ;
- illustrer la problématique de désambiguïsation des toponymes.
- illustrer la problématique de désambiguïsation des toponymes.
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
## 2. Introduction
## 2. Introduction
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
## 3. Configurer l'environnement
## 3. Configurer l'environnement
### 3.1 Installer les librairies Python
### 3.1 Installer les librairies Python
* Si vous avez configuré votre environnement Conda en utilisant le fichier `requirements.txt`, vous pouvez sauter cette étape et aller à la section `3.2 Importer les librairies`.
* Si vous avez configuré votre environnement Conda en utilisant le fichier `requirements.txt`, vous pouvez sauter cette étape et aller à la section `3.2 Importer les librairies`.
* Si vous avez configuré votre environnement Conda en utilisant le fichier `environment.yml` ou si vous utilisez un environnement Google Colab / Binder, vous devez installer `perdido` en utilisant `pip` :
* Si vous avez configuré votre environnement Conda en utilisant le fichier `environment.yml` ou si vous utilisez un environnement Google Colab / Binder, vous devez installer `perdido` en utilisant `pip` :
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
!pipinstallperdido
!pipinstallperdido
```
```
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
* Si vous avez déjà configuré votre environnement conda, soit avec conda, soit avec pip (voir le fichier readme), vous pouvez ignorer la cellule suivante.
* Si vous avez déjà configuré votre environnement conda, soit avec conda, soit avec pip (voir le fichier readme), vous pouvez ignorer la cellule suivante.
* Si vous exécutez ce notebook depuis Google Colab / Binder, vous devez exécuter la cellule suivante :
* Si vous exécutez ce notebook depuis Google Colab / Binder, vous devez exécuter la cellule suivante :
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
!pipinstallstanza
!pipinstallstanza
```
```
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
### 3.2 Importer les librairies
### 3.2 Importer les librairies
Tout d'abord, nous allons charger certaines bibliothèques spécifiques de `Perdido` que nous utiliserons dans ce notebook. Ensuite, nous importons quelques outils qui nous aideront à analyser et à visualiser le texte.
Tout d'abord, nous allons charger certaines bibliothèques spécifiques de `Perdido` que nous utiliserons dans ce notebook. Ensuite, nous importons quelques outils qui nous aideront à analyser et à visualiser le texte.
### 4.1 Chargement d'un document texte à partir d'un fichier
### 4.1 Chargement d'un document texte à partir d'un fichier
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
filepath='data/volume01-4083.txt'
filepath='data/volume01-4083.txt'
```
```
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
withopen(filepath)asf:
withopen(filepath)asf:
content=f.read()
content=f.read()
```
```
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
* Afficher le contenu du fichier
* Afficher le contenu du fichier
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
print(content)
print(content)
```
```
%% Output
%% Output
* ARQUES, (Géog.) petite ville de France, en Normandie, au pays de Caux, sur la petite riviere d'Arques. Long. 18. 50. lat. 49. 54.
* ARQUES, (Géog.) petite ville de France, en Normandie, au pays de Caux, sur la petite riviere d'Arques. Long. 18. 50. lat. 49. 54.
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
### 4.2 Chargement d'un jeu de données à partir de la librairie Perdido
### 4.2 Chargement d'un jeu de données à partir de la librairie Perdido
Perdido embarque deux jeux de données :
Perdido embarque deux jeux de données :
1. articles encyclopédiques (volume 7 de l'Encyclopédie de Diderot et d'Alembert (1751-1772)), fournit par l'[ARTFL](https://encyclopedie.uchicago.edu) dans le cadre du projet [GEODE](https://geode-project.github.io) ;
1. articles encyclopédiques (volume 7 de l'Encyclopédie de Diderot et d'Alembert (1751-1772)), fournit par l'[ARTFL](https://encyclopedie.uchicago.edu) dans le cadre du projet [GEODE](https://geode-project.github.io) ;
2. descriptions de randonnées (chaque description est associée à sa trace GPS. Elles proviennent du site [www.visorando.fr](https://www.visorando.com) et ont été collectées dans le cadre du projet [ANR CHOUCAS](http://choucas.ign.fr).
2. descriptions de randonnées (chaque description est associée à sa trace GPS. Elles proviennent du site [www.visorando.fr](https://www.visorando.com) et ont été collectées dans le cadre du projet [ANR CHOUCAS](http://choucas.ign.fr).
Dans un premier temps nous allons nous intéresser au jeu de données des articles encyclopédiques. Ce jeu de données est présent dans la librairie en deux versions, une version "brute" (articles fournis par l'ARTFL) au format dataframe et une version déjà annotée par Perdido (format PerdidoCollection). Nous allons charger la version brute et voir comment manipuler un dataframe.
Dans un premier temps nous allons nous intéresser au jeu de données des articles encyclopédiques. Ce jeu de données est présent dans la librairie en deux versions, une version "brute" (articles fournis par l'ARTFL) au format dataframe et une version déjà annotée par Perdido (format PerdidoCollection). Nous allons charger la version brute et voir comment manipuler un dataframe.
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
* Charger le jeu de données :
* Charger le jeu de données :
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
dataset_artfl=load_edda_artfl()
dataset_artfl=load_edda_artfl()
data_artfl=dataset_artfl['data']
data_artfl=dataset_artfl['data']
```
```
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
* Afficher les informations sur le jeu de données :
* Afficher les informations sur le jeu de données :
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
data_artfl.info()
data_artfl.info()
```
```
%% Output
%% Output
<class 'pandas.core.frame.DataFrame'>
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3385 entries, 0 to 3384
RangeIndex: 3385 entries, 0 to 3384
Data columns (total 7 columns):
Data columns (total 7 columns):
# Column Non-Null Count Dtype
# Column Non-Null Count Dtype
--- ------ -------------- -----
--- ------ -------------- -----
0 filename 3385 non-null object
0 filename 3385 non-null object
1 volume 3385 non-null int64
1 volume 3385 non-null int64
2 number 3385 non-null int64
2 number 3385 non-null int64
3 head 3384 non-null object
3 head 3384 non-null object
4 normClass 3384 non-null object
4 normClass 3384 non-null object
5 author 3384 non-null object
5 author 3384 non-null object
6 text 3385 non-null object
6 text 3385 non-null object
dtypes: int64(2), object(5)
dtypes: int64(2), object(5)
memory usage: 185.2+ KB
memory usage: 185.2+ KB
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
On remarque que certaines colonnes ont une donnée manquante (3384 lignes non nulles contre 3385 lignes au total). Pour la suite des opérations que nous allons réaliser il est nécessaire de supprimer les lignes incomplètes.
On remarque que certaines colonnes ont une donnée manquante (3384 lignes non nulles contre 3385 lignes au total). Pour la suite des opérations que nous allons réaliser il est nécessaire de supprimer les lignes incomplètes.
0 unsigned ENCYCLOPÉDIE, ou DICTIONNAIRE RAISONNÉ DES SCI...
0 unsigned ENCYCLOPÉDIE, ou DICTIONNAIRE RAISONNÉ DES SCI...
1 Bellin FOESNE ou FOUANE, sub. s. (Marine & Pêche.) c'...
1 Bellin FOESNE ou FOUANE, sub. s. (Marine & Pêche.) c'...
2 Bellin Fond de la hune ; ce sont les planches qu on p...
2 Bellin Fond de la hune ; ce sont les planches qu on p...
3 Diderot * Fronteau, terme de Sellier-Bourrelier ; c'es...
3 Diderot * Fronteau, terme de Sellier-Bourrelier ; c'es...
4 Diderot * FRONTIERE, s. f. (Géog.) se dit des limites,...
4 Diderot * FRONTIERE, s. f. (Géog.) se dit des limites,...
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
### 4.3 Manipulation d'un dataframe
### 4.3 Manipulation d'un dataframe
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
Nous avons maintenant accès à tous les attributs et méthodes de l'objet [dataframe](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.html). Par exemple, nous pouvons facilement connaître le nombre de lignes dans notre dataframe qui correspond au nombre d'articles dans notre corpus :
Nous avons maintenant accès à tous les attributs et méthodes de l'objet [dataframe](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.html). Par exemple, nous pouvons facilement connaître le nombre de lignes dans notre dataframe qui correspond au nombre d'articles dans notre corpus :
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
n=data_artfl.shape[0]
n=data_artfl.shape[0]
print('Il y a '+str(n)+' articles dans le jeu de données.')
print('Il y a '+str(n)+' articles dans le jeu de données.')
```
```
%% Output
%% Output
Il y a 3384 articles dans le jeu de données.
Il y a 3384 articles dans le jeu de données.
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
#### 4.3.1 Recherche par métadonnées
#### 4.3.1 Recherche par métadonnées
Maintenant que les données sont chargées dans un dataframe, nous pouvons sélectionner des groupes d'articles sur la base de leurs métadonnées.
Maintenant que les données sont chargées dans un dataframe, nous pouvons sélectionner des groupes d'articles sur la base de leurs métadonnées.
Pour cela on utilise la méthode [loc()](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.loc.html).
Pour cela on utilise la méthode [loc()](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.loc.html).
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
* Selectionner la ligne du dataframe qui correspond à l'article 'FRONTIGNAN' :
* Selectionner la ligne du dataframe qui correspond à l'article 'FRONTIGNAN' :
5 FRONTIGNAN, (Géog.) petite ville de France. au...
5 FRONTIGNAN, (Géog.) petite ville de France. au...
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
* Récupérer les valeurs des attributs (colonnes) :
* Récupérer les valeurs des attributs (colonnes) :
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
print('filename :',frontignan.filename.item())# similaire à frontignan['normClass'].item()
print('filename :',frontignan.filename.item())# similaire à frontignan['normClass'].item()
print('text :',frontignan.text.item())
print('text :',frontignan.text.item())
```
```
%% Output
%% Output
filename : volume07-1002.tei
filename : volume07-1002.tei
text : FRONTIGNAN, (Géog.) petite ville de France. au Bas-Languedoc, connue par ses excellens vins muscats, & ses raisins de caisse qu'on appelle passerilles. Quelques savans croyent, sans en donner de preuves, que cette ville est le forum Domitii des Romains. Elle est située sur l'étang de Maguelone, à six lieues N. E. d'Agde, & cinq S. O. de Montpellier. Long. 15d. 24'. lat. 43d. 28'. (D. J.)
text : FRONTIGNAN, (Géog.) petite ville de France. au Bas-Languedoc, connue par ses excellens vins muscats, & ses raisins de caisse qu'on appelle passerilles. Quelques savans croyent, sans en donner de preuves, que cette ville est le forum Domitii des Romains. Elle est située sur l'étang de Maguelone, à six lieues N. E. d'Agde, & cinq S. O. de Montpellier. Long. 15d. 24'. lat. 43d. 28'. (D. J.)
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
Nous pouvons également filtrer les données sur la base de l'auteur.
Nous pouvons également filtrer les données sur la base de l'auteur.
On peut également regrouper les données selon un ou plusieurs attributs (colonnes) et compter le nombre de données de chaque groupe avec les méthodes [groupby()](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.groupby.html) et [count()](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.count.html).
On peut également regrouper les données selon un ou plusieurs attributs (colonnes) et compter le nombre de données de chaque groupe avec les méthodes [groupby()](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.groupby.html) et [count()](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.count.html).
* Afficher le nombre d'articles classés en Géographie par auteur :
* Afficher le nombre d'articles classés en Géographie par auteur :
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
d_geo.groupby(['author'])["filename"].count()
d_geo.groupby(['author'])["filename"].count()
```
```
%% Output
%% Output
author
author
Desmarest 1
Desmarest 1
Diderot 1
Diderot 1
Jaucourt 476
Jaucourt 476
La Condamine 1
La Condamine 1
Mallet 1
Mallet 1
Robert de Vaugondy 2
Robert de Vaugondy 2
Robert de Vaugondy & d'Alembert 1
Robert de Vaugondy & d'Alembert 1
unsigned 13
unsigned 13
Name: filename, dtype: int64
Name: filename, dtype: int64
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
Dans cette partie nous avons vu brievement comment manipuler un dataframe pour selectionner certaines données en filtrant selon certaines métadonnées ou par une recheche par mot clés. Ces opérations sont utiles mais un peu limitées, nous allons voir dans la suite de ce notebook comment enrichir les métadonnées et en particulier comment annoter les entités nommées présents dans les textes.
Dans cette partie nous avons vu brievement comment manipuler un dataframe pour selectionner certaines données en filtrant selon certaines métadonnées ou par une recheche par mot clés. Ces opérations sont utiles mais un peu limitées, nous allons voir dans la suite de ce notebook comment enrichir les métadonnées et en particulier comment annoter les entités nommées présents dans les textes.
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
## 5. Reconnaissance d'Entités Nommées (NER)
## 5. Reconnaissance d'Entités Nommées (NER)
La reconnaissance d'entités nommées, *Named Entity Recognition* (NER) en anglais, est une tâche très importante et incontournable en traitement automatique des langues (TAL) et en compréhension du langage naturel (NLU en anglais).
Cette tâche consiste à rechercher des objets textuels (un mot, ou un groupe de mots, souvent associés aux noms propres) catégorisables dans des classes telles que noms de personnes, noms d'organisations ou d'entreprises, noms de lieux, quantités, distances, valeurs, dates, etc.
%% Cell type:code id: tags:
Dans cet atelier nous allons expérimenter et comparer trois outils de NER.
`Stanza` est une librairie Python de traitement du langage naturel. Elle contient des outils, qui peuvent être utilisés dans une chaîne de traitement, pour convertir du texte en listes de phrases et de mots, pour générer les formes de base de ces mots, leurs parties du discours et leurs caractéristiques morphologiques, pour produire une analyse syntaxique de dépendance, et pour reconnaître les entités nommées.
``` python
`Stanza` se base sur des modèles entrainés par des réseaux de neurones à partir de la bibliothèque [PyTorch](https://pytorch.org) et permet de traiter plus de 70 langues.
```
Dans cette partie nous allons voir comment utiliser `Stanza` pour la reconnaissance d'entités nommées à partir de textes en français.
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
* Importer la librairie `Stanza` et télécharger le modèle pré-entrainé pour le français :
* Importer la librairie `Stanza` et télécharger le modèle pré-entrainé pour le français :
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
importstanza
importstanza
stanza.download('fr')
stanza.download('fr')
```
```
%% Output
2022-09-16 09:16:43 INFO: Downloading default packages for language: fr (French)...
* On utilise la variable `content` qui contient le texte chargé précédemment à partir du fichier
%% Cell type:code id: tags:
``` python
print(content)
```
%% Output
* ARQUES, (Géog.) petite ville de France, en Normandie, au pays de Caux, sur la petite riviere d'Arques. Long. 18. 50. lat. 49. 54.
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
* Executer la reconnaissance d'entités nommées :
* Executer la reconnaissance d'entités nommées :
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
doc=stanza_parser(content)
doc=stanza_parser(content)
```
```
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
* Afficher la liste des entités nommées repérées :
* Afficher la liste des entités nommées repérées :
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
forentindoc.ents:
forentindoc.ents:
print(ent.text,ent.type)
print(ent.text,ent.type)
```
```
%% Output
ARQUES LOC
(Géog LOC
France LOC
Normandie LOC
pays de Caux LOC
Arques LOC
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
### 5.2 SpaCy NER
### 5.2 SpaCy NER
`spaCy` est également une librairie Python de traitement du langage naturel.
Elle se compose de modèles pré-entrainés et supporte actuellement la tokenisation et l'entrainement pour plus de 60 langues. Elle est doté de modèles de réseaux neuronaux pour le balisage, l'analyse syntaxique, la reconnaissance d'entités nommées, la classification de textes, l'apprentissage multi-tâches avec des transformateurs pré-entraînés comme BERT, ainsi qu'un système d'entraînement prêt pour la production et un déploiement simple des modèles. `spaCy` est un logiciel commercial, publié en open-source sous la licence MIT.
Dans cette partie nous allons voir comment utiliser `spaCy` pour la reconnaissance d'entités nommées toujours à partir de notre exemple en français.
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
* Installer le modèle français pré-entrainé de `spaCy` :
* Installer le modèle français pré-entrainé de `spaCy` :
### 6.2 Résolution de toponymes / désambiguïsation
### 6.2 Résolution de toponymes / désambiguïsation
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
Exemple de requetes sans stratégies de désambiguisation
Exemple de requetes sans stratégies de désambiguisation
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
```
```
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
```
```
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
Délimiter un zone restreinte lors de la requête
Délimiter un zone restreinte lors de la requête
Premier niveau : utilisation d'un code pays.
Premier niveau : utilisation d'un code pays.
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
```
```
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
```
```
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
Deuxième niveau : utilisation d'une bounding box délimitant la zone de recherche
Deuxième niveau : utilisation d'une bounding box délimitant la zone de recherche
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
```
```
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
```
```
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
Désambiguisation basé sur la proximité géographique
Désambiguisation basé sur la proximité géographique
Clustering avec la méthode DBSCAN. Cette stratégie est adaptée pour une description d'itinéraire où les différents lieux cités doivent être localisés à proximité les uns des autres.
Clustering avec la méthode DBSCAN. Cette stratégie est adaptée pour une description d'itinéraire où les différents lieux cités doivent être localisés à proximité les uns des autres.
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
#### Résultats avant désambiguisation
#### Résultats avant désambiguisation
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
d['data'][1].get_folium_map()
d['data'][1].get_folium_map()
```
```
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
d['data'][1].cluster_disambiguation()
d['data'][1].cluster_disambiguation()
```
```
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
d['data'][1].get_folium_map()
d['data'][1].get_folium_map()
```
```
%% Cell type:code id: tags:
%% Cell type:code id: tags:
``` python
``` python
```
```
%% Cell type:markdown id: tags:
%% Cell type:markdown id: tags:
Utilisation du contexte (autres entités nommées repérées dans le texte, relations spatiales, etc...). Développées dans le cadre du projet [Perdido]() (add ref 2014 et 2016) mais pas encore intégré à la librairie Python Perdido. Cette librairie est toujours en cours de développement et d'amélioration. Vos remarques et retours seront les bienvenues.
Utilisation du contexte (autres entités nommées repérées dans le texte, relations spatiales, etc...). Développées dans le cadre du projet [Perdido]() (add ref 2014 et 2016) mais pas encore intégré à la librairie Python Perdido. Cette librairie est toujours en cours de développement et d'amélioration. Vos remarques et retours seront les bienvenues.
