Skip to content
GitLab
Explore
Sign in
Primary navigation
Search or go to…
Project
ff2balex
Manage
Activity
Members
Labels
Plan
Issues
9
Issue boards
Milestones
Wiki
External wiki
Code
Merge requests
0
Repository
Branches
Commits
Tags
Repository graph
Compare revisions
Snippets
Build
Pipelines
Jobs
Pipeline schedules
Artifacts
Deploy
Releases
Package Registry
Model registry
Operate
Environments
Terraform modules
Monitor
Incidents
Analyze
Value stream analytics
Contributor analytics
CI/CD analytics
Repository analytics
Model experiments
Help
Help
Support
GitLab documentation
Compare GitLab plans
Community forum
Contribute to GitLab
Provide feedback
Keyboard shortcuts
?
Snippets
Groups
Projects
Show more breadcrumbs
Lex gaMe
ff2balex
Wiki
Documentation
Fonctionnement de l'extension
Fonctions TAL
Changes
Page history
New page
Templates
Clone repository
Update Fonctions TAL
authored
2 months ago
by
Alissa Sounalath
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
Documentation/Fonctionnement-de-l'extension/Fonctions-TAL.md
+3
-3
3 additions, 3 deletions
Documentation/Fonctionnement-de-l'extension/Fonctions-TAL.md
with
3 additions
and
3 deletions
Documentation/Fonctionnement-de-l'extension/Fonctions-TAL.md
View page @
4ab0f084
...
...
@@ -13,11 +13,11 @@
-
Normalisation du texte
*
`json `
(Conversion en JSON) Utilisé pour convertir les résultats en format JSON avant de les renvoyer à JavaScript
## Fonctions TAL
##
[
Fonctions TAL
](https://gitlab.liris.cnrs.fr/lex-game/balex2ff/-/blob/main/src/workers/pyodide_worker.js)
*
**Tokénisation des phrases**
*
Expression régulière
**`re.findall`**
pour extraire les mots valides du texte
*
Utilise la délimitation d'un mot
*
Expression régulière
**`re.findall`**
pour extraire les mots valides du texte
*
Utilise la délimitation d'un mot
*
Exclut les nombres et la ponctuation (
`^[\d.,:!?;]+$`
)
*
Pour améliorer la tokénisation en français, on ajoute l'expression régulière
`tokgrm`
pour gérer par exemple :
*
Expressions multi-mots : "pomme de terre"
...
...
This diff is collapsed.
Click to expand it.