51 lines (35 loc) · 2.01 KB

DatasetBuilder

🧠 Wolof Sentiment Annotation Pipeline

Ce projet propose un pipeline complet d'extraction, de nettoyage et d'annotation automatique de textes en wolof pour l'analyse de sentiments.

📦 Contenu du dépôt

DatasetBuilder.py : Script Python pour extraire, filtrer et nettoyer les messages depuis des fichiers .txt, .csv ou .xlsx.
dataset.csv : Fichier de sortie contenant les textes en wolof nettoyés, prêts à être annotés.
notebook_kaggle.ipynb : Notebook exécuté sur Kaggle avec GPU pour l’annotation automatique.

⚙️ Fonctionnement du Pipeline

1. Prétraitement avec `DatasetBuilder.py`

Le script :

Supprime les messages en français et en anglais.
Nettoie les messages (numéros, balises HTML, emojis, noms sénégalais...).
Gère plusieurs formats d'entrée (WhatsApp .txt, .csv, .xlsx).
Produit un fichier dataset.csv avec une colonne texte.

2. Annotation Automatique sur Kaggle

Le notebook :

Utilise deux modèles Hugging Face :
- nlptown/bert-base-multilingual-uncased-sentiment
- cardiffnlp/twitter-xlm-roberta-base-sentiment
Chaque texte est traité 3 fois par modèle (variation originale, ponctuée, majuscule).
Résultats stockés dans 6 colonnes annotation1 à annotation6.
Vote majoritaire pour déterminer le sentiment final.

🔢 Répartition des sentiments finaux

Sentiment	Nombre	Pourcentage
Négatif	67 834	73.6 %
Positif	15 129	16.4 %
Neutre	9 223	10.0 %

📁 Données & Résultats

🔗 Google Drive (CSV & sorties) : Accéder au dossier
📊 Kaggle Notebook : Voir sur Kaggle

📜 Licence

Ce projet est proposé à des fins académiques et expérimentales.

Contact : Massina sur Kaggle