Comprendre le modèle Continuous Bag of Words (CBOW)

Fonctionnement du modèle CBOW

Le modèle CBOW prédit un mot cible en fonction des mots contextuels qui l’entourent dans une phrase donnée. Par exemple, dans la phrase “Le chat est assis sur le tapis”, si la taille de la fenêtre contextuelle est de 2, les mots contextuels pour “assis” seraient [“Le”, “chat”, “sur”, “le”], et la tâche du modèle est de prédire le mot “assis”.

Ce modèle s’appuie sur l’agrégation des mots contextuels (par exemple, en faisant la moyenne de leurs vecteurs) pour prédire le mot cible. L’architecture du modèle comprend une couche d’entrée pour les mots contextuels, une couche cachée pour la génération des vecteurs d’embedding, et une couche de sortie pour prédire le mot cible à l’aide d’une distribution de probabilité.

Architecture et étapes de traitement

Le modèle CBOW est conçu pour prédire un mot cible basé sur les mots qui l’entourent. Voici un aperçu de son fonctionnement, étape par étape :

• Convertir les mots contextuels et le mot cible en vecteurs one-hot basés sur la taille du vocabulaire.
• Passer les vecteurs one-hot des mots contextuels à travers une couche d’embedding.
• Agréger les embeddings de tous les mots contextuels pour former un vecteur contextuel unique.
• Répéter le processus pour toutes les paires contexte-cible dans le corpus jusqu’à la convergence du modèle.

Implémentation du modèle CBOW

Pour illustrer le fonctionnement du modèle CBOW, nous allons aborder sa mise en œuvre de base en Python. Voici les étapes essentielles :

corpus = "Le renard brun rapide saute par-dessus le chien paresseux"
corpus = corpus.lower().split()  # Tokenisation et conversion en minuscules
C = 2  # Taille de la fenêtre contextuelle
context_target_pairs = []
# Générer les paires contexte-cible
for i in range(C, len(corpus) - C):
    context = corpus[i - C:i] + corpus[i + 1:i + C + 1]
    target = corpus[i]
    context_target_pairs.append((context, target))
print("Paires Contexte-Cible:", context_target_pairs)

En exécutant ce code, nous obtenons les paires de mots contextuels et cibles, ce qui permet de préparer les données pour l’entraînement du modèle.

Utilisation de frameworks

Des bibliothèques comme TensorFlow et Gensim simplifient le processus de création du modèle CBOW. Par exemple, Gensim fournit une fonction Word2Vec où il n’est pas nécessaire de gérer la formation manuellement, car Gensim entraîne les embeddings de mots à partir d’un corpus de texte :

import gensim
from gensim.models import Word2Vec
# Préparer les données (liste de listes de mots)
corpus = [["le", "renard", "brun", "rapide"], ["saute", "par-dessus", "le", "chien", "paresseux"]]
# Entraîner le modèle Word2Vec en utilisant CBOW
model = Word2Vec(corpus, vector_size=5, window=2, min_count=1, sg=0)
# Obtenir la représentation vectorielle d'un mot
vector = model.wv['renard']
print("Représentation vectorielle de 'renard':", vector)

Cela permet d’obtenir facilement des représentations vectorielles des mots sans nécessiter une implémentation détaillée.

Avantages et limitations de CBOW

Le modèle CBOW est reconnu pour son efficacité et sa simplicité. Il constitue un pont entre le texte brut et des représentations vectorielles significatives, permettant une vaste gamme d’applications NLP. Toutefois, il présente également des limitations, notamment dans sa capacité à traiter les mots rares, où d’autres modèles comme Skip-Gram peuvent s’avérer plus performants.

Différences entre CBOW et Skip-Gram

Il est important de noter les différences entre le modèle CBOW et le modèle Skip-Gram :

• CBOW prédit un mot cible en utilisant des mots contextuels, tandis que Skip-Gram prédit des mots contextuels en utilisant un mot cible.
• CBOW traite plusieurs mots contextuels simultanément, alors que Skip-Gram évalue chaque mot contextuel individuellement.
• Bien que CBOW soit efficace, Skip-Gram est généralement meilleur pour apprendre des représentations de mots rares.