Salut! Je suis un fournisseur de Transformers, et aujourd'hui je vais parler de la façon dont le mécanisme d'attention sur un transformateur fonctionne. Cela peut sembler un peu technique, mais je vais le décomposer d'une manière facile à comprendre.
Commençons par les bases. Les transformateurs sont un type d'architecture de réseau neuronal qui a révolutionné le domaine du traitement du langage naturel (PNL) et d'autres domaines. Le mécanisme d'attention de soi est l'un des composants clés qui rendent les transformateurs si puissants.
Qu'est-ce que l'attention est-elle?
L'attention de soi est un moyen pour le modèle de peser l'importance de différentes parties de la séquence d'entrée lors du traitement. En termes simples, il aide le modèle à se concentrer sur les parties pertinentes de l'entrée. Imaginez que vous lisez un long article. Vous ne lisez pas chaque mot avec le même niveau d'attention. Vous pourriez prêter plus d'attention aux phrases clés, à des titres et à des détails pertinents. C'est exactement ce que fait l'attention pour un modèle de transformateur.
Comment cela fonctionne-t-il étape par étape?
1. Vecteurs de requête, de clé et de valeur
La première étape du mécanisme d'attention de soi consiste à créer trois types de vecteurs pour chaque élément de la séquence d'entrée: requête (q), clé (k) et vecteurs de valeur (v). Ces vecteurs sont créés en multipliant les incorporations d'entrée par trois matrices de poids différentes.
Disons que nous avons une séquence d'entrée de mots, et chaque mot est représenté comme un vecteur. Nous multiplions ces vecteurs d'entrée par les matrices de poids (W_Q), (W_K) et (W_V) pour obtenir respectivement les vecteurs de requête, de clé et de valeur.
[Q = xw_q]
[K = xw_k]
[V = xw_v]
Ici, (x) est la matrice des incorporations d'entrée.
2. Calcul des scores d'attention
Ensuite, nous calculons les scores d'attention. Nous le faisons en prenant le produit DOT des vecteurs de requête avec les vecteurs clés. Le produit DOT mesure la similitude entre la requête et les clés.
Pour chaque vecteur de requête (q_i) dans la séquence, nous calculons les scores d'attention (a_ {i, j}) avec tous les vecteurs clés (k_j) dans la séquence.
[a_ {i, j} = q_i \ cdot k_j]
Ces scores nous disent combien l'élément (i) - th de la séquence devrait faire attention à l'élément (j) - th.
3. Échelle et softmax
Les scores d'attention sont ensuite mis à l'échelle en les divisant par la racine carrée de la dimension des vecteurs clés ((\ sqrt {d_k})). Cette mise à l'échelle aide à empêcher les produits DOT de devenir trop importants, ce qui pourrait rendre les gradients instables pendant la formation.
[a_ {i, j} ^ {scaled} = \ frac {a_ {i, j}} {\ sqrt {d_k}}]
Après l'échelle, nous appliquons la fonction Softmax aux scores à l'échelle. La fonction SoftMax convertit les scores en probabilités, de sorte qu'ils résument à 1.
[\ alpha_ {i, j} = \ frac {\ exp (a_ {i, j} ^ {scaled})} {\ sum_ {k = 1} ^ {n} \ exp (a_ {i, k} ^ {scaled})}]
Ici, (\ alpha_ {i, j}) est le poids d'attention, qui représente l'importance de l'élément (j) - th à l'élément (i) - th.
4. somme pondérée des valeurs
Enfin, nous calculons la sortie du mécanisme d'attention de soi en prenant une somme pondérée des vecteurs de valeur. Nous multiplions chaque vecteur de valeur (v_j) par son poids d'attention correspondant (\ alpha_ {i, j}) et les résume pour tous (j).
[o_i = \ sum_ {j = 1} ^ {n} \ alpha_ {i, j} v_j]
Les vecteurs de sortie (O_I) sont la sortie du mécanisme d'attention de soi pour chaque élément de la séquence d'entrée.
Pourquoi l'attention est-elle importante?
Le mécanisme d'attention de soi présente plusieurs avantages. Premièrement, il permet au modèle de capturer les dépendances à longue portée dans la séquence d'entrée. Dans les architectures de réseaux neuronaux traditionnelles comme les réseaux de neurones récurrents (RNN), il est difficile de capturer des dépendances entre des éléments éloignés dans la séquence. L'attention de soi peut facilement gérer des dépendances de la plage aussi longues car elle peut calculer directement la relation entre deux éléments de la séquence.
Deuxièmement, l'attention de soi est parallélisable. Contrairement aux RNN, qui traitent séquentiellement la séquence d'entrée, l'attention de soi peut traiter simultanément tous les éléments de la séquence. Cela rend la formation et l'inférence beaucoup plus rapidement, en particulier pour les longues séquences.
Applications des transformateurs et de soi - l'attention
Les transformateurs avec des mécanismes d'attention auto-attentionnaient dans un large éventail d'applications. Dans la PNL, ils sont utilisés pour des tâches telles que la traduction automatique, la génération de texte, les systèmes de réponses et l'analyse des sentiments. Par exemple, des modèles comme Bert et GPT sont basés sur l'architecture du transformateur.
Dans la vision par ordinateur, l'attention de soi a également été appliquée. Il peut être utilisé pour analyser les images, détecter des objets et générer des légendes pour les images.
Nos produits transformateurs
En tant que fournisseur de transformateur, nous proposons une variété de transformateurs de haute qualité. Par exemple, nous avons le167 KVA Téléphone Transformateur, qui convient aux applications extérieures et peut fournir une alimentation fiable. NotreTransformateur à faible perte immergé d'huileest conçu pour réduire la perte d'énergie et a une longue durée de vie de service. Et si vous avez besoin d'un transformateur sec, notreTransformateur sec de 400 kVaest un excellent choix, avec d'excellentes performances et des caractéristiques de sécurité.
Si vous êtes intéressé par nos produits ou si vous avez des questions sur Transformers, n'hésitez pas à nous contacter pour une négociation d'achat. Nous sommes ici pour vous fournir les meilleures solutions pour vos besoins en puissance.
Références
- Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, AN, ... & Polosukhin, I. (2017). L'attention est tout ce dont vous avez besoin. Progrès des systèmes de traitement de l'information neuronaux.
- Devlin, J., Chang, MW, Lee, K., et Toutanova, K. (2018). Bert: Pré-formation des transformateurs bidirectionnels profonds pour la compréhension du langage. ARXIV PRÉALLAGE ARXIV: 1810.04805.
- Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., et Sutskever, I. (2019). Les modèles de langue sont des apprenants multitâches non surveillés. Openai Blog, 1 (8), 9.