يو! كمورد للمحول ، غالبًا ما يتم سؤالك عن كيفية التعامل مع المحولات التبعية طويلة المدى. إنه موضوع مهم للغاية ، لا سيما في عالم التكنولوجيا اليوم - العالم الثقيل حيث تعتبر معالجة البيانات والتواصل على مسافات طويلة هي القاعدة. لذلك ، دعنا نحفر فيه!
فهم التبعيات الطويلة
أولاً ، ما هي التبعيات الطويلة المدى؟ بعبارات بسيطة ، يتعلق الأمر بمدى ارتباط أجزاء مختلفة من التسلسل (مثل الجملة في معالجة اللغة الطبيعية أو سلسلة من نقاط البيانات في وقت واحد - تحليل السلسلة) ببعضها البعض ، حتى عندما تكون متباعدة. على سبيل المثال ، في جملة طويلة ، قد يكون للبداية والنهاية اتصال أمر بالغ الأهمية لفهم المعنى كله.
في بنيات الشبكة العصبية التقليدية ، كان التعامل مع هذه التبعيات طويلة المدى تحديًا قليلاً. كانت الشبكات العصبية المتكررة (RNNs) واحدة من المحاولات المبكرة للتعامل مع البيانات المتسلسلة. لكنهم عانوا من مشكلة التدرج التلاشي ، مما جعل من الصعب عليهم تذكر المعلومات من بعيد - في التسلسل. كانت الذاكرة قصيرة المدى الطويلة (LSTM) والوحدة المتكررة ذات البوابات (GRU) تحسينات ، لكنها لا تزال لديها قيود عندما يتعلق الأمر بالتسلسلات الطويلة حقًا.
أدخل المحول
جاءت هندسة المحولات على طول وتغيير اللعبة. تم تقديمه في الورقة "الانتباه هو كل ما تحتاجه" في عام 2017 ، ومنذ ذلك الحين ، أصبح النموذج - لنمذجة العديد من مهام معالجة اللغة الطبيعية ، وكذلك مجالات أخرى مثل رؤية الكمبيوتر والتعرف على الكلام.
الابتكار الرئيسي للمحول هو آلية الانتباه الذاتية. يتيح الانتباه الذاتي للنموذج أن يزن أهمية أجزاء مختلفة من تسلسل الإدخال عند معالجة كل عنصر. بدلاً من معالجة خطوة التسلسل - بواسطة - خطوة مثل RNN ، يمكن للمحول أن ينظر إلى جميع العناصر في التسلسل في وقت واحد ومعرفة كيفية ارتباطها ببعضها البعض.
دعنا نتفكك كيف يعمل الانتباه الذاتي. لنفترض أن لدينا تسلسل إدخال من الكلمات. يتم تحويل كل كلمة أولاً إلى تمثيل متجه. ثم ، لكل كلمة ، يحسب النموذج ثلاثة أشياء: متجه الاستعلام ، متجه رئيسي ، وناقل قيمة. يتم استخدام هذه المتجهات لحساب درجات الانتباه.
تخبر درجات الانتباه النموذج كم يجب أن يركز على الكلمات الأخرى في التسلسل عند معالجة كلمة معينة. يتم حساب الدرجات عن طريق أخذ منتج DOT لمتجه الاستعلام للكلمة الحالية مع ناقلات المفاتيح لجميع الكلمات الأخرى في التسلسل. ثم يتم تمرير هذه الدرجات من خلال وظيفة softmax للحصول على الاحتمالات ، والتي تستخدم لوزن متجهات القيمة. المبلغ المرجح لمتجهات القيمة هو إخراج آلية الانتباه الذاتية لتلك الكلمة.
اهتمام متعدد - انتباه الرأس
لكن المحول لا يستخدم فقط آلية انتباه ذاتية واحدة. يستخدم اهتمامًا متعدد الرأس ، مما يعني أنه يدير عملية الانتباه الذاتية عدة مرات بالتوازي. يمكن لكل "رأس" تعلم أنواع مختلفة من العلاقات بين العناصر في التسلسل. على سبيل المثال ، قد يركز أحد الرأس على العلاقات النحوية ، بينما قد يركز الآخر على العلاقات الدلالية.
من خلال الجمع بين مخرجات جميع الرؤوس ، يمكن للمحول التقاط مجموعة أكثر تنوعًا وشاملة من التبعيات في التسلسل. هذا هو أحد الأسباب التي تجعلها جيدة في التعامل مع تبعيات المدى الطويل. يمكن أن ينظر إلى التسلسل من وجهات نظر متعددة وإيجاد اتصالات قد تفوتها آلية انتباه رأس واحدة.
الترميز الموضعي
شيء واحد يجب ملاحظته هو أنه نظرًا لأن المحول يعالج جميع العناصر في التسلسل في وقت واحد ، فإنه ليس لديه شعور متأصل بترتيب العناصر. لمعالجة هذا ، تتم إضافة الترميز الموضعي إلى تضمينات الإدخال. الترميز الموضعي هو وسيلة لإضافة معلومات حول موضع كل عنصر في التسلسل إلى تمثيل المتجه.
هناك طرق مختلفة للقيام بالترميز الموضعي. تتمثل إحدى الطرق الشائعة في استخدام الوظائف الجيبية لإنشاء مجموعة من المتجهات التي تمثل موضع كل عنصر. تتم إضافة هذه المتجهات إلى تضمينات الإدخال ، بحيث يمكن للنموذج استخدام معلومات الموضع عند حساب درجات الانتباه.
التطبيقات في العالم الحقيقي
أدت قدرة المحول على التعامل مع تبعيات المدى الطويل إلى بعض التطبيقات المذهلة. في معالجة اللغة الطبيعية ، يتم استخدامه لمهام مثل ترجمة الآلة وتوليد النص والأسئلة - الإجابة على أنظمة الإجابة. على سبيل المثال ، تستند نماذج مثل GPT (المحول المسبق التوليدي) و BERT (تمثيلات تشفير ثنائية الاتجاه من المحولات) إلى بنية المحولات وحققت حالة - - - - ينتج عن ذلك العديد من معايير NLP.
في رؤية الكمبيوتر ، أظهر المحول أيضًا وعدًا كبيرًا. تم تطوير محولات الرؤية (VITS) لمعالجة الصور. بدلاً من استخدام الشبكات العصبية التلافيفية التقليدية (CNNs) ، تحطم الصور الصورة إلى بقع وتعاملها كتسلسل من العناصر. يمكن بعد ذلك استخدام آلية الانتباه الذاتي لالتقاط تبعيات طويلة المدى بين أجزاء مختلفة من الصورة ، والتي يمكن أن تكون مفيدة للمهام مثل اكتشاف الكائنات وتصنيف الصور.
محولاتنا
في شركتنا ، نقدم مجموعة واسعة من المحولات المصممة لتلبية الاحتياجات المختلفة. سواء كنت تبحث عنالمحول الحالي الواقيللحماية الكهربائية أو أمحول القياسللقياسات الدقيقة ، قمنا بتغطية. لدينا أيضاالجهد العالي CTخيارات لتطبيقات الجهد العالي.
تم تصميم محولاتنا بأحدث التقنيات والالتزام بمعايير الجودة الصارمة. نحن نتفهم أهمية التعامل مع التبعيات الطويلة ، وخاصة في الأنظمة الكهربائية المعقدة. تم تصميم منتجاتنا لضمان أداء موثوق به ونقل بيانات دقيق على مسافات طويلة.
اتصل بنا للمشتريات
إذا كنت في السوق للمحولات وترغب في معرفة المزيد حول كيفية مساعدتك في منتجاتنا في التعامل مع تبعيات المدى الطويل في تطبيقاتك ، فلا تتردد في التواصل. نحن هنا للإجابة على أسئلتك ومناقشة متطلباتك المحددة. سواء كنت شركة صغيرة أو شركة كبيرة ، يمكننا العمل معك للعثور على حل المحول الصحيح.
مراجع
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention Is All You Need. arXiv preprint arXiv:1706.03762.
