التضمينات: الحصول على تضمينات

يتناول هذا القسم العديد من وسائل الحصول على تضمينات، بالإضافة إلى طريقة تحويل التضمينات الثابتة إلى أخرى سياقية.

وسائل تضييق فضاء السمات الواسع

هناك العديد من الأساليب الحسابية التي يمكن من خلالها رصد التراكيب المهمة ضمن فضاء سمات واسع لاستبداله بآخر ضيق. نظريًا، يمكن الاستفادة من جميع هذه الأساليب في إنشاء تضمين لنظام تعلُّم الآلة.

على سبيل المثال، تتم الاستفادة من تحليل المكونات الأساسية (PCA) لإنشاء تضمينات الكلمات. وبالنظر إلى مجموعة مثيلات على غرار متجهات حقيبة الكلمات، يتم استخدام PCA في العثور على السمات ذات الارتباط الوثيق والتي يمكن دمجها معًا في سمة واحدة.

تدريب التضمين في إطار الشبكة العصبونية

يمكنك إنشاء تضمين أثناء تدريب الشبكة العصبونية على المهمة المطلوبة. يتيح لك هذا المنهج تضمينًا مخصّصًا يناسب نظامك تحديدًا، ولكن قد يستغرق وقتًا أطول من تدريب التضمين بشكل منفصل.

وعمومًا، يمكنك إنشاء طبقة مخفية بالحجم d في شبكتك العصبونية يتم تخصيصها باعتبارها طبقة التضمين، حيث يمثل الحرف d عدد العقد في الطبقة المخفية وعدد السمات في مساحة التضمين. ويمكن جمع طبقة التضمين هذه مع أي ميزات وطبقات مخفية أخرى. وكما هو الحال في أي شبكة عصبية عميقة، يتم تحسين السمات أثناء التدريب للحد من فقد العقد في الطبقة النهائية للشبكة.

بالعودة إلى نموذج التوصية بالطعام، فإن هدفنا هو توقع الوجبات الجديدة التي قد تنال إعجاب المستخدم بناءً على وجباته المفضلة المعروفة. يمكننا أولاً جمع بيانات إضافية حول أكثر خمسة أطعمة مفضلة لدى المستخدمين، ثم إعداد نموذج لهذه المهمة باعتبارها إحدى مشاكل التعلّم الموجّه. نضبط أربعة من هذه الأطعمة الخمسة المفضّلة باعتبارها بيانات مميزة، ثم نضبط الطعام الخامس وحده باعتباره التصنيف الإيجابي الذي يهدف النموذج الخاص بنا إلى توقعه، مع تحسين توقعات النموذج باستخدام مقياس خسارة softmax.

أثناء التدريب، سيتعلم نموذج الشبكة العصبونية الأوزان المثالية للعقد في الطبقة المخفية الأولى التي تُعد طبقة التضمين. على سبيل المثال، إذا كان النموذج يحتوي على ثلاث عقد في الطبقة المخفية الأولى، قد يقرر أن سمات الأطباق الأكثر صلة هي تلك المتعلقة بالشطائر والتحلية والطعام السائل. يعرض الشكل رقم 12 قيمة إدخال الترميز الأحادي لشطيرة "هوت دوغ" تم تحويلها إلى متجه يحمل ثلاث سمات.

أثناء التدريب، يتم تحسين أوزان طبقة التضمين كي تصبح متجهات التضمين الخاصة بالأمثلة المشابهة أقرب إلى بعضها. وكما أشرنا من قبل، من غير المحتمل أن تكون السمات التي يختارها النموذج الفعلي للتضمينات سهلة أو مفهومة على النحو الوارد في المثال.

التضمينات السياقية

من عيوب متجهات تضمين word2vec الثابتة أن الكلمات قد تشير إلى معاني مختلفة باختلاف سياقها، فكلمة "عين" قد تشير إلى معنى وحدها، لكن لها معنى آخر في العبارة "يا عين". أيضًا، كلمة "مشاركة" قد تشير إلى منشور على شبكة التواصل الاجتماعي، لكن لها معاني أخرى في سياقات مثل "مشاركة الأرباح".

لكن التضمينات الثابتة تساعد في أن تمثل كل كلمة نقطة واحدة ضمن فضاء المتجه، حتى لو كانت لها معاني منوعة. تعرفنا في التمرين الأخير على عيوب التضمين الثابت لكلمات مثل ورقة التي قد تشير إلى جزء من الشجرة أو وسيلة للكتابة. عند استخدام تضمين ثابت واحد، تصبح كلمة مثل ورقة أقرب دائمًا إلى أجزاء الشجرة مقارنة بكلمة كتاب عند التدريب على مجموعة بيانات word2vec.

تم تطوير التضمينات السياقية لتجاوز هذه العيوب، فهذا النوع من التضمينات يتيح تمثيل الكلمة من خلال عدة تضمينات تشتمل على معلومات حول الكلمات المحيطة بها، بالإضافة إلى الكلمة نفسها. وهذا ما يجعل لكلمة ورقة تضمينًا مختلفًا في كل جملة فريدة تحتوي على الكلمة ضمن مجموعة البيانات.

في بعض طرق إنشاء التضمينات السياقية، مثل طريقة ELMo، يتم استخدام التضمين الثابت لنموذج، مثل متجه word2vec الخاص بكلمة في جملة، ثم يتم تحويله بعد ذلك من خلال وظيفة تدمج معلومات حول الكلمات المحيطة بها. وهذا بدوره يؤدي إلى تضمين سياقي.

في حين أن النماذج الموضحة أعلاه تنتمي إلى النماذج اللغوية، تتم الاستفادة من التضمينات السياقية في إنجاز مهام توليدية أخرى، مثل توليد الصور، ذلك أنّ تضمين قيم البكسل RGB في صورة حصان يوفر معلومات أكثر للنموذج فضلاً عن المصفوفة الموضعية لكل وحدة بكسل وبعض الترميز لوحدات بكسل المجاورة بهدف الحصول على تضمينات سياقية، وهذا قدر كبير من المعلومات مقارنة بالتضمينات الأصلية الثابتة لقيم RGB وحدها.