ما وراء النماذج متعددة اللغات: لماذا يحتاج الذكاء الاصطناعي الصوتي العربي إلى تقنيته الخاصة

يتمثل الفشل الأكبر للنماذج العامة في عدم قدرتها على التعامل مع التنوع الهائل لللهجات العربية. هناك أكثر من 25 لهجة مميزة يتم التحدث بها في جميع أنحاء الشرق الأوسط وشمال إفريقيا، بما في ذلك العربية الخليجية والعربية الشامية والعربية المصرية واللهجات المغاربية. الاختلافات بينهما ليست تافهة؛ فهي غالبًا ما تكون مختلفة مثل الإسبانية عن الإيطالية، مع المفردات الفريدة والقواعد النحوية والتعبيرات الاصطلاحية.

‍

اللغة العربية الفصحى الحديثة (MSA)، لغة البث الإخباري والكتابة الرسمية، هي الركيزة اللغة. إنها ليست اللغة الأم للغالبية العظمى من المتحدثين باللغة العربية. سيفشل النموذج الذي تم تدريبه على MSA في فهم مكالمة خدمة العملاء من القاهرة، أو اجتماع عمل في الرياض، أو إملاء الطبيب في بيروت. للحصول على غوص أعمق، راجع دليلنا على كيف يعمل ASR باللغة العربية.

‍

For a generic model, Arabic dialects are not variations of the same language; they are entirely different acoustic and linguistic challenges.

‍

يوضح الجدول أدناه كيف يمكن أن تكون العبارات اليومية البسيطة المختلفة:

‍

‍

يتفاقم هذا بسبب مشكلة عدم توازن البيانات الشديدة. توجد غالبية البيانات العربية المتاحة للجمهور في MSA، مما يخلق تحيزًا قويًا في النماذج المدربة عليها. يتعلمون التعامل مع الكلام الديالكتيكي على أنه ضوضاء أو خطأ، مما يؤدي إلى ارتفاع معدلات الخطأ في الكلمات والنصوص غير القابلة للاستخدام.

في البيئات المهنية والاجتماعية في جميع أنحاء العالم العربي، تبديل التعليمات البرمجية- ممارسة المزج بين العربية والإنجليزية في نفس المحادثة - هي القاعدة [3]. قد يبدأ مدير الأعمال في دبي جملة باللغة العربية وينهيها بمصطلح تقني باللغة الإنجليزية. هذا هو أسلوب التواصل الطبيعي لسكان معولمين ثنائيي اللغة.

‍

عام العربية - ASR لم يتم تصميم النماذج لهذا الواقع. يتم تدريبهم على البيانات أحادية اللغة ولا يمكنهم التعامل مع التحولات السريعة داخل الجملة بين اللغات. النظام الذي لا يمكنه التعامل مع تبديل التعليمات البرمجية هو نظام لا يمكن أن يعمل في عالم الأعمال العربي الحديث.

‍

أرابيزي، استخدام الحروف اللاتينية والأرقام لكتابة اللغة العربية صوتيًا (يُعرف أيضًا باسم أبجدية الدردشة العربية)، يضيف طبقة أخرى من التعقيد. إنه المعيار الفعلي للاتصالات الرقمية غير الرسمية، ولكنه لا يحتوي على تهجئة موحدة [4]. الكلمة حبيبي (عزيزتي) يمكن كتابتها كـ «حبيبي» أو «7abibi» أو «habeeby». يجب أن تكون تقنية الصوت للغة العربية قادرة على فهم ومعالجة هذه الاختلافات.

‍

تصبح التكلفة العالية للدقة «الجيدة بما فيه الكفاية» واضحة عند فحص تطبيقات المؤسسات في العالم الحقيقي. أ معدل الخطأ في الكلمات (WER) بنسبة 30-40٪، وهو أمر شائع بالنسبة للنماذج العامة في اللهجة العربية، وهو عديم الفائدة من الناحية الوظيفية ويؤدي إلى مخاطر تجارية كبيرة. هنا تكمن الدقة العالية صوت عربي بتقنية الذكاء الاصطناعي يحدث فرقًا حاسمًا: