ASR باللغة العربية: دليل لماذا تعتبر اللهجات مفتاح الدقة

نقطة الفشل الأولى والأكثر إلحاحًا للعامة العربية - ASR العارضات في العالم العربي هي النموذج الصوتي. عادة ما يتم تدريب هذه النماذج على اللغة العربية الفصحى الحديثة (MSA)، غالبًا باستخدام صوت نظيف بجودة الاستوديو من نشرات الأخبار. هذا يخلق مشكلتين مهمتين عندما يتعرض النظام لخطاب جدلي في العالم الحقيقي.

‍

أولاً، صوتيات مختلفة. يتغير نطق بعض الحروف بشكل كبير من منطقة إلى أخرى. الرسالة قاف (ق) هو مثال كلاسيكي. لن يتعرف النموذج الصوتي الذي تم تدريبه حصريًا على صوت MSA العميق والحلقي /q/ على توقف المزمار المستخدم في القاهرة أو /g/الصعب الشائع في بلاد الشام. سيؤدي ذلك إما إلى إساءة تفسير الصوت أو وضع علامة عليه كخطأ، مما يتسبب في نسخ الكلمة بأكملها بشكل غير صحيح.

‍

إن النموذج الصوتي الذي تم تدريبه على صوت بث نقي سيفشل في الواقع الصاخب وغير المتوقع لمركز الاتصال أو اجتماع مكتب مزدحم.

‍

حتى لو كان النموذج الصوتي قادرًا تمامًا على تحديد كل اختلاف صوتي، فإن نموذج اللغة هو نموذج عام تحويل الكلام إلى نص باللغة العربية سيظل النظام يفشل. هذا لأن مفرداتها وقواعدها تعتمد على MSA، مما يؤدي إلى عدم تطابق أساسي مع الكلمات وتركيبات الجمل في اللهجات المنطوقة.

‍

• عدم تطابق المفردات: المشكلة الأكثر وضوحًا هي أن اللهجات تستخدم كلمات مختلفة. زبون في بيروت يقول:»بيدي شوف الفاطرة«(«أريد أن أرى الفاتورة») تستخدم كلمات لن يتعرف عليها نموذج اللغة المدرب على MSA. مكافئ MSA هو»أوريدو وآرا الفاطرة.» نظرًا لعدم رؤية الكلمات «biddi» أو «shuf» مطلقًا في بيانات التدريب الخاصة به، فمن المرجح أن يستبدلها النموذج العام بكلمات MSA متشابهة صوتيًا ولكنها غير منطقية من حيث السياق.
• الاختلافات النحوية: تحتوي اللهجات أيضًا على قواعد نحوية خاصة بها. نظام النفي باللغة العربية المصرية، على سبيل المثال، مختلف تمامًا عن MSA. قد يقول متحدث مصري:»سورة الحج«(«لا أذهب»)، باستخدام بنية لاحقة بادئة غير موجودة في اللغة الرسمية. سيجد نموذج اللغة الذي تم تدريبه على قواعد MSA أن هذه البنية غير محتملة للغاية ومن المحتمل أن يسيء تفسير الجملة بأكملها.
• تبديل التعليمات البرمجية: كما يعلم أي محترف أعمال في دول مجلس التعاون الخليجي، فإن تبديل الرموز بين العربية والإنجليزية موجود في كل مكان. لا يحتوي نموذج اللغة العام أحادي اللغة على أساس إحصائي للتنبؤ بكلمة إنجليزية بعد الكلمة العربية. عندما تصادف عبارة مثل،»خالاس، الموعد النهائي غدًا»، ينهار نموذج الاحتمالية الخاص به، مما يؤدي إلى فشل النسخ. لمزيد من المعلومات حول هذا، راجع دليلنا حول السبب تحتاج اللغة العربية إلى تقنية الصوت الخاصة بها.

‍

حل العربية - ASR تتطلب المشكلة إعادة التفكير الكامل في عملية التدريب. لا يكفي مجرد إضافة المزيد من البيانات العربية إلى نموذج عام متعدد اللغات. مخصص، عمارة اللهجة الأولى أمر ضروري.

‍

يبدأ هذا بجمع البيانات. بدلاً من الاعتماد على نشرات أخبار MSA المتاحة للجمهور، يتطلب ASR العربي المصمم لهذا الغرض مجموعة بيانات ضخمة ومخصصة للصوت المنسوخ من كل مجموعة لهجات رئيسية. وهذا يعني آلاف الساعات من المكالمات الهاتفية والاجتماعات ووسائل الإعلام من الخليج والشام ومصر وشمال إفريقيا، تم نسخها جميعًا وتصنيفها من قبل متحدثين أصليين.

‍