The Mechanics of Measurement: WER and CER

At their core, both WER and CER are based on the Levenshtein distance, a formula that calculates the minimum number of edits required to change one sequence into another. The formula is:

‍

Error Rate = (Substitutions + Deletions + Insertions) / Total Number of Units

Substitutions (S): A word/character is replaced (e.g., reference is "thus," ASR output is "this").
Deletions (D): A word/character is missed (e.g., reference is "this is a test," ASR output is "is a test").
Insertions (I): A word/character is added (e.g., reference is "this is a test," ASR output is "this is a the test").

‍

The only difference is the unit of measurement: WER uses words, and CER uses characters. A lower score is better.

‍

Metric	Unit of Measurement	Strengths & Weaknesses
Word Error Rate (WER)	Word	Strengths: Intuitively understood. Weaknesses: Unreliable for morphologically rich languages like Arabic.
Character Error Rate (CER)	Character	Strengths: More robust for complex languages, independent of word tokenization. Weaknesses: Does not distinguish between minor and major word errors.

‍

The Arabic Challenge: Why WER Requires Careful Scoring

Applying WER to Arabic is not a simple matter of translation. The language’s unique structure presents three fundamental challenges that can distort accuracy measurements.

‍

1. Morphological richness: one written token, several grammatical elements

Arabic is a morphologically rich language. Words are typically formed from a three-letter root that is combined with various patterns to create different meanings. Furthermore, Arabic uses a variety of clitics, which are functional particles like prepositions, conjunctions, and pronouns that attach to the beginning or end of a word. For example, the single written word "وسيكتبونها" (wasayaktubūnahā) translates to "and they will write it"." This single token in Arabic corresponds to five distinct words in English.

‍

This structure creates a significant ambiguity in word segmentation.

‍

Should "وسيكتبونها" be treated as one word or as multiple morphemes?

Different ASR systems and annotation standards may adopt different tokenization schemes. An ASR system that separates clitics will produce a different word count from one that does not, leading to inconsistent WER calculations. A system might correctly identify all the component morphemes but still be heavily penalized by WER if the reference transcription treats the entire token as a single word.

‍

2. The Diacritics Dilemma (The Vowel Blind Spot)

Standard written Arabic is typically undiacritized, meaning it omits the short vowel marks essential for pronunciation.

The word "كتب" can be read as

kataba (he wrote),
kutiba (it was written),
or kutub (books).

Arabic reference transcripts may be diacritized or undiacritized. That choice materially changes the evaluation: scoring against undiacritized text ignores short-vowel distinctions, while scoring diacritics introduces character-level penalties that may not reflect the intended downstream use case.

Vendors should state clearly whether diacritics are retained, removed, or normalized before scoring.

‍

3. Dialectal Variation (The "Which 'Now' Do You Mean?" Problem)

The Arab world is characterized by diglossia, the coexistence of Modern Standard Arabic (MSA) with dozens of regional dialects. A spoken utterance may have multiple valid transcriptions. For example, the concept of "now" can be the following:

al-ʾān (MSA)
dilwaʾti (Egyptian)
hallaʾ (Levantine)

‍

Dialectal variation creates substantial challenges because spoken forms, spelling conventions, and code-switching differ across regions. A system should be evaluated against references that reflect the target dialect and domain. If the business task permits semantic rather than verbatim equivalence, add task-specific evaluation (such as intent, entity, or keyword accuracy) rather than treating synonym substitutions as correct ASR output.

‍

This is some text inside of a div block.

The Role of CER in Arabic ASR Evaluation

Character Error Rate (CER) is a valuable complementary metric for Arabic ASR because it is less sensitive to word-boundary and segmentation differences. It can help distinguish systems that produce near-correct character sequences from those that make broader transcription errors.

CER does not resolve every evaluation challenge. It remains affected by choices around diacritics and character normalization, and it may understate errors that change a complete word, a person or organization name, a number, or the meaning required by a downstream workflow. For that reason, CER should be reported alongside WER and task-specific measures where relevant.

How to Properly Evaluate an Arabic ASR Vendor

To get a meaningful assessment of an Arabic ASR system, you need to go beyond a single headline number. Here are four best practices:

‍

Report Both WER and CER: Each metric captures different failure modes. Reporting both provides a more complete picture of system performance. A gap between WER and CER can help identify whether word boundaries, tokenization, or character-level errors are influencing the result. It should be interpreted alongside the scoring protocol and test-set characteristics.
Specify Normalization and Tokenization: Any published results must be accompanied by a detailed description of the pre-processing steps applied to both the reference and hypothesis texts. This includes the tokenization scheme (e.g., separating clitics), the handling of diacritics (e.g., stripping them), and the normalization of characters (e.g., unifying different forms of the letter alif).‍
Use Morpheme-Based Evaluation: For a more linguistically sound evaluation, consider decomposing words into their constituent morphemes before calculating the error rate. This provides a more granular assessment of performance and rewards systems that correctly identify morphemes even if the full word form is incorrect.‍
Account for Dialectal Variation: Whenever possible, use references and scoring rules that reflect the target dialect, accepted spelling variants, and code-switching conventions. If this is not feasible, performance should be reported separately for different dialects to avoid penalizing systems for dialect-specific accuracy.

التعليمات

الرئيسية

المدونة ورؤى الخبراء

معدل خطأ الكلمات (WER) مقابل معدل خطأ الحروف (CER): كيفية القياس الدقيق لتقنيات ASR العربية

آخر تحديث:

August 20, 2026

معدل خطأ الكلمات (WER) مقابل معدل خطأ الحروف (CER): كيفية القياس الدقيق لتقنيات ASR العربية

دراسات تقنية متعمقة

الأداء

المؤلف

سارة تركي

خالد غيبوب

زمن القراءة: 5 دقائق

جدول المحتويات

1 .

The Mechanics of Measurement: WER and CER

2 .

The Arabic Challenge: Why WER Requires Careful Scoring

3 .

The Role of CER in Arabic ASR Evaluation

4 .

How to Properly Evaluate an Arabic ASR Vendor

4 .

Moving Beyond a Single Metric

4 .

اطرح أنظمة الذكاء الاصطناعي الصوتي العربي في بيئة الإنتاج الفعلي للشركات (Production)

حلول تحويل الكلام إلى نص والنص إلى كلام باللغة العربية بمستويات جودة ودقة أصلية كلياً تفوق النماذج العامة

بنية تحتية برمجية صُممت خصيصاً لتلبية أدق متطلبات حكومات ومؤسسات كبرى دول مجلس التعاون الخليجي

خيارات استضافة مرنة تدعم خيار الاستضافة المحلية بالكامل والسحب السيادية والوطنية المستقلة

احجز موعداً لعرض توضيحي واستشارة الخبراء لمؤسستك

شكرًا لك! لقد تم استلام طلبك!

عذرًا! حدث خطأ ما أثناء إرسال النموذج.

أبرز النقاط

معدل خطأ الكلمات (WER) و معدل خطأ الحروف (CER) هما المقياسان القياسيان والأساسيان لقياس دقة أنظمة التعرف التلقائي على الكلام (ASR).

يُعد WER مقياساً معيباً ومضللاً للغة العربية ببسبب الطبيعة المورفولوجية والصرفية المعقدة للغة (حيث تُدمج كلمات ومقاطع متعددة في بنية كلمة واحدة متصلة) بالإضافة لتنوع اللهجات، مما يؤدي غالباً إلى درجات تقييم غير متسقة ومضللة فنياً.

يُعد CER مقياساً أكثر موثوقية وثباتاً للغة العربية لأنه لا يتأثر بطرق واختلافات تجزئة وترميز الكلمات، ويوفر مقياساً أكثر استقراراً وعدالة لمقارنة الأداء عبر الأنظمة المختلفة.

التحديات الرئيسية في قياس وتقييم دقة ASR باللغة العربيةتشمل تجزئة الكلمات (الضمائر واللواصق - Clitics)، وندرة ونقص حركات الحروف في النص المكتوب (علامات التشكيل)، والمرادفات اللهجية المتعددة والصحيحة التي تُعبر عن نفس المفهوم والكلمة.

كيف يتم قياس وتقييم مستويات الدقة في أنظمة التعرف التلقائي على الكلام (ASR)؟ المقياسان الأكثر شيوعاً واعتماداً في الصناعة هما معدل الخطأ في الكلمات (WER) و معدل أخطاء الأحرف (CER).مقياسا WER و CER. بالنسبة للغات مثل الإنجليزية، تُعتبر هذه المقاييس بسيطة ومباشرة وفعالة نسبياً، أما بالنسبة للغة العربية، فهي بمثابة حقل ألغام من التعقيد اللغوي والصرفي.

‍

يمكن أن يؤدي الاعتماد على واختيار مزود تقنيات ASR استناداً إلى درجة دقة WER واحدة سطحية ومضللة، إلى نشر وتطبيق نظام يفشل ويُخفق ذريعاً في مسارات العالم الحقيقي. يوضح ويفسر هذا المقال ماهية WER و CER، ويشرح الأسباب الجذرية لقصور هذه المقاييس القياسية عن مواكبة تعقيدات اللغة العربية، ويوفر إطاراً علمياً لتقييم أكثر ذكاءً ودقة لأداء وموثوقية حلول وأنظمة العربية - ASR .

‍

The Mechanics of Measurement: WER and CER

At their core, both WER and CER are based on the Levenshtein distance, a formula that calculates the minimum number of edits required to change one sequence into another. The formula is:

‍

Error Rate = (Substitutions + Deletions + Insertions) / Total Number of Units

Substitutions (S): A word/character is replaced (e.g., reference is "thus," ASR output is "this").
Deletions (D): A word/character is missed (e.g., reference is "this is a test," ASR output is "is a test").
Insertions (I): A word/character is added (e.g., reference is "this is a test," ASR output is "this is a the test").

‍

The only difference is the unit of measurement: WER uses words, and CER uses characters. A lower score is better.

‍

Metric	Unit of Measurement	Strengths & Weaknesses
Word Error Rate (WER)	Word	Strengths: Intuitively understood. Weaknesses: Unreliable for morphologically rich languages like Arabic.
Character Error Rate (CER)	Character	Strengths: More robust for complex languages, independent of word tokenization. Weaknesses: Does not distinguish between minor and major word errors.

‍

Lorem ipsum dolor

لوريم إيبسوم ألم

Lorem ipsum dolor

The Arabic Challenge: Why WER Requires Careful Scoring

فهم أصول هلوسات الذكاء الاصطناعي هو الخطوة الأولى نحو التخفيف منها. هذه الظاهرة ليست مشكلة واحدة، بل هي قضية معقدة ذات عوامل متعددة تساهم فيها.

أوجه القصور في بيانات التدريب

Applying WER to Arabic is not a simple matter of translation. The language’s unique structure presents three fundamental challenges that can distort accuracy measurements.

‍

1. Morphological richness: one written token, several grammatical elements

‍

This structure creates a significant ambiguity in word segmentation.

‍

Should "وسيكتبونها" be treated as one word or as multiple morphemes?

‍

2. The Diacritics Dilemma (The Vowel Blind Spot)

Standard written Arabic is typically undiacritized, meaning it omits the short vowel marks essential for pronunciation.

The word "كتب" can be read as

kataba (he wrote),
kutiba (it was written),
or kutub (books).

Vendors should state clearly whether diacritics are retained, removed, or normalized before scoring.

‍

3. Dialectal Variation (The "Which 'Now' Do You Mean?" Problem)

al-ʾān (MSA)
dilwaʾti (Egyptian)
hallaʾ (Levantine)

‍

أوجه القصور في بيانات التدريب

العامل الأكثر أهمية في هلوسات الذكاء الاصطناعي هو البيانات التي تُدرّب عليها النماذج. تتعلم النماذج اللغوية الكبيرة (LLMs) من مجموعات بيانات ضخمة مجمعة من الإنترنت، والتي تحتوي على مزيج من المعلومات الواقعية والآراء والمعلومات المضللة والتحيزات. يمكن أن تؤدي العديد من المشكلات المحددة المتعلقة بالبيانات إلى الهلوسات:

حالات استخدام الذكاء الاصطناعي الصوتي العربي في الشركات لعام 2025

يفتح التحول نحو أنظمة التعرف التلقائي على الكلام (ASR) العربية التي تراعي اللهجات، آفاقاً جديدة لتطبيقات الشركات في جميع أنحاء منطقة الخليج والشرق الأوسط وشمال إفريقيا. تتجاوز المؤسسات الآن النسخ الأساسي لتصل إلى تحليلات كلام عربية متطورة.

تشهد تقنية الكلام العربية تطوراً سريعاً في عام 2025، مدفوعة بالنماذج اللغوية الضخمة متعددة اللغات والنماذج الأساسية الجديدة التي تركز على اللغة العربية.

تتقدم تقنية الكلام العربية بسرعة في عام 2025، مدفوعة بالنماذج اللغوية الضخمة متعددة اللغات ونماذج الأساس الجديدة المرتكزة على اللغة العربية.

The Role of CER in Arabic ASR Evaluation

فهم أصول هلوسات الذكاء الاصطناعي هو الخطوة الأولى نحو التخفيف منها. هذه الظاهرة ليست مشكلة واحدة بل هي قضية معقدة ذات عوامل متعددة تساهم فيها.

أوجه القصور في بيانات التدريب

أكبر عامل مساهم في هلوسات الذكاء الاصطناعي هو البيانات التي تُدرب عليها النماذج. تتعلم نماذج اللغة الكبيرة (LLMs) من مجموعات بيانات ضخمة مجمعة من الإنترنت، والتي تحتوي على مزيج من المعلومات الواقعية والآراء والمعلومات المضللة والتحيزات. يمكن أن تؤدي العديد من المشكلات المحددة المتعلقة بالبيانات إلى الهلوسات:

حالات استخدام المؤسسات للذكاء الاصطناعي الصوتي العربي في عام 2025

يفتح الانتقال إلى أنظمة التعرف التلقائي على الكلام (ASR) العربية المدركة للهجات موجة جديدة من تطبيقات المؤسسات عبر مناطق مجلس التعاون الخليجي والشرق الأوسط وشمال إفريقيا. تتجاوز المؤسسات الآن النسخ الأساسي لتصل إلى تحليلات الكلام العربية المتطورة.

بناء وهندسة أنظمة ذكاء اصطناعي صوتي فائقة الكفاءة يتطلب حتماً اعتماد المنهجية العلمية الصحيحة

نحن في شركة CNTXT AI نساعدك باحترافية في تصميم وهندسة حلول صوتية مخصصة ومطابقة لأعمالك، وبناء وإدارة مسارات تدفق البيانات (Data Pipelines) المتقدمة، وتأمين وصول منتجاتك لقمة تطبيقات الذكاء الاصطناعي العربي المتطور والآمن كلياً.

استكشف حلولنا للمؤسسات الآن

How to Properly Evaluate an Arabic ASR Vendor

أوجه القصور في بيانات التدريب

To get a meaningful assessment of an Arabic ASR system, you need to go beyond a single headline number. Here are four best practices:

‍

أوجه القصور في بيانات التدريب

المساهم الأكبر في هلوسات الذكاء الاصطناعي هو البيانات التي تُدرّب عليها النماذج. تتعلم النماذج اللغوية الكبيرة (LLMs) من مجموعات بيانات ضخمة مجمعة من الإنترنت، والتي تحتوي على مزيج من المعلومات الواقعية والآراء والمعلومات المضللة والتحيزات. يمكن أن تؤدي عدة مشكلات محددة متعلقة بالبيانات إلى الهلوسات:

Report Both WER and CER: Each metric captures different failure modes. Reporting both provides a more complete picture of system performance. A gap between WER and CER can help identify whether word boundaries, tokenization, or character-level errors are influencing the result. It should be interpreted alongside the scoring protocol and test-set characteristics.
Specify Normalization and Tokenization: Any published results must be accompanied by a detailed description of the pre-processing steps applied to both the reference and hypothesis texts. This includes the tokenization scheme (e.g., separating clitics), the handling of diacritics (e.g., stripping them), and the normalization of characters (e.g., unifying different forms of the letter alif).‍
Use Morpheme-Based Evaluation: For a more linguistically sound evaluation, consider decomposing words into their constituent morphemes before calculating the error rate. This provides a more granular assessment of performance and rewards systems that correctly identify morphemes even if the full word form is incorrect.‍
Account for Dialectal Variation: Whenever possible, use references and scoring rules that reflect the target dialect, accepted spelling variants, and code-switching conventions. If this is not feasible, performance should be reported separately for different dialects to avoid penalizing systems for dialect-specific accuracy.

حالات الاستخدام المؤسسية للذكاء الاصطناعي الصوتي العربي في عام 2025

يفتح الانتقال إلى تقنية التعرف التلقائي على الكلام (ASR) للغة العربية المدركة للهجات آفاقًا جديدة لتطبيقات الشركات في جميع أنحاء منطقة الخليج والشرق الأوسط وشمال إفريقيا. تتجاوز المؤسسات النسخ الأساسي لتصل إلى تحليلات الكلام العربية المتطورة.

تتطور تقنية الكلام العربية بسرعة في عام 2025، مدفوعة بالنماذج اللغوية الضخمة متعددة اللغات والنماذج التأسيسية الجديدة المرتكزة على اللغة العربية.

Moving Beyond a Single Metric

يُعد فهم أصول هلوسات الذكاء الاصطناعي الخطوة الأولى نحو التخفيف منها. هذه الظاهرة ليست مشكلة واحدة بل قضية معقدة ذات عوامل متعددة تساهم فيها.

أوجه القصور في بيانات التدريب

Measuring Arabic speech recognition quality is not solved by a single headline percentage. WER and CER each reveal useful but incomplete information: WER reflects word-level transcription errors, while CER is less sensitive to tokenization and word-boundary differences.

A credible Arabic ASR evaluation should report both metrics, disclose text-normalization and tokenization rules, and break results down by dialect, domain, channel, noise level, and code-switching. For production use cases, add task-level measures such as named-entity accuracy, number and date accuracy, keyword recall, or intent accuracy.

The goal is not to choose between WER and CER. It is to measure the capabilities that matter for the audio, dialects, and workflow your organization actually uses.

أوجه القصور في بيانات التدريب

حالات الاستخدام المؤسسية للذكاء الاصطناعي الصوتي العربي في عام 2025

تتقدم تقنية الكلام العربية بسرعة في عام 2025، مدفوعة بالنماذج اللغوية المتعددة الضخمة والنماذج التأسيسية الجديدة المرتكزة على اللغة العربية.

Understanding the origins of AI hallucinations is the first step toward mitigating them. The phenomenon is not a single problem but rather a complex issue with multiple contributing factors.

Training Data Deficiencies

The most significant contributor to AI hallucinations is the data on which the models are trained. LLMs learn from vast datasets scraped from the internet, which contain a mixture of factual information, opinions, misinformation, and biases. Several specific data-related issues can lead to hallucinations:

Enterprise Use Cases for Arabic Voice AI in 2025

The move to dialect-aware Arabic ASR is unlocking a new wave of enterprise applications across the GCC and MENA regions. Organizations are moving beyond basic transcription to sophisticated Arabic speech analytics.