كيف نقيس جودة الترجمة بالذكاء الاصطناعي
ينبغي أن تتمكنوا من الحكم على الترجمة دون قراءة اللغة الهدف، وأن تدافعوا عنها أمام الأطراف المعنية لديكم. وهذه طريقتنا في قياس جودة الترجمة بالذكاء الاصطناعي: كيف نصنّف كل ملاحظة، وكيف نحكم على درجة خطورتها، وما الذي تفحصه بوابة الجودة الآلية، وما تحصلون عليه مع كل تسليم.
يشمل كل تسليم نتيجة بوابة الجودة وسجل الملاحظات. وفي مستوى ذكاء اصطناعي + تحرير، تصلكم تقارير الجودة القائمة على عيّنة وفق الجدول المتفق عليه لبرنامجكم، وقد يغطي التقرير الواحد عدة إصدارات صغيرة؛ أما في مستوى ذكاء اصطناعي + تحرير + مراجعة، فيرافق كل تسليمٍ تقريرٌ كامل.
كيف نصنّف ملاحظات جودة الترجمة بالذكاء الاصطناعي
نصنّف الملاحظات وفق تصنيف للأخطاء قائم على مقاييس الجودة متعددة الأبعاد (MQM)، وهي إطار عمل متاح للعموم في قطاع الترجمة لوصف أخطاء الترجمة. ونتبع نهجها في تحديد الفئات ودرجات الخطورة، بعد تكييفه مع المحتوى الذي نترجمه، ليقرأ مراجعوكم ملاحظاتنا بمصطلحات يعرفونها.
لا تُحتسب الملاحظة إلا إذا حدّدت عيبًا ملموسًا وأشارت إلى مرجع: النص المصدر، أو مسردكم، أو قاعدة، أو تعليماتكم. وتُسجَّل التفضيلات منفصلةً، ولا توقف التسليم أبدًا.
| الفئة | ما تشمله | مثال |
|---|---|---|
| الدقة (Accuracy) | يقول النص الهدف ما لا يقوله النص المصدر: ترجمة خاطئة، أو حذف، أو إضافة، أو تغيير في رقم | ترجمة عبارة «غير قابل للتلف» بما يعني «قابل للتلف» |
| السلامة اللغوية (Fluency) | النحو والإملاء وعلامات الترقيم | صفة لا تطابق موصوفها |
| المصطلحات (Terminology) | مصطلح لا يطابق مسردكم، أو مصطلح يُستخدم استخدامًا غير متّسق | ترجمة اسم خدمة ينص مسردكم على إبقائه بالإنجليزية |
| الأسلوب (Style) | النبرة، ومستوى الخطاب، والصياغة غير المألوفة التي تبدو مترجَمة، والصياغة التي لا تتبع دليل الأسلوب لديكم | عبارة حرفية لا يكتبها أحد من أبناء اللغة، أو صياغة ترويجية حيث يطلب دليل الأسلوب لديكم نبرة محايدة |
| الأعراف المحلية (Locale) | أعراف السوق المستهدفة: الوحدات، والتواريخ، وصيغ الأرقام، والمفردات الإقليمية | ترك الجالونات دون تحويل لقرّاء يستخدمون اللترات |
| الوسوم والتنسيق (Tags and format) | الوسوم، والعناصر النائبة، والمتغيرات، وفواصل الأسطر، وأزواج علامات الترقيم، وحدود الطول | عنصر نائب معطوب، أو قوس إغلاق مفقود |
| متطلبات العميل (Client requirements) | التعليمات التي قدّمتموها لنا لبرنامجكم | ترك تسميات الواجهة بالإنجليزية بينما تطلب تعليماتكم استخدام التسميات الواردة في واجهتكم المترجَمة |
حرجة وجوهرية وطفيفة
تحصل كل ملاحظة على درجة من درجات الخطورة الثلاث. وتتوقف درجة الخطورة على الأثر المحتمل على قرّائكم وعلى أعمالكم بحسب السياق، لا على حجم التصحيح. فقد تكون الملاحظة حرجة ولو كان تصحيحها كلمة واحدة.
| درجة الخطورة | التعريف | مثال |
|---|---|---|
| حرجة | عيب يجعل المحتوى غير صالح للغرض منه، أو يُحدث خطرًا كبيرًا يمسّ السلامة أو الأمن أو الجوانب القانونية أو المالية أو السمعة. | تعليمات أمنية معكوسة المعنى، تخبر القرّاء بأن لهم أن يشاركوا رموز تسجيل الدخول مع أي شخص يدّعي أنه من فريق الدعم |
| جوهرية | عيب يغيّر المعنى أو يحجبه، أو يخالف أحد متطلباتكم بطريقة يلاحظها القرّاء، لكنه لا يحمل خطر الملاحظة الحرجة. | ترجمة خاطئة لمفهوم رئيسي، أو تجاهل تعليمات قدّمتموها لنا بطريقة يلاحظها القرّاء |
| طفيفة | عيب لا يغيّر المعنى ولا يعوق القارئ، لكن النص بسببه يقصر عمّا يكتبه أحد أبناء اللغة، أو عن إحدى قواعدكم. | كلمة إقليمية تخص سوقًا غير السوق المستهدفة، أو صياغة مطوّلة |
بوابة جودة توقف تسليم أي ملف لا يجتازها
تعمل بوابة الجودة الآلية على كل ملف مسلَّم، في كل مستويات الخدمة. وتفحص ما يمكن فحصه آليًا بموثوقية: الوسوم، والعناصر النائبة، والأرقام، والمصطلحات المثبَّتة، وقواعد الأعراف المحلية، والاتساق، والقواعد القابلة للاختبار في دليل القواعد الخاص بكم. وإذا لم يجتز الملف البوابة، لا نسلّمه: تعود الملاحظة إلى الدورة لتُصحَّح، ثم تعمل البوابة مرة أخرى. وإذا تعرّض موعد التسليم للخطر، نبلغكم قبل الموعد المتفق عليه.
تُدرَج قواعد الأسلوب وتعليماتكم في دليل القواعد الخاص بكم. ونحوّل القواعد التي يمكن اختبارها بموثوقية إلى فحوص آلية. ويحكم اللغويون في المعنى والنبرة وكل ما سوى ذلك مما يحتاج إلى تقدير. وقواعد كل عميل محفوظة في دليل القواعد الخاص به وحده.
إذا نبّهت البوابة إلى شيء ليس خطأً، نصحّح قاعدة البوابة ونسجّل الحالة في مذكرة التسليم. ولا نعدّل ملفكم أبدًا لمجرد أن يجتاز البوابة.
تفحص البوابة الجوانب التقنية، ويتخذ البشر القرارات اللغوية. وفي مستوى ذكاء اصطناعي + تحرير ومستوى ذكاء اصطناعي + تحرير + مراجعة، يمكن أيضًا مقارنة نتيجة تقييم الجودة اللغوية (LQA) الذي يجريه المراجع بمستوى قبول، إذا حدّد عقدكم مستوى قبول. ومستوى القبول حدّ فاصل بين القبول والرفض نتفق عليه معكم قبل بدء العمل. وتُرجَّح الملاحظات حسب درجة الخطورة، فيكون لملاحظة حرجة واحدة وزنٌ أكبر من عدة ملاحظات طفيفة، وتُحسب النتيجة نسبةً إلى عدد الكلمات التي شملها التقييم. ويذكر كلٌّ من تقاريركم وملخصكم الشهري المنهجية والنتيجة، ويحدد عقدكم ما يحدث إذا لم يبلغ أحد التسليمات مستوى القبول.
ما يشمله تقرير الجودة
تقرير الجودة هو الإثبات الذي يمكنكم عرضه على الأطراف المعنية لديكم: ما فُحص، وما رُصد، وكيف حُسمت كل ملاحظة. وتقارير مستوى ذكاء اصطناعي + تحرير قائمة على عيّنة، وتصلكم وفق الجدول المتفق عليه لبرنامجكم، لذا قد يغطي التقرير الواحد عدة إصدارات صغيرة. أما تقارير مستوى ذكاء اصطناعي + تحرير + مراجعة فتغطي الملف كله، مع كل تسليم. وفي مستوى ذكاء اصطناعي + فحص، يرافق كل تسليمٍ نتيجةُ بوابة الجودة وسجلُ الملاحظات الخاص بالفحص.
يشمل تقرير الجودة:
- المهمة، ومستوى الخدمة، والنطاق، والخطوات التي طُبِّقت
- طريقة اختيار العيّنة، وحجمها
- أعداد الملاحظات حسب درجة الخطورة والفئة
- نتيجة بوابة الجودة، ونتيجة القبول إذا حدّد عقدكم مستوى قبول
- سجل الملاحظات: المقطع، والنص المصدر، والنص الهدف، والفئة، ودرجة الخطورة، والشرح، والتصحيح، والحالة
- تغييرات المسرد والاستفسارات المفتوحة
- الدروس التي طبّقناها من آخر جولة تعديلات أجراها مراجعوكم
يحمل كل تقرير عبارة «تقييم من Locstars». وأي أرقام في التقرير تصف محتواكم أنتم. ولا ننشر درجات الجودة على هذا الموقع.
نموذج لتقرير الجودة
لتوضيح شكل التقرير، نشرنا نموذجًا مبنيًا على مقال مساعدة كتبناه خصيصًا لهذا الغرض: دليل قصير لتفعيل التحقق بخطوتين في منتج غير حقيقي، مترجَم من الإنجليزية إلى الفرنسية بمستوى ذكاء اصطناعي + تحرير + مراجعة. ويعرض النموذج ملخص المهمة مع نتيجة بوابة الجودة، وأعداد الملاحظات، وسجل الملاحظات مع تصحيح وتعليق لكل ملاحظة، وتغييرات المسرد والاستفسارات المفتوحة، والنص الفرنسي المسلَّم. والمنتج والعميل والتعليمات كلها غير حقيقية. والنموذج يوضّح شكل التقرير، وليس تقييمًا لعملنا. وإذا أردتم تقييم مخرجات الذكاء الاصطناعي أو الترجمة الآلية (MT) لديكم بهذه الطريقة، فاطّلعوا على مراجعة جودة مخرجات الذكاء الاصطناعي لديكم.
التصحيحات، ودروس لدفعتكم التالية
إذا وجدتم مشكلة لغوية ضمن النطاق المتفق عليه، نصحّحها دون مقابل. أرسلوا المقطع وتعليقكم إلى [email protected]، وسنسجّلها كأي ملاحظة أخرى.
نقارن كل تعديل يجريه مراجعكم بما سلّمناه. ويتحول كل درس مؤكَّد إلى مدخل في المسرد أو قاعدة أو فحص آلي قبل دفعتكم التالية. وعندما يكون تعديل مراجعكم أفضل من تصحيحنا، نقرّ بذلك.