اختبار لغوي لمساعد الذكاء الاصطناعي لديكم، يجريه لغويون من أبناء اللغة
يجيب مساعد الذكاء الاصطناعي أو روبوت المحادثة لديكم المستخدمين بلغات قد لا يقرؤها فريقكم. ويختبر لغويونا من أبناء اللغة ما يقوله، باللغات التي نقدّمها وباللهجات العربية التي نغطيها. فنتحقق مما إذا كانت إجاباته تطابق قاعدة المعرفة لديكم، وتُقرأ بصورة طبيعية بلهجة مستخدميكم، وتستخدم المصطلحات التي وافقتم عليها، وتلائم ثقافة مستخدميكم. ونتحقق كذلك مما إذا كان يتعامل مع الموضوعات الحساسة كما تنص سياسة المحتوى لديكم. وتأتي كل ملاحظة مع نص المحادثة كما جرت، ودرجة خطورة، وفئة، ليعرف فريقكم ما يجب إصلاحه.
اللهجة الخليجية · مساعد بنك هالورامثال
المستخدم
هلا، أبي أحوّل فلوس لأهلي برّا. التحويل الدولي عليه رسوم؟
بالعربية الفصحى: مرحبًا، أريد تحويل أموال إلى عائلتي في الخارج. هل توجد رسوم على التحويلات الدولية؟
المساعد
هلا فيك! التحويل الدولي من التطبيق مجاني، بدون أي رسوم.
بالعربية الفصحى: أهلًا وسهلًا. التحويلات الدولية عبر التطبيق موضع الخطأ: مجانية، دون أي رسوم.
- الملاحظة
- اللغويأغفلت الإجابة شرطًا. فبحسب قاعدة المعرفة لديكم، لا يكون مجانيًا إلا أول تحويلين دوليين في كل شهر.
- الفئة
- الدقة
- درجة الخطورة
- حرجة
- المتوقع
- أن يذكر المساعد أن أول تحويلين في كل شهر مجانيان، وأن الرسوم تُفرض بعد ذلك.
- التصحيح المقترح
- توجيه المساعد إلى ذكر الحد الشهري كلما أجاب عن سؤال بشأن رسوم التحويل.
- إعادة الاختبار
- إعادة الاختبار: نجحتبعد التصحيح، تذكر إجابات المساعد الحدَّ الشهري، سواء أكانت عن المطالبة نفسها أم عن صيغ بديلة جديدة لها.
ما نختبره
في كل لغة ولهجة نختبرها، يتحقق لغويون من أبناء اللغة من إجابات مساعدكم في الجوانب التالية:
- الدقة مقارنةً بقاعدة المعرفة لديكم. نقارن الإجابات بمقالات المساعدة ومعلومات المنتجات والسياسات لديكم. ونسجّل كل خطوة خاطئة، أو معلومة أو رقم خاطئ، أو شرط مفقود، أو إجابة عن سؤال غير الذي طُرح، مع مرجع قاعدة المعرفة الذي تخالفه. ونطرح أيضًا أسئلة لا تجيب عنها قاعدة المعرفة لديكم، ونتحقق من أن المساعد يصرّح بذلك أو يحوّل المحادثة إلى موظف، كما تنص تعليماتكم، بدلًا من اختلاق إجابة. ونسجّل كذلك امتناعه عن الإجابة عن سؤال تجيب عنه قاعدة المعرفة لديكم.
- محادثات كاملة، لا أسئلة منفردة فقط. يُجري اللغويون محادثات متعددة الأدوار، كما يفعل المستخدمون حين يطرحون أسئلة متابعة، أو يغيّرون رأيهم، أو يطلبون التحدث إلى موظف. ويتحققون من أن المساعد يحافظ على السياق، ويبقى متّسقًا، ويحوّل المحادثة إلى موظف حين تنص تعليماتكم على ذلك.
- اللهجة ومستوى الخطاب. في العربية، نختبر بالعربية الفصحى الحديثة، وباللهجات المصرية والخليجية والشامية والمغاربية عند الطلب. ويكتب اللغويون مطالبات الاختبار، أي الرسائل التي نرسلها إلى المساعد، بالطريقة التي يكتب بها المستخدمون في كل سوق، بما في ذلك العربية المكتوبة بحروف لاتينية وأرقام (العربيزي)، والرسائل التي تمزج العربية بالإنجليزية. ويتحققون من أن المساعد يجيب بالفصحى أو اللهجة وبالنبرة التي حددتموها، سواء أكانت الفصحى أو لهجة واحدة ثابتة، أم لهجة المستخدم نفسه، وأنه يلتزم بهما طوال المحادثة.
- المصطلحات. نتحقق من أسماء المنتجات وأسماء الميزات والمصطلحات الرئيسية مقارنةً بمسرد المصطلحات لديكم. وإذا لم يكن لديكم مسرد بعدُ، نقارنها بواجهة الاستخدام وقاعدة المعرفة لديكم، ويمكننا إعداد مسرد معكم.
- الملاءمة الثقافية. نتحقق من أن الأمثلة، والتعابير الاصطلاحية، وصيغ المخاطبة، بما فيها مخاطبة المستخدم بصيغة التذكير أو التأنيث الصحيحة، والإشارات الثقافية، تبدو طبيعية ومناسبة للمستخدمين في السوق المستهدفة.
- التعامل مع المحتوى الحساس. طريقة استجابة مساعدكم، باللغة الهدف، للمطالبات المسيئة أو الضارة، أو التي تتناول الدين أو السياسة أو غيرهما من الموضوعات الحساسة، مقارنةً بسياسة المحتوى الخاصة بكم. وقبل بدء الاختبار، ترسلون إلينا سياسة المحتوى وقائمة الموضوعات الحساسة لديكم، أو نقترح عليكم قائمة لا نبدأ الاختبار إلا بعد موافقتكم عليها.
لا تُحتسب الملاحظة إلا إذا حدّدت عيبًا ملموسًا وأشارت إلى مرجع: قاعدة المعرفة لديكم، أو مسردكم، أو سياسة المحتوى لديكم، أو تعليماتكم. وتُسجَّل التفضيلات منفصلةً عن الأخطاء.
ما لا نختبره
لا نُجري اختبارات كسر القيود (Jailbreak) أو حقن المطالبات (Prompt injection) أو تسريب البيانات، ولا غيرها من الاختبارات الأمنية. فهذه اختبارات أمنية، ومكانها لدى مزوّد متخصص فيها.
مطالبات المحتوى الحساس التي نستخدمها من نوع الرسائل التي يرسلها المستخدمون الحقيقيون. ولا نكتب مطالبات مصممة لخداع مساعدكم ودفعه إلى مخالفة قواعده، مثل حيل تقمّص الأدوار، أو النص المُرمَّز، أو التعليمات المخفية في المستندات، ولا نكتب مطالبات تطلب محتوى صادمًا أو بالغ الإساءة. وإذا لاحظنا أثناء الاختبار ما يبدو مشكلة أمنية، نوقف ذلك المسار من الاختبار، ونُبلغ بذلك جهة الاتصال المحددة لديكم على انفراد.
لا نختبر إلا المساعدات التي تشغّلها مؤسستكم أو التي تكون مؤسستكم مخوَّلة بطلب اختبارها، ولا نختبرها إلا في بيئة اختبار تجهّزونها لنا. ونختبر المحادثات المكتوبة، في الدردشة أو تطبيقات المراسلة. ولا نختبر التعرّف على الكلام أو المخرجات الصوتية.
تقريرنا ليس موافقة على إطلاق مساعدكم. فهو يبيّن لكم كيف استجاب مساعدكم للمطالبات التي شغّلناها، مقارنةً بقاعدة المعرفة وسياسة المحتوى الخاصتين بكم.
كيف يسير العمل
يتولى لغوي من أبناء اللغة كل تقييم بالدرجات، ولكل خطوة مسؤول محدد.
- الوصول والنطاق. تجهّزون لنا بيئة اختبار، مثل رابط بيئة التجريب أو حساب اختبار، وتؤكدون أن مؤسستكم تشغّل المساعد أو مخوَّلة بطلب اختباره. وترسلون إلينا أيضًا قاعدة المعرفة وسياسة المحتوى لديكم، ومسرد المصطلحات إن وُجد، ومجموعة من أسئلة المستخدمين الحقيقية بعد إزالة البيانات الشخصية منها، إن أمكن. ونتفق على اللغات واللهجات، وعلى أهم نوايا المستخدم (Intents)، مثل أسئلة الفواتير أو استعادة الحساب، وعلى عدد المطالبات التي نشغّلها وسرعة تشغيلها، ليتناسب حجم الطلبات مع حدود بيئة الاختبار لديكم. وإذا أردتم فحص عرض النص من اليمين إلى اليسار، فامنحونا صلاحية الوصول عبر واجهة الدردشة نفسها التي يراها مستخدموكم.
- خطة الاختبار. نكتب خطة اختبار لكل لغة: نوايا المستخدم المطلوب اختبارها، وشخصيات المستخدمين، واللهجات لكل منها، والعدد التقريبي للمطالبات لكل نية، ومحاور سياسة المحتوى التي تغطيها المطالبات الحساسة. ولا يبدأ الاختبار إلا بعد موافقتكم على الخطة.
- مطالبات الاختبار. يكتب لغويون من أبناء اللغة مطالبات الاختبار بكل لهجة، بالطريقة التي يصوغ بها المستخدمون الحقيقيون رسائلهم، ويساعد وكلاؤنا في توليد صيغ بديلة لها من قاعدة المعرفة لديكم. وتدخل أسئلة المستخدمين الحقيقية التي تشاركونها في المجموعة أيضًا، لأنها تبيّن كيف يسأل مستخدموكم فعلًا. ونشغّل المطالبات في بيئة الاختبار لديكم، ونسجّل كل رد. ولأن المساعدات قد تجيب عن المطالبة نفسها إجابات مختلفة من مرة إلى أخرى، نشغّل المطالبات الرئيسية أكثر من مرة.
- التقييم بالدرجات. يقرأ لغوي من أبناء اللغة الردود التي يشملها مستوى الخدمة لديكم، مقارنةً بقاعدة المعرفة والمسرد وسياسة المحتوى لديكم، ويمنح كل ملاحظة درجة خطورة واحدة وفئة واحدة.
- سجل الملاحظات. نسجّل كل ملاحظة مع المحادثة، والسلوك المتوقع، وفئتها ودرجة خطورتها، وتصحيح مقترح. ثم نلخّص الأنماط التي تقف وراء الملاحظات.
- إعادة الاختبار. بعد أن يُجري فريقكم تصحيحاته، نعيد تشغيل المطالبات التي لم تنجح، مع صيغ بديلة جديدة، إضافةً إلى عيّنة من المطالبات التي نجحت سابقًا، لرصد أي خلل سببته التصحيحات. ونذكر لكم ما تغيّر. ويحدد عرض السعر عدد جولات إعادة الاختبار المشمولة.
هذه هي دورة العمل بالذكاء الاصطناعي لدينا مطبَّقةً على مساعدكم: يساعد الوكلاء في العمل الكثيف من توليد صيغ بديلة للمطالبات والتنبيه إلى الردود، ويتولى لغوي من أبناء اللغة كل تقييم بالدرجات.
كيف تُصنَّف الملاحظات
تحصل كل ملاحظة على درجة خطورة واحدة: حرجة أو جوهرية أو طفيفة. وتتوقف درجة الخطورة على الأثر المحتمل في مستخدميكم وفي أعمالكم: فقد تكون الملاحظة حرجة، مثلًا، إذا ذكر المساعد عمولة تحويل خاطئة، أو جاء رده على موضوع حساس مخالفًا لسياسة المحتوى لديكم. وتحصل كل ملاحظة كذلك على فئة واحدة، من مجموعة الفئات نفسها التي نستخدمها في كل تقرير جودة:
| الفئة | ما تشمله في إجابات مساعدكم |
|---|---|
| الدقة | لا تطابق الإجابة قاعدة المعرفة لديكم: خطوة خاطئة، أو معلومة أو رقم خاطئ، أو حذف، أو إضافة، أو إجابة عن سؤال غير الذي طُرح |
| السلامة اللغوية | النحو والإملاء وعلامات الترقيم |
| المصطلحات | مصطلح لا يطابق مسردكم، أو مصطلح يُستخدم استخدامًا غير متّسق |
| الأسلوب | النبرة، ومستوى الخطاب، واللهجة: إجابة بغير التنويعة المطلوبة من اللغة، مثل لهجة غير التي حددتموها، أو مستوى خطاب لا يسمح به دليل الأسلوب لديكم، أو صياغة تبدو مترجَمة |
| الأعراف المحلية | أعراف السوق المستهدفة: الوحدات، والتواريخ، وصيغ الأرقام، والمفردات الإقليمية، والإشارات الثقافية |
| الوسوم والتنسيق | الروابط والعناصر النائبة والمتغيرات والتنسيق التي تتعطل في الإجابة، بما في ذلك عرض النص من اليمين إلى اليسار: نص عربي وإنجليزي مختلط، وأرقام، وعلامات ترقيم تظهر في غير موضعها في واجهة الدردشة لديكم |
| متطلبات العميل | سياسة المحتوى وتعليماتكم، بما في ذلك اللغة التي يجيب بها المساعد، وطريقة استجابته للمطالبات الحساسة |
ما تحصلون عليه
- خطة اختبار لكل لغة: نوايا المستخدم، وشخصيات المستخدمين، واللهجات، ومحاور سياسة المحتوى التي يغطيها الاختبار
- نتائج التقييم بالدرجات: المحادثات التي أجريناها، وردود مساعدكم، وتقييم اللغوي لكل رد شمله التقييم بالدرجات
- النتائج حسب نية المستخدم واللغة واللهجة، مع أعداد الملاحظات حسب درجة الخطورة والفئة
- سجل ملاحظات يذكر لكل ملاحظة المحادثة، والسلوك المتوقع، والفئة، ودرجة الخطورة، والشرح، والتصحيح المقترح
- ملخص الأنماط: أهم الملاحظات حسب اللغة واللهجة، والموضع الأرجح للتصحيح، مثل تعليمات مساعدكم أو قاعدة المعرفة أو المسرد لديكم، ليتحقق منه فريقكم
- تقرير إعادة الاختبار بعد تصحيحاتكم: الملاحظات التي صُحّحت، والملاحظات المتبقية، وأي ملاحظات جديدة رصدتها إعادة الاختبار
تسجّل كل نتيجة التاريخ والوقت، وبيئة الاختبار، وإصدار المساعد الذي تخبروننا بأنه قيد الاختبار، ليتمكن فريقكم من إعادة تشغيل المطالبات نفسها. وتنطبق الملاحظات على ذلك الإصدار: فأي تغيير لاحق في مساعدكم أو نموذجه أو قاعدة معرفته قد يغيّر إجاباته.
وإذا كان عدد المطالبات في لغة ما أقل من أن يعطي صورة موثوقة، يذكر التقرير ذلك ويبيّن عدد المطالبات التي شغّلناها. ولا تظهر الدرجات إلا في تقريركم الخاص، ولا تظهر أبدًا على هذا الموقع.
عمق التقييم بالدرجات
يستخدم الاختبار أسماء مستويات الخدمة الثلاثة لدينا لتحديد عدد الردود التي يقيّمها لغوي من أبناء اللغة بالدرجات. أما خطوات الترجمة الواردة في تلك الصفحة، مثل التحرير والفحوص الإضافية التي يُجريها الوكلاء في كل مستوى، فلا تنطبق على الاختبار. ويحدد عرض السعر المستوى.
| مستوى الخدمة | الردود التي يقيّمها لغوي من أبناء اللغة بالدرجات |
|---|---|
| ذكاء اصطناعي + فحص | كل رد ينبّه إليه وكلاؤنا، إضافةً إلى عيّنة عشوائية |
| ذكاء اصطناعي + تحرير | كل رد |
| ذكاء اصطناعي + تحرير + مراجعة | كل رد، إضافةً إلى مراجعة لغوي ثانٍ لكل درجة |
تُقيَّم بالدرجات كل ردود المساعدات التي تجيب عن أسئلة صحية أو قانونية أو مالية أو غيرها من الأسئلة الخاضعة للتنظيم بمستوى ذكاء اصطناعي + تحرير + مراجعة، أو دون ذكاء اصطناعي من جهتنا، ولا تُقيَّم أبدًا بمستوى ذكاء اصطناعي + فحص. وتُقيَّم الردود على مطالبات المحتوى الحساس بمستوى ذكاء اصطناعي + تحرير وما فوقه. وفي الحالتين، يقيّم لغوي من أبناء اللغة كل رد بالدرجات.
اللغات واللهجات التي نقدّمها
نختبر في اللغات المدرجة لدينا، ومنها العربية الفصحى الحديثة، واللهجات المصرية والخليجية والشامية والمغاربية عند الطلب. ونعمل بلغات أخرى عند الطلب، بعد أن نؤكد لكم إمكانية العمل بها قبل تقديم عرض السعر.
أخبرونا بالبلدان التي يوجد فيها مستخدموكم، وبالتنويعة التي يكتبون بها في كل لغة، مثل الفصحى أو إحدى اللهجات التي نغطيها في العربية، ويذكر عرض السعر هذه التنويعة.
صلاحية الوصول والمحتوى والبيانات الخاصة بكم
- نوقّع اتفاقية عدم الإفصاح (NDA) الخاصة بكم، واتفاقية معالجة البيانات (DPA) الخاصة بكم إن وُجدت، قبل أن تمنحونا صلاحية الوصول أو تشاركوا الملفات. وإذا كان أحد البنود لا يطابق طريقة عملنا، نتفق معكم على التعديل قبل بدء العمل.
- لا نختبر إلا في بيئة الاختبار أو حسابات الاختبار التي تجهّزونها لنا. ويُرجى تجهيزها ببيانات اختبار فقط، دون أي بيانات حقيقية للعملاء، لأن ردود مساعدكم تدخل في ملاحظاتنا. ويُرجى عدم وضع كلمات مرور أو روابط اختبار خاصة في النماذج لدينا: نتفق معكم بالبريد الإلكتروني على طريقة مشاركة صلاحية الوصول.
- قبل بدء الاختبار، تؤكدون أن مؤسستكم تشغّل المساعد أو مخوَّلة بطلب اختباره، وأن شروط المنصة وخدمات الذكاء الاصطناعي التي يعمل عليها تسمح بهذا الاختبار.
- إذا كانت لدى مؤسستكم متطلبات لتقييم الموردين أو لموقع تخزين البيانات، فأرسلوها مع طلب عرض السعر، ونجيب عنها قبل أن تمنحونا صلاحية الوصول.
- عندما نستخدم الذكاء الاصطناعي على محتواكم، لا نستخدم إلا خدمات ذكاء اصطناعي مخصصة للأعمال تمنع شروطها التدريب عليه. ويشمل محتواكم هنا قاعدة المعرفة والسياسات لديكم وردود مساعدكم. ولا نستخدم محتواكم في تدريب أدوات الذكاء الاصطناعي الخاصة بنا أو ضبطها.
- تفضّلون ألا يمر محتواكم بالذكاء الاصطناعي؟ عندئذٍ يكتب لغويون من أبناء اللغة كل مطالبة، ويقيّمون كل رد بالدرجات، دون ذكاء اصطناعي من جهتنا، ويذكر عرض السعر ذلك.
- نحذف ملفاتكم ونتائج الاختبار عند الطلب، ما لم يُلزمنا القانون بالاحتفاظ بها.
البدء بفحص مصغّر مجاني بلغة واحدة
نمرّر مجموعة صغيرة من مطالبات الاختبار عبر مساعدكم بلغة واحدة، أو بلهجة عربية واحدة، على عدد قليل من نوايا المستخدم نتفق عليها معكم بالبريد الإلكتروني، ثم نرسل إليكم الملاحظات مع درجاتها: كل ملاحظة مع المطالبة والرد ودرجة الخطورة والفئة. ولا تشمل الملاحظات إلا المطالبات التي شغّلناها. وهي استرشادية، وليست حكمًا شاملًا على مساعدكم. ولا يشمل الفحص المصغّر مطالبات المحتوى الحساس: فهذه لا نشغّلها إلا في اختبار كامل، بعد أن نتفق على سياسة المحتوى لديكم.
في نموذج طلب عرض السعر، اختاروا «اختبار مساعدات الذكاء الاصطناعي أو روبوتات المحادثة» و«فحص مصغّر مجاني»، وأكّدوا أن مؤسستكم تشغّل المساعد أو مخوَّلة بطلب اختباره. واذكروا اللغة أو اللهجة في خانة «معلومات أخرى». ويُرجى عدم إدراج كلمات مرور أو روابط اختبار خاصة: ننسّق معكم بالبريد الإلكتروني الوصول إلى نسخة اختبار من مساعدكم، بعد توقيع اتفاقية عدم الإفصاح الخاصة بكم إن احتجتم إليها. ونؤكد معكم التفاصيل بالبريد الإلكتروني قبل أن نبدأ. فحص مصغّر مجاني واحد لكل شركة.
أسئلة عن الاختبار اللغوي لمساعدات الذكاء الاصطناعي
هل يهم نوع المنصة أو نموذج الذكاء الاصطناعي الذي يعمل عليه مساعدنا؟
لا. نختبر النص الذي يكتبه مساعدكم، فتبقى المنهجية نفسها أيًّا كان النموذج الذي يعمل عليه. ونحتاج إلى صلاحية الوصول إلى نسخة اختبار منه، مثل رابط بيئة التجريب أو حساب اختبار. ونختبر المحادثات المكتوبة، في الدردشة أو تطبيقات المراسلة. وإذا كان مساعدكم لا يعمل إلا داخل تطبيق مراسلة، فأخبرونا، وسنؤكد لكم طريقة الوصول إليه قبل تقديم عرض السعر.
هل تختبرون كسر القيود أو حقن المطالبات؟
لا. فهذه اختبارات أمنية، ومكانها لدى مزوّد متخصص في الاختبارات الأمنية. ما نختبره هو اللغة، والدقة مقارنةً بقاعدة المعرفة لديكم، وطريقة استجابة مساعدكم للمطالبات الحساسة، مقارنةً بسياسة المحتوى الخاصة بكم.
هل يمكنكم اختبار المساعد بلهجات عربية؟
نعم. نختبر بالعربية الفصحى الحديثة، وباللهجات المصرية والخليجية والشامية والمغاربية عند الطلب، بما في ذلك العربيزي والرسائل التي تمزج العربية بالإنجليزية. أخبرونا بالبلدان التي يوجد فيها مستخدموكم، ونؤكد معكم الفصحى أو اللهجة المطلوبة قبل تقديم عرض السعر. ويكتب اللغويون المطالبات كما يكتبها المستخدمون في كل سوق، ويتحققون من أن الإجابات تأتي بالفصحى أو اللهجة التي حددتموها.
ما الذي تحتاجون إليه منا؟
صلاحية الوصول إلى نسخة اختبار من مساعدكم، وقاعدة المعرفة وسياسة المحتوى لديكم، ومسرد المصطلحات إن وُجد. وإن أمكن، أضيفوا مجموعة من أسئلة المستخدمين الحقيقية بعد إزالة البيانات الشخصية منها. وأخبرونا باللغات واللهجات المطلوب اختبارها، وبنوايا المستخدم الأهم.
هل يمكنكم إصلاح ما ترصدونه؟
لا نغيّر شيئًا في مساعدكم، بل يُجري فريقكم التصحيحات. وتأتي كل ملاحظة مع تصحيح مقترح، ويبيّن ملخص الأنماط الموضع الأرجح للتصحيح. وإذا كانت قاعدة المعرفة لديكم تحتاج إلى ترجمة، فاطّلعوا على خدمة محتوى مراكز المساعدة والدعم. وإذا كنتم تحتاجون إلى مسرد مصطلحات، فاطّلعوا على خدمة مسرد المصطلحات ودليل الأسلوب وذاكرة الترجمة. ولكلٍّ منهما عرض سعر مستقل.
ما الفرق بين هذا الاختبار ومراجعة جودة الترجمة بالذكاء الاصطناعي لديكم؟
تقيّم مراجعة الجودة نصًا مترجَمًا موجودًا لديكم، مقارنةً بنصه المصدر. أما اختبار المساعد فيفحص ما يكتبه مساعدكم ردًا على المستخدمين، مقارنةً بقاعدة المعرفة وسياسة المحتوى لديكم. وتستخدم الخدمتان درجات الخطورة والفئات نفسها.