لماذا يجب أن يتم العرض التوضيحي على ملفكم، لا على ملف الناشر؟
تقوم جميع أدوات هذه الفئة اليوم بالشيء نفسه تقريبًا ظاهريًا: تستقبل طلبًا (طلب عروض، استبيانًا أمنيًا، استبيان عناية واجبة يوجّهه عميل قبل أن يعهد إليكم بصفقة)، وتُطابقه مع مكتبة إجابات، وتصوغ مسودة أولى، وتنسّق المراجعة. على مجموعة عرض توضيحي يختارها الناشر، تتألق جميعها.
ما يفرّق بينها لا يظهر إلا على ملف حقيقي، بأسئلته الغامضة، ومتطلباته التي لا تغطيها مكتبتكم، وفخاخ صياغته. هناك تُرى إن كانت الأداة تُنتج إجابة قابلة للدفاع عنها أم إجابة مُقنعة فحسب. تختصر قاعدة التقييم في جملة واحدة: أحضروا أحد ملفاتكم، واطرحوا الأسئلة السبعة أدناه وأنتم تراقبون الشاشة، لا الكتيّب الدعائي.
الأسئلة السبعة، والوثيقة المطلوبة لكل منها
| السؤال | ما يجيب به مساعد صياغة | ما يجيب به عميل إجابة | الوثيقة المطلوبة |
|---|---|---|---|
| 1. من أين تأتي هذه الإجابة؟ | «من قاعدة المعرفة»، دون مزيد | المستند، والصفحة، والنسخة، معروضة بجانب كل إجابة | انقروا على ثلاث إجابات عشوائية وافتحوا المصدر المذكور |
| 2. ماذا يفعل حين لا توجد الإجابة في مستنداتي؟ | يصوغ رغم ذلك جملة مُقنعة | يُعلن النقص، ويُعيّن الخبير الواجب استشارته، ويوصي بإجراء السدّ قبل التسليم | اطرحوا سؤالًا تعرفون أن المكتبة لا تحتوي إجابته |
| 3. من يتحقق، وهل هو الذكاء الاصطناعي نفسه الذي صاغ الإجابة؟ | نفسه، في «مراجعة» | فريق ذكاء اصطناعي ثانٍ، مستقل، يُقيِّم كل إجابة من 0 إلى 100 ويشير إلى الفجوات | اطلبوا رؤية درجة إجابة ما ومبرر الدرجة |
| 4. أين تُعالَج مستنداتي، وهل تُستخدم لتدريب نموذج مشترك؟ | «على سحابة آمنة» | البلد ونمط النشر، والالتزام الكتابي بعدم استخدام بياناتكم لصالح عملاء آخرين، بما في ذلك مُجمَّعة، وبما في ذلك لدى مزوّدي النموذج من الباطن | بند العقد، لا صفحة الموقع |
| 5. من يوقّع، وكيف نعرف أن التوقيع حقيقي؟ | زر «تحقق» | مُتحقِّقون مُعيَّنون حسب المجال، وتوقيع مُسمًّى وموثَّق، واختبار يقظة يُدرج إجابات خاطئة عمدًا في التدفق وينبّه إن اعتُمدت واحدة منها | اسألوا كيف تكتشف الأداة تحققًا آليًا شكليًا |
| 6. ماذا يبقى لديه في نهاية العقد؟ | «يمكنكم تصدير بياناتكم» | استرجاع بصيغة قابلة لإعادة الاستخدام، وحذف مؤرَّخ يشمل المشتقات (الفهارس، التمثيلات، السجلات)، والنسخ الاحتياطية، والمتعاقدين من الباطن، وشهادة قابلة للتدقيق | بند القابلية للعكس، مع قائمة ما يُحذَف |
| 7. ممن يتعلّم؟ | من جميع عملائه، بمن فيهم منافسوكم | من مستنداتكم وتصحيحاتكم، التي تبقى داخل نسختكم الخاصة | اسألوا ما الذي يغيّره تصحيح أجراه خبيركم، ولمن |
إجابة غامضة عن واحد من الأسئلة السبعة معلومة. وإجابة غامضة عن ثلاثة منها قرار.
ما تقيسه الأسئلة السبعة، أبعد من الوظائف
لأن الوظائف تتشابه وتلحق ببعضها بسرعة. تتناول الأسئلة السبعة ما لا يُلحَق به: بنية الأداة.
يتناول السؤال 1 إمكانية التتبع: دون مستند وصفحة ونسخة بجانب كل إجابة، لا شيء قابل للتحقق، لا من قِبلكم ولا من قِبل المشتري الذي سيقرأكم.
يتناول السؤال 2 صدق النظام: الذكاء الاصطناعي المفيد يعرف كيف يقول ما لا يعرفه. الإجابة الجيدة لا تتوقف عند الامتناع؛ بل تُتبعه بالتوصية.
يتناول السؤال 3 استقلالية التحقق. النموذج الذي يراجع إنتاجه بنفسه لا يصحّح أخطاءه دون نظرة خارجية، بل قد يتراجع أداؤه أحيانًا بعد هذه المراجعة الذاتية (Huang et al.، ICLR 2024). يجب أن يأتي التحقق من جهاز منفصل عن الصياغة. على منصة Optivalue.ai، التي تنشر هذا الموقع، يضمّ هذا الجهاز 5 طبقات، من بينها 7 عمليات تحقق مضادة للهلوسة، ولا تصل إجابة فشلت في إحداها إلى المُتحقِّق أبدًا.
يتناول السؤال 4 السر التجاري: مكتبة إجاباتكم تُعدّ سرًا من هذا القبيل، وفي العديد من الأنظمة القانونية يُشترط لحمايتها القانونية اتخاذ تدابير حماية فعلية (في دولة الإمارات: القانون الاتحادي رقم 11 لسنة 2021 بشأن تنظيم وحماية حقوق الملكية الصناعية). ويندرج ضمن هذه التدابير مكان معالجة البيانات، واستخدامها، والاستعانة بمزوّد نموذج من الباطن.
يتناول السؤال 5 قيمة التوقيع. التحقق الذي يوافق على كل شيء ليس تحققًا. ولمعرفة ذلك، يجب اختباره.
يتناول السؤال 6 المدى الطويل: أداة لا يمكن مغادرتها بسلاسة أداة لم تخترها فعلًا.
يتناول السؤال 7 ما يميّزكم. أداة تتعلّم من جميع عملائها تُقرِّب إجاباتهم من بعضها؛ وأداة لا تتعلّم إلا منكم تفعل العكس.
التنازل الذي يوضّح كل شيء
إن كانت حاجتكم مسودة أولى أسرع، تراجعها فرقكم من البداية إلى النهاية قبل كل إرسال، يكفي مساعد صياغة، وتكلفته أقل. لا تُقصي الأسئلة السبعة أعلاه هذا الخيار؛ بل تصفه. اشتروه عن دراية.
تهمّ الأسئلة السبعة بمجرد أن تُلزم الإجابة الشركة دون أن يراجع كل سطر خبير: عندما يتجاوز الحجم قدرة المراجعة، وعندما يكون الطلب استبيانًا أمنيًا أو استبيان عناية واجبة، وعندما يكون التوقيع أسفل المستند توقيع مسؤول تنفيذي. المسودة لا تُلزم أحدًا. أما إجابتكم، فتُلزم.
ثلاثة أسئلة ترسم الخط الفاصل
إن لم يكن لديكم وقت إلا لثلاثة من الأسئلة السبعة، اطرحوا هذه، بهذا الترتيب:
- السؤال 2، حول النقص. إنه الأسرع اختبارًا والأكثر كشفًا: اطرحوا سؤالًا تعرفون أن مكتبتكم لا تحتوي إجابته، وراقبوا ما يخرج.
- السؤال 4، حول معالجة البيانات. إنه الأكثر إلزامًا، وإجابته توجد في عقد، لا في عرض توضيحي. اطلبوا البند.
- السؤال 5، حول التوقيع. إنه السؤال الذي لا يطرحه أحد، والذي يميّز أداة صمّمها أناس سبق أن خضعوا لتدقيق عن أداة صمّمها أناس سبق أن باعوا فحسب.
الأسئلة الشائعة
كم من الوقت يجب تخصيصه لتقييم جاد؟ وقت معالجة ملف حقيقي من البداية إلى النهاية، بحضور خبرائكم، حتى التسليم. يتم عرض المنصة التوضيحي في اجتماع واحد؛ أما التقييم فيتم على ملف حقيقي، والملف هو ما يحدّد المدة.
هل يجب مقارنة عدة أدوات على الملف نفسه؟ نعم، إن أمكن ذلك. الملف نفسه، الأسئلة السبعة نفسها، الوثائق المطلوبة نفسها. تظهر الفروق من تلقاء نفسها، ونادرًا ما تتعلق بالسرعة.
ما قيمة شهادة أمنية يعرضها الناشر؟ تجيب عن جزء من السؤال 4، وهو أمن الاستضافة. لكنها لا تجيب عن مكان المعالجة، ولا عن استخدام البيانات لتدريب نموذج، ولا عن الاستعانة بمزوّد نموذج من الباطن. تُقرأ هذه النقاط الثلاث في العقد.
هل يمكن لأداة أن تنجح في الأسئلة السبعة وتبقى سيئة؟ يمكنها أن تنجح في السبعة ولا تناسب حجمكم، أو صيغ بواباتكم، أو قطاعكم. تُقصي الأسئلة السبعة ما لا يجب شراؤه؛ ولا تختار بدلًا عنكم بين ما يمكن شراؤه.
لماذا نادرًا ما يُطرح سؤال اختبار اليقظة؟ لأنه يفترض الاعتراف بأن التحقق البشري قد يصبح شكليًا آليًا. الفرق التي سبق أن خضعت لتدقيق تعرف ذلك؛ وتكتشفه الفرق الأخرى لاحقًا.
اطرحوا الأسئلة السبعة على ملفكم الخاص
أحضروا طلب عروض حقيقيًا، أو استبيانًا أمنيًا، أو استبيان عناية واجبة. سترون تغطية الاستخراج، والمصادر المذكورة بالصفحة، ودرجة كل إجابة، وتحليل الفجوات على مستندكم، وليس عرضًا مُعدًّا مسبقًا. ويمكنكم طرح الأسئلة السبعة أمام الشاشة.
المصادر المذكورة
- J. Huang, X. Chen, S. Mishra, H. S. Zheng, A. W. Yu, X. Song, D. Zhou, « Large Language Models Cannot Self-Correct Reasoning Yet », ICLR 2024. https://arxiv.org/abs/2310.01798
- تشريع حماية المعلومات غير المفصح عنها (السر التجاري) المعمول به في السوق المستهدف، مرجع لشرط تدابير الحماية (في دولة الإمارات: القانون الاتحادي رقم 11 لسنة 2021 بشأن تنظيم وحماية حقوق الملكية الصناعية).