Risks of AI Access to Sensitive Data Highlighted by Recent Incidents

يفتح انتقال الذكاء الاصطناعي من تقديم الإجابات إلى تنفيذ المهام نيابة عن المستخدمين تحديات أمنية جديدة، مع قدرة الوكلاء الرقميين على الوصول إلى الحسابات والملفات والتطبيقات وتوجيه الرسائل والتصرف وفق تعليمات أصحابها. وفي هذه البيئة، قد يؤدي خطأ في تحديد وجهة الإرسال أو إدارة الصلاحيات إلى كشف معلومات حساسة، حتى من دون اختراق الحسابات.

وتسلط واقعة نشر بيانات مصرفية في مساحة عمل مشتركة الضوء على هذه المخاطر، ففي تقرير نشره موقع بيزنس إنسايدر الأمريكي قبل أيام، روى شين ماك الرئيس التنفيذي لشركة "إكس إم تي بي لابز" (XMTP Labs) الأمريكية أن وكيلا ماليا أنشأه باستخدام غروك بوت (Grok Bot) نشر أرصدة حساباته ونفقاته الشخصية بقناة تنفيذية على منصة سلاك، بدلا من إرسالها لمحادثة خاصة.

وبحسب رواية ماك، كان الوكيل مكلفا بإعداد تقارير دورية عن الأرصدة والمصروفات والاشتراكات المتكررة، مع صلاحية الاطلاع على حسابيه الجاري والتوفير، وأشار إلى أن مراجعة الواقعة كشفت التباسا بين وجهتي إرسال تحملان اسمين متشابهين، وأن إجراء إضافيا أُدخل لاحقا لطلب إذن صريح قبل نقل المعلومات إلى قنوات أخرى.

يحتاج الوكيل المالي إلى الاطلاع على بيانات محددة كي يتمكن من تحليل الإنفاق أو إعداد تقارير الميزانية، لكن منحه صلاحية الوصول إلى المعلومات لا يضمن اقتصار استخدامها على المهمة المطلوبة، خصوصا عندما تكون مرتبطة بتطبيقات متعددة، مثل البريد الإلكتروني ومنصات المحادثة والخدمات المصرفية.

وتحذر منظمة "أو دبليو إيه إس بي" (OWASP) الأمريكية، المتخصصة في أمن تطبيقات الويب، من مخاطر كشف المعلومات الحساسة والاستقلالية المفرطة في تطبيقات الذكاء الاصطناعي، ويمكن أن يؤدي ضعف حماية المخرجات أو منح النظام صلاحيات واسعة إلى مشاركة بيانات خاصة أو تنفيذ إجراءات غير مقصودة.

ولا يشترط حدوث اختراق مصرفي حتى تتعرض المعلومات للتسريب، فقد يحصل الوكيل على البيانات بصورة مشروعة، ثم يرسلها إلى جهة غير مقصودة، كما أن صلاحية القراءة فقط، رغم أنها تمنع إجراء التحويلات أو تعديل الحساب، لا تحمي من كشف الأرصدة وسجل النفقات إذا أُرسلت هذه المعلومات إلى قناة غير مناسبة.

تتزايد المخاطر عندما يجمع الوكيل بين الوصول إلى البيانات المالية والقدرة على التواصل عبر منصات العمل، فإذا كان النظام يستطيع قراءة الحساب المصرفي وتوجيه الرسائل إلى قناة مشتركة، فإن خطأ في اختيار المستلم قد ينقل المعلومات من سياق شخصي إلى بيئة مهنية.

وفي إرشادات بشأن أمن أنظمة الذكاء الاصطناعي الوكيل، حذرت وكالة الأمن السيبراني وأمن البنية التحتية الأمريكية "سي آي إس إيه" (CISA) وشركاؤها من مخاطر الاستقلالية والصلاحيات غير المقيدة، وشددوا على أهمية المراقبة المستمرة والدفاع متعدد الطبقات وتقييم الأنظمة أمنيا.

ويعني ذلك ضرورة الفصل بين الحسابات الشخصية والمهنية، وعدم منح الوكيل وصولا إلى جميع الملفات والتطبيقات لمجرد تسهيل عمله. فكلما اتسعت الصلاحيات، ازدادت البيانات التي يمكن أن تتأثر بخطأ واحد، حتى إذا لم يكن النظام مخولا بإجراء معاملات مالية.

تبدأ الحماية بمبدأ أقل قدر من الصلاحيات، أي منح الوكيل ما يحتاج إليه لإنجاز المهمة فقط، فإذا كان المطلوب إعداد ملخص للمصروفات، فلا ينبغي أن يمتلك صلاحية تحويل الأموال أو إرسال البيانات إلى قنوات خارجية من دون حاجة واضحة.

ومن الإجراءات المهمة اشتراط موافقة المستخدم قبل مشاركة البيانات الحساسة، مع إظهار اسم المستلم أو القناة ومحتوى الرسالة قبل إرسالها. ويمكن أيضا تحديد الجهات المسموح لها باستقبال المعلومات، وفصل الاتصالات بين الوكلاء الشخصيين ووكلاء العمل، وتسجيل عمليات الوصول والإرسال لتسهيل مراجعة أي حادثة.

وتدعم توصيات المعهد الوطني الأمريكي للمعايير والتقنية "إن آي إس تي" (NIST) هذا النهج من خلال إطار إدارة مخاطر الذكاء الاصطناعي التوليدي، الذي يشدد على تقييم المخاطر وحماية الخصوصية واختبار الأنظمة ومراقبتها بعد نشرها، مما يساعد على اكتشاف مواطن الضعف قبل أن تؤدي لكشف البيانات أو إساءة استخدامها.

لا تكفي الضوابط التقنية وحدها لمنع جميع الأخطاء، لذلك ينبغي الاحتفاظ بالمراجعة البشرية في الإجراءات الحساسة، مثل إرسال البيانات المصرفية أو مشاركة الوثائق الشخصية. ويمكن للوكيل إعداد التقرير وتحليله، مع اشتراط موافقة المستخدم قبل نشره خارج المساحة الخاصة.

وتقع على المطورين مسؤولية بناء آليات تحقق مستقلة، لا الاكتفاء بتوجيهات نصية تطلب من الوكيل التصرف بحذر، ويشمل ذلك التحقق من وجهة الإرسال، ومنع تجاوز الصلاحيات، واختبار السيناريوهات التي تجمع بين الحسابات الشخصية والمهنية، وتوفير وسيلة سريعة لإلغاء الوصول عند الضرورة.

أما المستخدمون فعليهم مراجعة الأذونات قبل ربط الوكلاء بحساباتهم، والتحقق من سياسات الاحتفاظ بالبيانات ومشاركتها، وتجنب إتاحة معلومات لا تحتاج إليها المهمة. كما ينبغي معرفة كيفية إلغاء الصلاحيات ومراجعة سجل نشاط الوكيل.

وتكشف الواقعة، وفق رواية صاحبها، أن مخاطر الوكلاء لا ترتبط فقط بقدرتهم على اختراق الأنظمة، بل أيضا بكيفية استخدامهم للصلاحيات التي يمنحها لهم أصحاب الحسابات. ومع توسع الاعتماد عليهم، يصبح النجاح الحقيقي مرهونا بإنجاز المهام ضمن حدود واضحة، توازن بين الاستقلالية والرقابة وتحمي المعلومات من الوصول إلى الجهات غير المقصودة.