اگر یک ایجنت درخواست ادغام را باز کند، ایجنت دیگری آن را مستقر کند و هیچ‌کس نتواند دقیق توضیح دهد چرا آن تغییر وارد محیط عملیاتی شد، شما حاکمیت هوش مصنوعی ندارید.
شما فقط خودکارسازی را با نامی جذاب‌تر عرضه کرده‌اید.
این تفاوت مهم است، چون توسعه نرم‌افزار ایجنت‌محور با سرعتی جلو می‌رود که بسیاری از کنترل‌های عملیاتی سازمان‌ها برای آن طراحی نشده‌اند. خیلی از تیم‌ها تصور می‌کنند تحت‌حاکمیت هستند چون ایجنت‌ها با SSO یا حساب سرویس وارد می‌شوند، مجوز مخزن دارند و هنوز یک انسان استقرار را تأیید می‌کند. این‌ها کنترل‌های مفیدی هستند، اما یک سیستم حاکمیت نیستند.
این نوشته بخش اول از مجموعه ده‌قسمتی حاکمیت هوش مصنوعی در یک شرکت نرم‌افزاری مبتنی بر هوش مصنوعی است.
مدل، نظام عملیاتی شما نیست؛ فرایند پیرامون آن چنین نقشی دارد.
یک عصر سه‌شنبه آشنا
یک شرکت فناوری مالی متوسط را تصور کنید. یک مهندس ارشد از IDE ایجنت می‌خواهد مسیر پرداخت را سریع‌تر کند. ایجنت سرویس را می‌خواند، یک فراخوانی پایگاه داده را بازنویسی می‌کند، درخواست ادغام می‌سازد و خلاصه تمیزی تحویل می‌دهد. تست‌ها سبز هستند. هم‌تیمی تفاوت کد را مرور می‌کند و تأیید می‌کند.
تغییر ادغام می‌شود.
یک استقرار ایجنت آن را برمی‌دارد، روی انتشار محدود می‌فرستد، جهش خطا واضحی نمی‌بیند و انتشار را ادامه می‌دهد. همه‌چیز عادی است تا زمانی که تأخیر بالا می‌رود و کاربران پایان مهلت می‌گیرند. تیم کشیک بازگشت می‌کند و سرویس برمی‌گردد.
از نظر فنی، رخداد حل شده است.
اما از نظر ساختاری، حاکمیت شکست خورده است.
حالا سؤال‌ها شروع می‌شوند: واقعاً چه کسی این تغییر را نوشته؟ ایجنت قبل از تصمیم چه زمینهی را خوانده بود؟ کدام نسخه مدل، دستور، مهارت و پیکربندی ابزار فعال بود؟ چرا استقرار ایجنت با وجود اولین نشانه‌های انحراف تغییر را ارتقا کرد؟ چند تغییر دیگر در همین ماه دقیقاً از همین مسیر عبور کرده‌اند؟
بیشتر تیم‌ها برای بخشی از این سؤال‌ها جواب دارند، اما تعداد کمی می‌توانند همه را سریع و با شواهد پاسخ دهند.
خطر دقیقاً همین‌جاست. لازم نیست کسی بی‌احتیاط باشد. هر تصمیم محلی می‌تواند منطقی به نظر برسد، در حالی که کل سیستم همچنان فاقد حاکمیت است.
یک نیروی کار غیرانسانی وارد خط لولهای شده که برای انسان طراحی شده است. کنترل‌هایی که در سرعت انسانی قابل تحمل بودند، در سرعت ایجنت شکننده می‌شوند.
ریسک فقط خود ایجنت نیست؛ فرایند اجرا دامنه اثر آن را تعیین می‌کند.
چرا ایمنی هوش مصنوعی برای سازمان مهندسی کافی نیست
ایمنی هوش مصنوعی مهم است، اما با حاکمیت عملیاتی درون یک شرکت نرم‌افزاری یکسان نیست.
برای مدیر مهندسی که مدل را از طریق API یا ابزار توسعه به کار می‌گیرد، سطح اصلی کنترل معمولاً وزن‌های مدل نیست. سازمان سامانه پیرامون مدل را کنترل می‌کند: هویت‌ها، دامنه ابزار، دسترسی به داده، مهارت‌ها، سیاست‌ها، مراحل تأیید، جریان استقرار، گزارش‌ها، بازگشت و کلید توقف.
این تفاوت تعیین می‌کند حاکمیت باید کجا ساخته شود.
۱. ایمنی به مدل نگاه می‌کند؛ عملیات باید سیستم را حکمرانی کند
سؤال «آیا مدل هم‌راستا است؟» می‌تواند مهم باشد، اما معاون مهندسی معمولاً نه وزن‌های مدل را می‌بیند و نه می‌تواند آن‌ها را تغییر دهد.
اما می‌تواند خط لوله را تغییر دهد.
می‌تواند تعیین کند ایجنت به چه ابزارهایی دسترسی دارد، کدام مخزن را تغییر می‌دهد، چه داده‌ای را می‌خواند، چه شواهدی قبل از ادغام لازم است، چه شرایطی استقرار را متوقف می‌کند و چه کسی می‌تواند دسترسی را لغو کند.
اگر سازمان نمی‌تواند مدل را تغییر دهد، مدل نمی‌تواند سطح کنترل اصلی عملیات باشد.
۲. ایجنت معمولاً ضعف‌های موجود را تقویت می‌کند
سیستم ایجنت‌محور لازم نیست یک الگوی شکست کاملاً جدید اختراع کند. کافی است با سرعت بیشتر از اعتبارنامه ضعیف، تأیید ناقص، منشأ گمشده، ابزار بدون مرز و تغییر کنترل طراحی‌شده برای انسان عبور کند.
ایجنت ضعف را آشکار می‌کند. خط لوله میزان خسارت را تعیین می‌کند.
۳. خاموش کردن با مدیریت پیامدها فرق دارد
کلید توقف لازم است، اما سؤال‌های سخت بعد از استفاده از آن شروع می‌شوند.
ایجنت قبل از توقف چه وضعیتی را تغییر داده؟ چه مصنوعاتی ساخته؟ کدام پایین‌دست سامانه‌ها را لمس کرده؟ چه چیزهایی خودکار بازگشت می‌شوند و کدام بخش بازیابی دستی می‌خواهد؟ آیا می‌توان ثابت کرد همه این اقدامات تحت کدام نسخه سیاست انجام شده‌اند؟
خاموش کردن ایجنت معادل حکمرانی کردن چیزهایی نیست که قبلاً به حرکت درآورده است.
تعریف عملی حاکمیت هوش مصنوعی در مهندسی مبتنی بر هوش مصنوعی
یک تعریف کاربردی این است:
حاکمیت هوش مصنوعی مجموعه کنترل‌ها، شیوه‌های عملیاتی و انضباطهای اندازه‌گیری است که کار کار با کمک ایجنت و کار خودکار ایجنت را با سرعت خود ایجنت‌ها قابل توضیح، محدود، قابل بازگشت و قابل بهبود می‌کند.
این چهار ویژگی از یک سیاست سند عمومی مهم‌ترند.
قابل توضیح
برای هر تغییر مهم باید بتوان گفت چه کسی یا چه چیزی عمل کرده، با چه هویت، تحت کدام مدل، دستور، مهارت، ابزار و نسخه سیاست، با چه شواهد و با تأیید چه کسی.
اگر تولیدشده به‌دست ایجنت تغییر به محض رسیدن به شاخه اصلی تبدیل به یک ابهام شود، حاکمیت از قبل شکسته است.
محدود
هر ایجنت باید مرز اختیار مشخص داشته باشد: دامنه ابزار، دامنه مخزن، دامنه داده، دامنه اعتبارنامه، سقف هزینه و آستانه تأیید.
اگر ایجنت بتواند بی‌سروصدا خارج از حوزه مجاز خود حرکت کند، شما مرز ندارید؛ فقط نیت دارید.
قابل بازگشت
انسان باید بتواند تولیدشده به‌دست ایجنت تغییر را بدون همکاری خود ایجنت متوقف و بازگرداندن کند.
انتشار محدود، بازگشت خودکار، مصنوع غیرقابل‌تغییر، کلید توقف مستقل و نقطه بازیابی شناخته‌شده بخشی از این لایه هستند.
قابل بهبود
حاکمیت باید نشان دهد کدام ایجنت ارزش ایجاد می‌کند، کدام انحراف کرده و کدام باید اختیار بیشتر یا کمتر بگیرد.
میزان استفاده نمودار کافی نیست. نتیجه، نشانه رخداد، بازبینی کیفیت، نرخ ارجاع و شواهد واقعی از تأثیر اختیار لازم است.
اعتماد یک احساس نیست؛ ویژگی قابل سنجش سامانه است.
چهار جایی که بیشتر تیم‌ها در معرض خطر هستند
عملیاتی ایجنت حاکمیت را می‌توان در چهار دسته دید.
دسترسی و هویت می‌پرسد ایجنت کیست، با چه اعتبارنامهی کار می‌کند و به چه سیستم‌هایی دسترسی دارد. بیشتر سازمان‌ها در این بخش حداقل بخشی از کنترل‌ها را دارند.
اقدام و تغییر می‌پرسد ایجنت اجازه چه کاری دارد، دامنه اثر چقدر است و اقدامها چگونه تأیید یا متوقف می‌شوند. این کنترل‌ها اغلب از گردش‌کار انسانی به ارث رسیده‌اند و برای حجم عملیات ایجنت کافی نیستند.
خروجی و شواهد می‌پرسد ایجنت چه تولید کرده و آیا سازمان می‌تواند ورودی، تصمیم، شواهد و تأیید منتهی به آن خروجی را بازسازی کند. بسیاری از برنامه‌های حاکمیت در این لایه ضعیف می‌شوند.
نتیجه و یادگیری می‌پرسد آیا ایجنت واقعاً سیستم را بهتر کرده، ریسک ساخته، انحراف کرده یا باید اختیار آن تغییر کند. این بخش اغلب با روایت شخصی و فروشنده پیشخوان جایگزین می‌شود.
یک سؤال ساده برای هر چهار دسته:
اگر ممیز، نهاد ناظر یا بازبین رخداد همین امروز شواهد بخواهد، آیا می‌توانیم در کمتر از یک ساعت آن را ارائه کنیم؟
اگر پاسخ منفی است، حاکمیت بدهی دارید.
شکست در عمل چه شکلی دارد
این شکستها معمولاً عجیب نیستند.
ادغام مبهم: کدی وارد محیط عملیاتی می‌شود و کسی نمی‌تواند دقیق توضیح دهد ایجنت چرا آن را ساخت یا چرا تأیید شد.
ممیزی غافلگیری: انطباق لیست تمام خودکار تغییرهای یک سرویس حساس را می‌خواهد و تیم چند روز برای بازسازی آن زمان لازم دارد.
انحراف پنهان قابلیت: مدل عوض می‌شود، دستور بازتنظیم می‌شود، ابزار جدید اضافه می‌شود یا دامنه مهارت گسترش می‌یابد، بی‌آنکه این رویداد مانند یک تغییر محیط عملیاتی مدیریت شود.
رشد مهارنشده هزینه: چرخه‌های پس‌زمینه و زنجیره‌های ایجنتی بودجه را مصرف می‌کنند، زیرا هزینه پس از وقوع پایش می‌شود و نه به‌عنوان ورودی سیاست هنگام اجرا.
فروپاشی اعتماد: مهندس ارشدها دیگر به تولیدشده به‌دست ایجنت کار اعتماد نمی‌کنند و همه‌چیز را با سوءظن بازبینی می‌کنند؛ در نتیجه مزیت بهره‌وری از بین می‌رود.
این‌ها شکست هم‌راستایی انتزاعی نیستند. عملیاتی حاکمیت شکست هستند.
از دوشنبه از کجا شروع کنیم
برای شروع نیازی به برنامه تحول بزرگ نیست. چهار کار بیشتر شکافهای اصلی را آشکار می‌کند.
- جریان واقعی را رسم کنید. مسیر واقعی درخواست تا محیط عملیاتی را با حضور ایجنت‌ها ثبت کنید، حتی مسیرهای غیررسمی و اجرای آزمایشی بدون اعمال.
- ایجنت‌ها را مثل فهرست نیروی انسانی کنید. مالک، دامنه، اعتبارنامه، دسترسی به داده، مسئول کلید توقف و آخرین بازبینی تاریخ.
- یک کنترل واقعی برای دامنه اثر برقرار کنید. اعتبارنامه محدود، قواعد انتشار محدود ویژه ایجنت، بازگشت خودکار یا کلید توقف مستقل از مسیر اصلی.
- یک رد تصمیم فقط‌افزودنی بسازید. برای هر تصمیم مهم ثبت کنید چه خواسته شد، چه اقدامی انجام شد، چه شواهدی به کار رفت و چه شخص یا سامانه‌ای آن را تأیید کرد.
دیدپذیری پیش از کنترل می‌آید.
کاری که قابل مشاهده و توضیح نیست، حکمرانی‌پذیر هم نیست.
این مجموعه قرار است به کجا برسد
نه مقاله بعدی این مدل را به یک نظام عملیاتی عملی تبدیل می‌کنند: حاکمیت لایه‌ها، اجرایی سیاست، ایجنت قرارداد، مهار، قابلیت ردیابی، تغییر مدیریت، بودجه، سنجه و مدل بلوغ.
هدف کند کردن مهندسی با حاکمیت نمایش نیست.
هدف ساخت سیستمی است که بتوان به ایجنت کار در سرعت بالا اعتماد کرد.
برنده‌های دوره مبتنی بر هوش مصنوعی صرفاً شرکت‌هایی نیستند که ایجنت بیشتری دارند. برنده‌ها شرکت‌هایی هستند که می‌توانند کار ایجنت‌ها را بدون تبدیل هر تغییر به جلسه کمیته قابل توضیح، محدود، قابل بازگشت و قابل بهبود نگه دارند.
این همان اعتماد با حفظ سرعت است.
ایمنی هوش مصنوعی می‌پرسد مدل ممکن است چه کاری انجام دهد. عملیاتی حاکمیت هوش مصنوعی کنترل می‌کند سیستم شما همین حالا اجازه انجام چه کاری را می‌دهد.
این دو گفتگو متفاوت‌اند و سازمان مهندسی به هر دو نیاز دارد.
نسخه اصلی این مقاله در ۲۳ آوریل ۲۰۲۶ توسط Reza Arani در Medium منتشر شد. این نسخه برای Aipolix و به‌عنوان بخش اول مجموعه حاکمیت هوش مصنوعی در یک شرکت نرم‌افزاری مبتنی بر هوش مصنوعی بازنویسی شده است.
دیدگاهها
هنوز دیدگاهی ثبت نشده است. اولین نفر باشید.
ثبت دیدگاه