حمله هوش مصنوعی اوپن کلاو به صندوق ورودی ایمیل یک پژوهشگر!

سئو مئو: یک پژوهشگر امنیتی «متا ای آی» اظهار داشت که عامل هوش مصنوعی «اوپن کلاو» به صندوق ورودی ایمیل او حمله کرده است.
به گزارش سئو مئو به نقل از ایسنا، پست جدید «سامر یوئه»(Summer Yue)، پژوهشگر امنیتی «متا ای آی»(Meta AI) که اکنون دست به دست می شود، در ابتدا شبیه به یک شوخی به نظر می آید. او به عامل هوش مصنوعی «اوپن کلاو»(OpenClaw) اظهار داشت که صندوق ورودی ایمیل پر از پیامش را بررسی کند و پیشنهاد دهد چه چیزی حذف یا بایگانی شود.
به نقل از تک کرانچ، عامل هوش مصنوعی اوپن کلاو به سرعت آغاز به حذف همه ایمیل های یوئه کرد و دستورهای رسیده از تلفن همراه او را که به می گفت کارش را متوقف نماید، نادیده گرفت. یوئه با انتشار تصاویری از دستورهای توقف نادیده گرفته شده نوشت: مجبور شدم مانند عملیات خنثی سازی بمب بسمت «مک مینی»(Mac mini) خود بدوم.
مک مینی، یک کامپیوتر مقرون بصرفه ساخت «اپل» است که در کف دست جا می شود و اینروزها به دستگاه محبوبی برای اجرای اوپن کلاو تبدیل گشته است.
اوپن کلاو یک عامل هوش مصنوعی متن باز است که از راه شبکه اجتماعی «مولتبوک»(Moltbook) ویژه هوش مصنوعی به شهرت رسید. عامل های اوپن کلاو در مرکز بخشی از مولتبوک قرار داشتند که به نظر می رسید که در آن عوامل هوش مصنوعی مقابل انسان ها توطئه می کنند، اما در صفحه «گیت هاب»(GitHub) اوپن کلاو نوشته شده است که مأموریت آن بر شبکه های اجتماعی متمرکز نیست. هدف اوپن کلاو تبدیل شدن به یک دستیار هوش مصنوعی شخصی است که روی دستگاههای شخصی اجرا می شود.
جمعیت حاضر در سیلیکون ولی به قدری شیفته اوپن کلاو شده اند که «claw» و «claws» به واژه های کلیدی مورد علاقه آنها برای عامل هایی تبدیل گشته اند که روی سخت افزار شخصی اجرا می شوند. از دیگر عوامل این چنینی میتوان به «زیروکلاو»(ZeroClaw)، «آیرن کلاو»(IronClaw) و «پیکوکلاو»(PicoClaw) اشاره نمود. حتی گروه پادکست «Y Combinator» در تازه ترین قسمت پادکست خود با لباس خرچنگ دریایی ظاهر شدند.
با این وجود، پست یوئه یک اخطار است. همان گونه که کاربران دیگر نیز در پلت فرم ایکس خاطرنشان کردند، اگر یک پژوهشگر امنیت هوش مصنوعی با این مشکل رو به رو شود، افراد عادی چه امیدی دارند؟
یک توسعه دهنده نرم افزار در پلت فرم ایکس از یوئه پرسید: «آیا عمداً گزینه های حفاظت آنرا آزمایش می کردی یا یک اشتباه ناشیانه مرتکب شدی؟» و یوئه پاسخ داد: «این یک اشتباه تازه کارانه بود.»
به قول یوئه، او اهتمام داشت عامل هوش مصنوعی را با یک صندوق ورودی کوچک تر آزمایش کند که روی ایمیل های کم اهمیت تر خوب کار می کرد لذا اعتماد او را جلب کرده بود.
یوئه اعتقاد دارد که حجم زیاد داده ها در صندوق ورودی حقیقی اش به فشرده سازی منجر گردیده است. او نوشت: فشرده سازی زمانی اتفاق می افتد که پنجره زمینه (سابقه اجرای هر چیزی که به هوش مصنوعی گفته شده و در یک جلسه انجام داده است) بیش از حد بزرگ شود و عامل را به خلاصه سازی، فشرده سازی و مدیریت گفتگو وادار کند.
در آن مرحله، هوش مصنوعی ممکنست از دستورالعمل هایی صرف نظر کند که انسان آنها را بسیار مهم می داند.
در این مورد، عامل هوش مصنوعی ممکنست آخرین دستور یوئه را که در آن به او گفته بود کاری نکند، نادیده گرفته و به دستورالعمل هایش از صندوق ورودی کوچک تر برگشته باشد.
همان گونه که چندین کاربر دیگر در ایکس اشاره کردند، نمی توان به دستورالعمل ها به عنوان محافظ امنیتی اعتماد کرد، برای اینکه مدلها ممکنست آنها را اشتباه تفسیر کنند یا نادیده بگیرند.
افراد گوناگونی پیشنهادهایی را عرضه دادند. پیشنهادها از چارچوب دقیقی که یوئه باید برای متوقف کردن عامل استفاده می کرد تا روشهای متعدد برای اطمینان از پایبندی بهتر به قوانین مانند نوشتن دستورالعمل ها در فایل های اختصاصی یا استفاده از سایر فناوری های متن باز متغیر بودند.
تک کرانچ نمی تواند به صورت مستقل تأیید کند که چه اتفاقی برای صندوق ورودی یوئه افتاده است، برای اینکه او به درخواست تک کرانچ برای اظهار نظر پاسخ نداد.
نکته ماجرا اینست که عوامل هوش مصنوعی درنظرگرفته شده برای کارکنان دانش محور، در مرحله کنونی توسعه خطرناک هستند. اشخاصی که می گویند با موفقیت از آنها استفاده می نمایند، درحال سرهم بندی روش هایی برای حفاظت از خود هستند.
عوامل هوش مصنوعی ممکنست روزی و شاید بزودی جهت استفاده گسترده آماده شوند. خیلی از ما دوست داریم که عوامل هوش مصنوعی در حوزه ایمیل، سفارش مواد غذایی و تعیین وقت ملاقات با دندانپزشک به ما کمک کنند، اما آن روز هنوز فرا نرسیده است.

منبع: seomeo.ir