powervacuuum

حملات صوتی مخالف ، آشفتگی های کوچکی هستند که توسط انسان قابل درک نیستند و به عمد به سیگنال های صوتی اضافه می شوند تا عملکرد مدل های یادگیری ماشین (ML) را مختل کنند. این حملات نگرانی های جدی را در مورد امنیت مدل های ML ایجاد می کنند ، زیرا می توانند باعث اشتباه شوند و در نهایت پیش بینی های اشتباه ایجاد کنند.

محققان olecole de Technologie Supérieure ، بخشی از دانشگاه کبک در کانادا ، اخیراً رویکرد جدیدی را توسعه داده اند که می تواند به امنیت ابزارهای طبقه بندی صوتی در برابر حملات مخالف کمک کند. در مقاله خود ، که از قبل روی arXiv منتشر شده است ، برخی از قوی ترین حملات خصمانه موجود و تأثیر آنها بر عملکرد مدل های ML معمولی را مرور می کنند ، سپس رویکردی را پیشنهاد می کنند که می تواند این حملات را خنثی کند.

"در حال حاضر ، بسیاری از طبقه بندی کننده های قوی و سریع (در زمان اجرا) از نظر دقت ، یعنی طبقه بندی کننده های یادگیری عمیق (به عنوان مثال شبکه های عصبی کانوشنال ) وجود دارند ، که حتی می توانند از سطح انسانی رسانه ها (به عنوان مثال گفتار ، تصویر ، فیلم ، انیمیشن) بهتر عمل کنند. متن و غیره) به رسمیت شناختن و رگرسیون ، "محمد اسماعیل پور ، یکی از محققانی که این تحقیق را انجام داده است ، به TechXplore گفت. "پاشنه آشیل از این الگوریتم های پیشرفته ، آسیب پذیری آنها در برابر ورودی هایی است که حاوی آشفتگی هایی با دقت ساخته شده هستند ، معروف به حملات دشمن."

حملات مخالف با تولید نمونه هایی که از نزدیک شبیه نمونه های آموزش قانونی هستند ، کار می کنند ، اما در واقع یک مدل یا مدل ML منجر به تولید برچسب های اشتباه با سطح اطمینان بالا می شود. در تحقیقات ML ، اگر داده های کافی برای آموزش طبقه بندی وجود داشته باشد ، چالش اصلی دیگر بهبود صحت تشخیص آن نیست ، بلکه اطمینان از مقاومت آن در برابر حملات دشمن است.

اسماعیل پور گفت: "حملات خصومت آمیز تهدیدهای فعال برای همه الگوریتم های مبتنی بر داده است ، حتی آنهایی که روی داده های کوچک آموزش دیده اند." وی ادامه داد: "این علاقه ما را به مطالعه خطر حملات خصمانه برای برنامه های تشخیص صدا و گفتار برانگیخته است ، زیرا همه تلفن های هوشمند اکنون به یک دستیار گفتار مجازی مانند سیری ، دستیار گوگل و کرتانا مجهز شده اند."

در مطالعه خود ، اسماعیل پور و همکارانش آزمایشاتی را انجام دادند که شامل مجموعه داده های صوتی محیطی است ، نه مجموعه داده های گفتاری. با این وجود ، در آینده رویکرد آنها به طور بالقوه می تواند به رسمیت شناختن گفتار نیز گسترش یابد ، این امر به تضمین دستیاران صوتی در برابر حملات مخالف کمک می کند.

طیف سنجی مخالف ساخته شده همراه با سیگنال صوتی در تصویر اول. در حالی که این دو عکس با هم مشابه هستند ، اما آنها دارای برچسب های مختلفی هستند که نشان می دهد حمله صورت گرفته است. اعتبار: اسماعیل پور ، کاردینال و لمییرس کوئریچ.
اسماعیل پور توضیح داد: "هدف اصلی ما در این مقاله بررسی تهدید حملات متقابل برای طبقه بندی کننده های صوتی یادگیری متعارف و عمیق بوده و از نظر ایده آل یک الگوریتم قابل اطمینان تر از نظر مقاومت در برابر برخی از حملات متداول را به عنوان پایه ای برای طبقه بندی صوتی واقعی قوی پیشنهاد می کنیم." . "ما می خواهیم در طبقه بندی ها در دقت تشخیص ، پیچیدگی محاسباتی و استحکام در برابر حملات دشمن ، یک تعادل عادلانه ایجاد کنیم."

به طور کلی ، طبقه بندی کننده هایی که در برابر حملات دشمن مخالف تر هستند ، دقت کمتری را به دست می آورند و بالعکس. محققان در مطالعه خود بر بازآرایی دشمن ، یکی از معتبرترین تکنیک های دفاعی موجود که اطلاعات شیب را خنثی نمی کند ، متمرکز شدند. با وجود مزایای آن ، این استراتژی دفاعی خاص پرهزینه است (از آنجا که حملات شدید پرهزینه است ، بازپس گیری مخالف با استفاده از این حملات پرهزینه تر خواهد بود) و می تواند بر عملکرد تشخیص طبقه بندیگر تأثیر منفی بگذارد.

اسماعیل پور گفت: "مورد ایده آل برای ما پیشنهاد به یک طبقه بندی صوتی مجدد آموزش مجدد بدون صدا و خنثی است که ذاتاً" ویژگی های قوی "را می آموزد." "سناریوی طبقه بندی ما شامل چندین مرحله است ، عمدتا طیف سنجی (نمایش 2D برای سیگنال های صوتی ) تقویت ، کاهش ابعاد با استفاده از تکنیک تجزیه جبری و هموار سازی با استفاده از یک خودکار تنظیم کننده نویزکننده پیچشی ، که در آن دو مرحله آخر (جمع شده در کنار هم) مثبت نشان داده اند. اثرات بر حذف اختلالات دشمن احتمالی ناشناخته کوچک. "

محققان پس از بررسی برخی از قوی ترین حملات خصمانه به آنجا و تأثیرات آنها بر عملکرد مدل های ML ، ویژگی هایی را از طیف سنجی های پردازش شده توسط مدل ها استخراج کردند ، آنها را در یک دفترچه راهنما سازماندهی و الگوریتم ماشین بردار پشتیبانی (SVM) را بر روی این کد آموزش دادند. . در خط لوله تمرینی خود هیچ تکنیک شناسایی یا حمله القایی ضد حمله یا واکنش الگوریتمی دفاعی را اجرا نکردند.

اسماعیل پور توضیح داد: "هدف اصلی ما این بود که" بردارهای ویژگی های قوی را بیاموزیم "بدون اینکه هیچ گونه سربار قبل یا بعد از پردازش برای تشخیص نمونه های احتمالی طرف مقابل وجود داشته باشد." "نتایج ما نشان می دهد که طبقه بندیگر پیشنهادی ما از الگوریتم های مرسوم و الگوریتم های مرسوم در برابر پنج نوع حملات خصمانه قوی برای برخی از مجموعه داده های صوتی زیست محیطی عملی بهتر است."

اسماعیل پور و همکارانش از نظر آماری آسیب پذیری هر دو طبقه بندیگر معمولی (یعنی طبقه بندی کننده هایی که از فضای ویژگی ها یاد می گیرند) و الگوریتم های یادگیری عمیق (یعنی الگوریتم هایی که از داده های خام یاد می گیرند) را در برابر حملات دشمنان ثابت کردند. به گفته محققان ، در حال حاضر هیچ الگوریتمی معتبر از داده محور برای طبقه بندی صوتی وجود ندارد که در برابر حملات مخالف نیز قوی باشد. در بین مدلهای موجود ، به نظر می رسد که رویکردهای مبتنی بر یادگیری عمیق در مقابل این حملات کمترین امنیت را داشته باشند ، حتی اگر به طور معمول بالاترین دقت تشخیص را داشته باشند.

اسماعیل پور گفت: "سناریوی طبقه بندی پمپ وکیوم که در مقاله ما پیشنهاد کردیم از SVM با هسته چند جمله ای به عنوان طبقه بندی نهایی استفاده می کند." "با این وجود ، استفاده از یک اتوکودر ناهمگن کننده حلقوی در بالای تجزیه ارزش مفرد و به دنبال آن یک خوشه بدون نظارت از بردارهای دارای ویژگی های پرقدرت استخراج شده می تواند به یادگیری مؤلفه های ساختاری بیشتر و احتمالاً ویژگی های قوی کمک کند ، که می تواند به ما امکان دستیابی به تعادل مناسب را بدهد. بین دقت تشخیص (قابل مقایسه با عملکرد برتر از هنر) و استحکام در برابر پنج حمله خصمانه مشترک متداول ".

در حالی که نتایج جمع آوری شده توسط محققان بسیار امیدوار کننده است ، ممکن است بسته به مجموعه داده استفاده شده یا برنامه خاص یک طبقه بندی کننده متفاوت باشد ، از این رو هنوز قابل تعمیم نیستند. در آینده ، مطالعه آنها می تواند از توسعه سایر طبقه بندی کنندگانی که بهتر در برابر حملات دشمنان مجهز هستند ، آگاه نشود ، بدون آنکه ضررهای قابل توجهی در عملکرد (یعنی دقت تشخیص) داشته باشد.

اسماعیل پور گفت: "یادگیری ویژگی های قوی یک مشکل باز است و ما هنوز تصوری روشنی از چگونگی رسیدگی صحیح به آن نداریم ؛ این کار توسط تیم تحقیقاتی ما بررسی می شود و به زودی نتایج به دست می آید." "در همین حال ، ما در حال کار بر روی یک تکنیک جدید حمله قوی و تهاجمی ضد دشمن هستیم که هدف آن استفاده از این حمله برای آموزش مخالفان مدل یادگیری (که باعث تقویت استحکام آن می شود) می شود و همچنین عملکرد شناسایی مدل را قبل از آموزش آن ذخیره می کنیم."

حملات صوتی مخالف ، آشفتگی های کوچکی هستند که توسط انسان قابل درک نیستند و به عمد به سیگنال های صوتی اضافه می شوند تا عملکرد مدل های یادگیری ماشین (ML) را مختل کنند. این حملات نگرانی های جدی را در مورد امنیت مدل های ML ایجاد می کنند ، زیرا می توانند باعث اشتباه شوند و در نهایت پیش بینی های اشتباه ایجاد کنند.

محققان olecole de Technologie Supérieure ، بخشی از دانشگاه کبک در کانادا ، اخیراً رویکرد جدیدی را توسعه داده اند که می تواند به امنیت ابزارهای طبقه بندی صوتی در برابر حملات مخالف کمک کند. در مقاله خود ، که از قبل روی arXiv منتشر شده است ، برخی از قوی ترین حملات خصمانه موجود و تأثیر آنها بر عملکرد مدل های ML معمولی را مرور می کنند ، سپس رویکردی را پیشنهاد می کنند که می تواند این حملات را خنثی کند.

"در حال حاضر ، بسیاری از طبقه بندی کننده های قوی و سریع (در زمان اجرا) از نظر دقت ، یعنی طبقه بندی کننده های یادگیری عمیق (به عنوان مثال شبکه های عصبی کانوشنال ) وجود دارند ، که حتی می توانند از سطح انسانی رسانه ها (به عنوان مثال گفتار ، تصویر ، فیلم ، انیمیشن) بهتر عمل کنند. متن و غیره) به رسمیت شناختن و رگرسیون ، "محمد اسماعیل پور ، یکی از محققانی که این تحقیق را انجام داده است ، به TechXplore گفت. "پاشنه آشیل از این الگوریتم های پیشرفته ، آسیب پذیری آنها در برابر ورودی هایی است که حاوی آشفتگی هایی با دقت ساخته شده هستند ، معروف به حملات دشمن."

حملات مخالف با تولید نمونه هایی که از نزدیک شبیه نمونه های آموزش قانونی هستند ، کار می کنند ، اما در واقع یک مدل یا مدل ML منجر به تولید برچسب های اشتباه با سطح اطمینان بالا می شود. در تحقیقات ML ، اگر داده های کافی برای آموزش طبقه بندی وجود داشته باشد ، چالش اصلی دیگر بهبود صحت تشخیص آن نیست ، بلکه اطمینان از مقاومت آن در برابر حملات دشمن است.

اسماعیل پور گفت: "حملات خصومت آمیز تهدیدهای فعال برای همه الگوریتم های مبتنی بر داده است ، حتی آنهایی که روی داده های کوچک آموزش دیده اند." وی ادامه داد: "این علاقه ما را به مطالعه خطر حملات خصمانه برای برنامه های تشخیص صدا و گفتار برانگیخته است ، زیرا همه تلفن های هوشمند اکنون به یک دستیار گفتار مجازی مانند سیری ، دستیار گوگل و کرتانا مجهز شده اند."

در مطالعه خود ، اسماعیل پور و همکارانش آزمایشاتی را انجام دادند که شامل مجموعه داده های صوتی محیطی است ، نه مجموعه داده های گفتاری. با این وجود ، در آینده رویکرد آنها به طور بالقوه می تواند به رسمیت شناختن گفتار نیز گسترش یابد ، این امر به تضمین دستیاران صوتی در برابر حملات مخالف کمک می کند.

طیف سنجی مخالف ساخته شده همراه با سیگنال صوتی در تصویر اول. در حالی که این دو عکس با هم مشابه هستند ، اما آنها دارای برچسب های مختلفی هستند که نشان می دهد حمله صورت گرفته است. اعتبار: اسماعیل پور ، کاردینال و لمییرس کوئریچ.
اسماعیل پور توضیح داد: "هدف اصلی ما در این مقاله بررسی تهدید حملات متقابل برای طبقه بندی کننده های صوتی یادگیری متعارف و عمیق بوده و از نظر ایده آل یک الگوریتم قابل اطمینان تر از نظر مقاومت در برابر برخی از حملات متداول را به عنوان پایه ای برای طبقه بندی صوتی واقعی قوی پیشنهاد می کنیم." . "ما می خواهیم در طبقه بندی ها در دقت تشخیص ، پیچیدگی محاسباتی و استحکام در برابر حملات دشمن ، یک تعادل عادلانه ایجاد کنیم."

به طور کلی ، طبقه بندی کننده هایی که در برابر حملات دشمن مخالف تر هستند ، دقت کمتری را به دست می آورند و بالعکس. محققان در مطالعه خود بر بازآرایی دشمن ، یکی از معتبرترین تکنیک های دفاعی موجود که اطلاعات شیب را خنثی نمی کند ، متمرکز شدند. با وجود مزایای آن ، این استراتژی دفاعی خاص پرهزینه است (از آنجا که حملات شدید پرهزینه است ، بازپس گیری مخالف با استفاده از این حملات پرهزینه تر خواهد بود) و می تواند بر عملکرد تشخیص طبقه بندیگر تأثیر منفی بگذارد.

اسماعیل پور گفت: "مورد ایده آل برای ما پیشنهاد به یک طبقه بندی صوتی مجدد آموزش مجدد بدون صدا و خنثی است که ذاتاً" ویژگی های قوی "را می آموزد." "سناریوی طبقه بندی ما شامل چندین مرحله است ، عمدتا طیف سنجی (نمایش 2D برای سیگنال های صوتی ) تقویت ، کاهش ابعاد با استفاده از تکنیک تجزیه جبری و هموار سازی با استفاده از یک خودکار تنظیم کننده نویزکننده پیچشی ، که در آن دو مرحله آخر (جمع شده در کنار هم) مثبت نشان داده اند. اثرات بر حذف اختلالات دشمن احتمالی ناشناخته کوچک. "

محققان پس از بررسی برخی از قوی ترین حملات خصمانه به آنجا و تأثیرات آنها بر عملکرد مدل های ML ، ویژگی هایی را از طیف سنجی های پردازش شده توسط مدل ها استخراج کردند ، آنها را در یک دفترچه راهنما سازماندهی و الگوریتم ماشین بردار پشتیبانی (SVM) را بر روی این کد آموزش دادند. . در خط لوله تمرینی خود هیچ تکنیک شناسایی یا حمله القایی ضد حمله یا واکنش الگوریتمی دفاعی را اجرا نکردند.

اسماعیل پور توضیح داد: "هدف اصلی ما این بود که" بردارهای ویژگی های قوی را بیاموزیم "بدون اینکه هیچ گونه سربار قبل یا بعد از پردازش برای تشخیص نمونه های احتمالی طرف مقابل وجود داشته باشد." "نتایج ما نشان می دهد که طبقه بندیگر پیشنهادی ما از الگوریتم های مرسوم و الگوریتم های مرسوم در برابر پنج نوع حملات خصمانه قوی برای برخی از مجموعه داده های صوتی زیست محیطی عملی بهتر است."

اسماعیل پور و همکارانش از نظر آماری آسیب پذیری هر دو طبقه بندیگر معمولی (یعنی طبقه بندی کننده هایی که از فضای ویژگی ها یاد می گیرند) و الگوریتم های یادگیری عمیق (یعنی الگوریتم هایی که از داده های خام یاد می گیرند) را در برابر حملات دشمنان ثابت کردند. به گفته محققان ، در حال حاضر هیچ الگوریتمی معتبر از داده محور برای طبقه بندی صوتی وجود ندارد که در برابر حملات مخالف نیز قوی باشد. در بین مدلهای موجود ، به نظر می رسد که رویکردهای مبتنی بر یادگیری عمیق در مقابل این حملات کمترین امنیت را داشته باشند ، حتی اگر به طور معمول بالاترین دقت تشخیص را داشته باشند.

اسماعیل پور گفت: "سناریوی طبقه بندی پمپ وکیوم که در مقاله ما پیشنهاد کردیم از SVM با هسته چند جمله ای به عنوان طبقه بندی نهایی استفاده می کند." "با این وجود ، استفاده از یک اتوکودر ناهمگن کننده حلقوی در بالای تجزیه ارزش مفرد و به دنبال آن یک خوشه بدون نظارت از بردارهای دارای ویژگی های پرقدرت استخراج شده می تواند به یادگیری مؤلفه های ساختاری بیشتر و احتمالاً ویژگی های قوی کمک کند ، که می تواند به ما امکان دستیابی به تعادل مناسب را بدهد. بین دقت تشخیص (قابل مقایسه با عملکرد برتر از هنر) و استحکام در برابر پنج حمله خصمانه مشترک متداول ".

در حالی که نتایج جمع آوری شده توسط محققان بسیار امیدوار کننده است ، ممکن است بسته به مجموعه داده استفاده شده یا برنامه خاص یک طبقه بندی کننده متفاوت باشد ، از این رو هنوز قابل تعمیم نیستند. در آینده ، مطالعه آنها می تواند از توسعه سایر طبقه بندی کنندگانی که بهتر در برابر حملات دشمنان مجهز هستند ، آگاه نشود ، بدون آنکه ضررهای قابل توجهی در عملکرد (یعنی دقت تشخیص) داشته باشد.

اسماعیل پور گفت: "یادگیری ویژگی های قوی یک مشکل باز است و ما هنوز تصوری روشنی از چگونگی رسیدگی صحیح به آن نداریم ؛ این کار توسط تیم تحقیقاتی ما بررسی می شود و به زودی نتایج به دست می آید." "در همین حال ، ما در حال کار بر روی یک تکنیک جدید حمله قوی و تهاجمی ضد دشمن هستیم که هدف آن استفاده از این حمله برای آموزش مخالفان مدل یادگیری (که باعث تقویت استحکام آن می شود) می شود و همچنین عملکرد شناسایی مدل را قبل از آموزش آن ذخیره می کنیم."