loading...

powervacuuum

بازدید : 551
يکشنبه 11 خرداد 1399 زمان : 18:34

این روزها ، تقریباً تمام محصولات مبتنی بر هوش مصنوعی در زندگی ما به "شبکه های عصبی عمیق" متکی هستند که بطور خودکار یاد می گیرند که داده های دارای برچسب را پردازش کنند.


اگرچه برای اکثر سازمان ها و افراد ، یادگیری عمیق دشوار است. برای یادگیری خوب ، شبکه های عصبی معمولاً باید بسیار بزرگ باشند و به مجموعه داده های گسترده نیاز دارند. این فرایند آموزش معمولاً نیاز به آموزش چند روزه و واحدهای گران قیمت پردازش گرافیک (GPU) و حتی سخت افزارهای طراحی شده و سفارشی دارد.

اما اگر واقعاً مجبور نباشند این همه بزرگ باشند ، چه می شود؟

در مقاله جدید ، محققان آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL) نشان داده اند که شبکه های عصبی دارای زیرشاخه هایی هستند که اندازه آنها تا یک دهم است اما هنوز قادر به آموزش برای پیش بینی های یکسان دقیق هستند - و بعضی اوقات می توانند یاد بگیرند. حتی سریعتر از اصل.

رویکرد تیم در حال حاضر به خصوص کارآمد نیست. آنها باید چندین بار شبکه را کامل آموزش داده و "هرس کنند" قبل از پیدا کردن کار فرعی موفق. با این حال ، دستیار MIT ، پروفسور مایکل کاربین می گوید که یافته های تیم وی نشان می دهد ، اگر بتوانیم دقیقا مشخص کنیم که کدام قسمت از شبکه اصلی به پیش بینی نهایی مربوط است ، دانشمندان ممکن است روزی بتوانند از این روند گران قیمت به طور کلی عبور کنند. چنین مکاشفه ای این امکان را دارد که ساعات کار را صرفه جویی کند و ایجاد مدل های معنی دار توسط برنامه نویسان فردی و نه فقط شرکت های بزرگ فناوری را آسان تر کند.

"اگر در ابتدا شبکه اول لازم نبود که آنقدر بزرگ باشد ، چرا نمی توانید فقط در ابتدا سایز مناسب ایجاد کنید؟" می گوید دکتری دانشجو جاناتان فرانکل ، که مقاله جدید خود را با همکاری نویسنده Carbin در همایش بین المللی نمایندگی های یادگیری (ICLR) در نیواورلئان ارائه داد. این پروژه به عنوان یکی از دو مقاله برتر ICLR ، از میان تقریباً 1600 مورد ارسال ، انتخاب شد.

این تیم روشهای سنتی یادگیری عمیق را به قرعه کشی تشبیه می کنند . آموزش شبکه های بزرگ عصبی نوعی مانند تلاش برای تضمین این است که با خرید کورکورانه هر بلیط ممکن ، برنده شوید. اما اگر بتوانیم شماره های برنده را از همان ابتدا انتخاب کنیم ، چه می شود؟

کاربین می گوید: "با یک شبکه عصبی سنتی ، شما به طور تصادفی این ساختار بزرگ را آغاز می کنید و بعد از آموزش آن بر روی تعداد زیادی از داده ها ، به طرز جادویی کار می کنید." "این ساختار بزرگ مانند خرید بلیط بزرگ است ، حتی اگر تعداد کمی بلیط وجود دارد که شما را ثروتمند می کنند. علم باقی مانده این است که چگونه قبل از مشاهده شماره های برنده ، بلیط های برنده را شناسایی کنید."



کار این تیم همچنین ممکن است پیامدهایی برای به اصطلاح "یادگیری انتقال" داشته باشد ، جایی که شبکه های آموزش داده شده برای یک کار مانند تشخیص تصویر روی آنها ساخته شده است تا در ادامه با یک کار کاملا متفاوت کمک کنند.

یادگیری انتقال سنتی شامل آموزش شبکه و سپس اضافه کردن یک لایه دیگر در بالا است که برای یک کار دیگر آموزش داده می شود. در بسیاری موارد ، شبکه ای که برای یک هدف آموزش دیده باشد ، قادر به نوعی دانش عمومی است که بعداً می تواند برای اهداف دیگری مورد استفاده قرار گیرد.

به همان اندازه مواردی که شبکه های عصبی پمپ انتقال نیرو وکیوم دریافت کرده اند ، غالباً میزان آموزش آنها به سختی انجام نمی شود. از آنجا که آنها می توانند برای آموزش بسیار گران قیمت باشند ، دانشمندان داده ها مجبورند امتیازات بسیاری کسب کنند ، با توجه به اندازه مدل ، مقدار زمان لازم برای آموزش و عملکرد نهایی آن ، یک سری معاملات تجاری را وزن می کنند.

برای آزمایش به اصطلاح "فرضیه بلیط بخت آزمایی" و نشان دادن وجود این زیر مجموعه های کوچکتر ، تیم به راهی برای یافتن آنها نیاز داشتند. آنها با استفاده از یک رویکرد مشترک برای از بین بردن اتصالات غیر ضروری از شبکه های آموزش دیده شروع کردند تا آنها را در دستگاه های کم مصرف مانند تلفن های هوشمند قرار دهند: آنها اتصالات را با کمترین "وزن" (هر چقدر شبکه اولویت این اتصال) را "هرس" می کند.

نوآوری اصلی آنها این ایده بود که اتصالات پس از آموزش شبکه هرس می شوند ، هرگز به هیچ وجه لازم نبودند. برای آزمایش این فرضیه ، آنها دوباره سعی کردند دقیقاً همان شبکه را آموزش دهند ، اما بدون اتصالات هرس شده. نکته مهم این است که آنها هر ارتباطی را با وزنی که در ابتدای آموزش به آن اختصاص داده بودند ، "تنظیم مجدد" می کنند. این وزن های اولیه برای کمک به بلیط بخت آزمایی ضروری است: بدون آنها ، شبکه های هرس یاد نمی گیرند. آنها با هرس اتصال بیشتر و بیشتر ، آنها تعیین کردند که چقدر می تواند بدون آسیب زدن به توانایی یادگیری شبکه حذف شود.

برای اعتبارسنجی این فرضیه ، آنها این روند را ده ها هزار بار در بسیاری از شبکه های مختلف در طیف گسترده ای از شرایط تکرار کردند.

کاربین می گوید: "تعجب آور بود که تنظیم مجدد یک شبکه با عملکرد خوب منجر به نتیجه بهتر شود." "این نشان می دهد که هر کاری که برای اولین بار انجام می دادیم دقیقاً مطلوب نبوده است ، و جایی برای بهبود چگونگی یادگیری این مدل ها برای بهبود خود وجود دارد."

به عنوان گام بعدی ، تیم قصد دارد تا علت مشخص شدن برخی زیرشاخه ها را در یادگیری ماهر داشته و راه هایی برای یافتن کارآمد این زیرشاخه ها را بررسی کند.

دانیل روی ، استادیار آمار دانشگاه دانشگاه تورنتو ، که درگیر این مقاله نشده است ، می گوید: "درک فرضیه بلیط بخت آزمایی" ممکن است محققان را برای سالهای بعدی مشغول نگه دارد. "این کار ممکن است برنامه هایی برای فشرده سازی شبکه و بهینه سازی شبکه داشته باشد. آیا می توانیم این مراحل زیر را در اوایل آموزش شناسایی کنیم ، بنابراین آموزش را تسریع می کنیم؟ آیا می توان از این تکنیک ها برای ساختن طرح های فشرده سازی مؤثر استفاده کرد ، مستحق مطالعه است."

این روزها ، تقریباً تمام محصولات مبتنی بر هوش مصنوعی در زندگی ما به "شبکه های عصبی عمیق" متکی هستند که بطور خودکار یاد می گیرند که داده های دارای برچسب را پردازش کنند.


اگرچه برای اکثر سازمان ها و افراد ، یادگیری عمیق دشوار است. برای یادگیری خوب ، شبکه های عصبی معمولاً باید بسیار بزرگ باشند و به مجموعه داده های گسترده نیاز دارند. این فرایند آموزش معمولاً نیاز به آموزش چند روزه و واحدهای گران قیمت پردازش گرافیک (GPU) و حتی سخت افزارهای طراحی شده و سفارشی دارد.

اما اگر واقعاً مجبور نباشند این همه بزرگ باشند ، چه می شود؟

در مقاله جدید ، محققان آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL) نشان داده اند که شبکه های عصبی دارای زیرشاخه هایی هستند که اندازه آنها تا یک دهم است اما هنوز قادر به آموزش برای پیش بینی های یکسان دقیق هستند - و بعضی اوقات می توانند یاد بگیرند. حتی سریعتر از اصل.

رویکرد تیم در حال حاضر به خصوص کارآمد نیست. آنها باید چندین بار شبکه را کامل آموزش داده و "هرس کنند" قبل از پیدا کردن کار فرعی موفق. با این حال ، دستیار MIT ، پروفسور مایکل کاربین می گوید که یافته های تیم وی نشان می دهد ، اگر بتوانیم دقیقا مشخص کنیم که کدام قسمت از شبکه اصلی به پیش بینی نهایی مربوط است ، دانشمندان ممکن است روزی بتوانند از این روند گران قیمت به طور کلی عبور کنند. چنین مکاشفه ای این امکان را دارد که ساعات کار را صرفه جویی کند و ایجاد مدل های معنی دار توسط برنامه نویسان فردی و نه فقط شرکت های بزرگ فناوری را آسان تر کند.

"اگر در ابتدا شبکه اول لازم نبود که آنقدر بزرگ باشد ، چرا نمی توانید فقط در ابتدا سایز مناسب ایجاد کنید؟" می گوید دکتری دانشجو جاناتان فرانکل ، که مقاله جدید خود را با همکاری نویسنده Carbin در همایش بین المللی نمایندگی های یادگیری (ICLR) در نیواورلئان ارائه داد. این پروژه به عنوان یکی از دو مقاله برتر ICLR ، از میان تقریباً 1600 مورد ارسال ، انتخاب شد.

این تیم روشهای سنتی یادگیری عمیق را به قرعه کشی تشبیه می کنند . آموزش شبکه های بزرگ عصبی نوعی مانند تلاش برای تضمین این است که با خرید کورکورانه هر بلیط ممکن ، برنده شوید. اما اگر بتوانیم شماره های برنده را از همان ابتدا انتخاب کنیم ، چه می شود؟

کاربین می گوید: "با یک شبکه عصبی سنتی ، شما به طور تصادفی این ساختار بزرگ را آغاز می کنید و بعد از آموزش آن بر روی تعداد زیادی از داده ها ، به طرز جادویی کار می کنید." "این ساختار بزرگ مانند خرید بلیط بزرگ است ، حتی اگر تعداد کمی بلیط وجود دارد که شما را ثروتمند می کنند. علم باقی مانده این است که چگونه قبل از مشاهده شماره های برنده ، بلیط های برنده را شناسایی کنید."



کار این تیم همچنین ممکن است پیامدهایی برای به اصطلاح "یادگیری انتقال" داشته باشد ، جایی که شبکه های آموزش داده شده برای یک کار مانند تشخیص تصویر روی آنها ساخته شده است تا در ادامه با یک کار کاملا متفاوت کمک کنند.

یادگیری انتقال سنتی شامل آموزش شبکه و سپس اضافه کردن یک لایه دیگر در بالا است که برای یک کار دیگر آموزش داده می شود. در بسیاری موارد ، شبکه ای که برای یک هدف آموزش دیده باشد ، قادر به نوعی دانش عمومی است که بعداً می تواند برای اهداف دیگری مورد استفاده قرار گیرد.

به همان اندازه مواردی که شبکه های عصبی پمپ انتقال نیرو وکیوم دریافت کرده اند ، غالباً میزان آموزش آنها به سختی انجام نمی شود. از آنجا که آنها می توانند برای آموزش بسیار گران قیمت باشند ، دانشمندان داده ها مجبورند امتیازات بسیاری کسب کنند ، با توجه به اندازه مدل ، مقدار زمان لازم برای آموزش و عملکرد نهایی آن ، یک سری معاملات تجاری را وزن می کنند.

برای آزمایش به اصطلاح "فرضیه بلیط بخت آزمایی" و نشان دادن وجود این زیر مجموعه های کوچکتر ، تیم به راهی برای یافتن آنها نیاز داشتند. آنها با استفاده از یک رویکرد مشترک برای از بین بردن اتصالات غیر ضروری از شبکه های آموزش دیده شروع کردند تا آنها را در دستگاه های کم مصرف مانند تلفن های هوشمند قرار دهند: آنها اتصالات را با کمترین "وزن" (هر چقدر شبکه اولویت این اتصال) را "هرس" می کند.

نوآوری اصلی آنها این ایده بود که اتصالات پس از آموزش شبکه هرس می شوند ، هرگز به هیچ وجه لازم نبودند. برای آزمایش این فرضیه ، آنها دوباره سعی کردند دقیقاً همان شبکه را آموزش دهند ، اما بدون اتصالات هرس شده. نکته مهم این است که آنها هر ارتباطی را با وزنی که در ابتدای آموزش به آن اختصاص داده بودند ، "تنظیم مجدد" می کنند. این وزن های اولیه برای کمک به بلیط بخت آزمایی ضروری است: بدون آنها ، شبکه های هرس یاد نمی گیرند. آنها با هرس اتصال بیشتر و بیشتر ، آنها تعیین کردند که چقدر می تواند بدون آسیب زدن به توانایی یادگیری شبکه حذف شود.

برای اعتبارسنجی این فرضیه ، آنها این روند را ده ها هزار بار در بسیاری از شبکه های مختلف در طیف گسترده ای از شرایط تکرار کردند.

کاربین می گوید: "تعجب آور بود که تنظیم مجدد یک شبکه با عملکرد خوب منجر به نتیجه بهتر شود." "این نشان می دهد که هر کاری که برای اولین بار انجام می دادیم دقیقاً مطلوب نبوده است ، و جایی برای بهبود چگونگی یادگیری این مدل ها برای بهبود خود وجود دارد."

به عنوان گام بعدی ، تیم قصد دارد تا علت مشخص شدن برخی زیرشاخه ها را در یادگیری ماهر داشته و راه هایی برای یافتن کارآمد این زیرشاخه ها را بررسی کند.

دانیل روی ، استادیار آمار دانشگاه دانشگاه تورنتو ، که درگیر این مقاله نشده است ، می گوید: "درک فرضیه بلیط بخت آزمایی" ممکن است محققان را برای سالهای بعدی مشغول نگه دارد. "این کار ممکن است برنامه هایی برای فشرده سازی شبکه و بهینه سازی شبکه داشته باشد. آیا می توانیم این مراحل زیر را در اوایل آموزش شناسایی کنیم ، بنابراین آموزش را تسریع می کنیم؟ آیا می توان از این تکنیک ها برای ساختن طرح های فشرده سازی مؤثر استفاده کرد ، مستحق مطالعه است."

نظرات این مطلب

تعداد صفحات : 0

درباره ما
موضوعات
لینک دوستان
آمار سایت
  • کل مطالب : 10
  • کل نظرات : 0
  • افراد آنلاین : 1
  • تعداد اعضا : 0
  • بازدید امروز : 1
  • بازدید کننده امروز : 1
  • باردید دیروز : 0
  • بازدید کننده دیروز : 0
  • گوگل امروز : 0
  • گوگل دیروز : 0
  • بازدید هفته : 2
  • بازدید ماه : 5
  • بازدید سال : 12
  • بازدید کلی : 6531
  • <
    پیوندهای روزانه
    آرشیو
    اطلاعات کاربری
    نام کاربری :
    رمز عبور :
  • فراموشی رمز عبور؟
  • خبر نامه


    معرفی وبلاگ به یک دوست


    ایمیل شما :

    ایمیل دوست شما :



    کدهای اختصاصی