محققان در دانشگاه MIT، آزمایشگاه هوش مصنوعی «MIT-IBM Watson»، کالج بین‌المللی «Underwood» و دانشگاه «Brasilia» به این موضوع پی برده‌اند که در حال نزدیک شدن به محدودیت‌های محاسباتی برای یادگیری عمیق هستیم.
در این تحقیق جدید اعلام شده که پیشرفت در یادگیری عمیق با اشتهای بی‌پایان ما برای قدرت محاسباتی همراه است و توسعه بیشتر نیاز به روش‌های محاسباتی بسیار کارآمدتر دارد. یکی از نویسندگان این مقاله نوشته:
«یادگیری عمیق به طور تصادفی گران نیست، بلکه طراحی باعث چنین موضوعی می‌شود. انعطاف‌پذیری یادگیری عمیق، مدل‌سازی پدیده‌های مختلف و کنار زدن مدل‌های دیگر را در پی دارد که بطور چشمگیری محاسبات را گران‌تر می‌کند.»
محققان 1058 تحقیق و سایر منابع را برای مقاله خود مورد بررسی قرار دادند. هدف از این کار، اطلاع از میزان وابستگی عملکرد یادگیری ماشینی به قدرت محاسباتی در زمینه‌های مختلف شامل طبقه‌بندی تصاویر، شناسایی اشیاء، پاسخ به سوالات، تشخیص نام و ترجمه ماشینی بوده. محققان برای پی بردن به این موضوع که چرا یادگیری عمیق از نظر محاسباتی گران است، مقیاس‌پذیری آماری و محاسباتی آن‌ها را به صورت تئوری تحلیل کردند.
آن‌ها چنین کاری را با دو تحلیل جداگانه از الزامات محاسباتی انجام دادند:
- تعداد عملیات‌های نقطه شناور موردنیاز برای یک گذر در شبکه
- توانایی محاسباتی سخت افزار مورد استفاده در آموزش مدل
محققان پس از تحلیل خود به این موضوع پی بردند که تنها سه سال بهبود الگوریتمی معادل افزایش 10 برابری قدرت محاسباتی است. اگر پیشرفت در این زمینه با چنین سرعتی دنبال شود، الزامات محاسباتی یادگیری عمیق از نظر فنی، اقتصادی و محیط زیستی به سرعت تبدیل به مانع می‌شوند. با این وجود شاید سخت افزارها نیز بهبود پیدا کنند:
«ما متوجه شدیم که بار محاسباتی واقعی مدل‌های یادگیری عمیق مقیاس‌پذیری سریع‌تری نسبت به مرزهای پایینی در تئوری دارند که نشان‌دهنده امکان پیشرفت‌های اساسی در این بخش است.»
به گفته محققان، پیشرفت‌های یادگیری عمیق در سطح الگوریتمی همیشه در حال رخ دادن است که برخی از آن‌ها شامل شتاب‌دهنده سخت افزاری می‌شود. با گذر زمان متوجه می‌شویم که هزینه‌های یادگیری عمیق کاهش پیدا می‌کند یا فناوری جدیدی جایگزین آن می‌شود.