به‌گزارش سایت arXiv، محققان آزمایشگاه ملی Oak Ridge در آمریکا توانستند یک مدل زبانی بزرگ و در ابعاد GPT-4 را تنها با ۸ درصد از گرافیک AMD مدل MI250X موجود در ابرکامپیوتر Frontier آموزش دهند.
ابرکامپیوتر Frontier مجهز به ۹,۴۷۲ پردازنده‌ی AMD مدل Epyc 7A53 و ۳۷٬۸۸۸ پردازنده‌ی گرافیکی AMD مدل Radeon Instinct است. گروه تحقیقاتی آزمایشگاه ملی Oak Ridge به‌ترتیب از ۳,۰۷۲ پردازنده‌ی گرافیکی این ابرکامپیوتر برای آموزش یک مدل زبانی بزرگ با یک‌تریلیون پارامتر و از ۱,۰۲۷ پردازنده‌ی گرافیکی برای آموزش یک مدل زبانی بزرگ دیگر با ۱۷۵ میلیارد پارامتر استفاده کردند. ابرکامپیوتر Frontier در هنگام انجام آزمایش، در بهره‌وری مقیاس‌گذاری ضعیف، امتیاز کامل ۱۰۰ درصد را به‌دست آورد. این مقیاس بدین‌معنی است که با افزایش حجم کاری، تعداد پردازنده‌های بیشتری عملکرد بهینه خواهند داشت. عملکرد سریع‌ترین ابرکامپیوتر جهان در بهره‌وری مقیاس‌گذاری قوی برای اجرای دو مدل زبانی بزرگ با ۱۷۵ میلیارد و یک‌تریلیون پارامتر به‌ترتیب برابر با ۸۹ و ۸۷ درصد بود. این مقیاس به افزایش تعداد پردازنده‌ها بدون تغییر در حجم کاری اشاره می‌کند.
در‌حال‌حاضر، Frontier سریع‌ترین کامپیوتر جهان با پردازنده‌های AMD است که از ابررایانه Aurora که تماماً از پردازنده اینتل استفاده می‌کند و ابرکامپیوتر Eagle ساخت مایکروسافت با گرافیک انویدیا قوی‌تر است.
منبع: datacenterdynamics
دیدگاه خود را بنویسید