Створено найбільший процесор у світі WSE-3 на 900 тисяч ядер: де його застосують
На основі WSE-3 буде створено суперкомп'ютери, здатні навчити нейромережу Llama 70B компанії Meta всього за 24 години.
Компанія Cerebras (США) створила дуже великий чип WSE-3. Використовувати його будуть для роботи алгоритмів машинного навчання і штучного інтелекту, пише The Register.
Чип було виготовлено за 5-нм техпроцесом на фабриці тайванського виробника TSMC. На площі в 4622 см2 вмістилося 4 трлн транзисторів і 900 тис. ядер. Підтримувана SRAM-пам'ять становила 44 Гб, продуктивність — 125 Пфлопс (1 Петафлопс дорівнює 1 квадрильйону операцій на секунду, — ред.).
У компанії повідомили, що на базі WSE-3 створено машину Cerebras CS-3. Рівень її енергоспоживання знаходиться на позначці 23 кВт. Якщо порівнювати Cerebras CS-3 із платформою Nvidia H100, то перша перевершує другу за продуктивністю в 62 рази в операціях FP16. І навіть Nvidia DGX вона перевершує в 4 рази в операціях FP16.
Що стосується пропускної здатності Cerebras CS-3, то вона становить 21 Пбайт/с (1 Петабайт дорівнює 1 квадрильйону байт, — ред.). Наприклад, пропускна здатність Nvidia H100 дорівнює всього лише 3,9 Тбайт/с. Тут варто зазначити, що продуктивність обчислювальної платформи CS-3 залежить від коефіцієнта "розрідженості" операцій. Іншими словами, чим щільнішими будуть операції FP16, тим повільніше працюватиме вся система.
CS-3 на базі процесорів WSE-3 стане частиною кластера Condor Galaxy AI, що використовується для забезпечення роботи нейромереж. Пізніше на основі таких кластерів буде зібрано кілька суперкомп'ютерів, два з яких уже прийнято в експлуатацію. Кожна така машина складається з 64 платформ класу CS-2 із сумарною продуктивністю 4 Ексафлопс (1 Ексафлопс дорівнює мільярду мільярдів операцій на секунду, — ред.).
Суперкомп'ютер на базі декількох систем CG-3 із сукупною продуктивністю 8 Ексафлопс буде створено найближчим часом.
Обчислювальна система CS-3 може включати максимум 2048 прискорювачів, загальна продуктивність яких становитиме 256 Ексафлопс. Такий суперкомп'ютер зможе навчити нейромережу Llama 70B компанії Meta всього за 24 години.
Джерело: focus.ua