[Китай, Шеньчжень, 14 липня 2023 р.] Сьогодні Huawei представила своє нове рішення для зберігання штучного інтелекту для епохи великомасштабних моделей, забезпечуючи оптимальні рішення для зберігання базових моделей, навчання для галузевих моделей і висновків у сегментованих сценаріях, таким чином. відкриваючи нові можливості ШІ.
При розробці та впровадженні великомасштабних модельних додатків підприємства стикаються з чотирма основними проблемами:
По-перше, час, необхідний для підготовки даних, великий, джерела даних розкидані, а агрегація відбувається повільно, займаючи близько 10 днів для попередньої обробки сотень терабайт даних. По-друге, для мультимодальних великих моделей із масивними наборами даних тексту та зображень поточна швидкість завантаження великих малих файлів становить менше 100 МБ/с, що призводить до низької ефективності завантаження навчального набору. По-третє, часте коригування параметрів для великих моделей, а також нестабільні навчальні платформи призводять до перерв у навчанні приблизно кожні 2 дні, що змушує механізм Checkpoint відновлювати навчання, а відновлення займає більше дня. Нарешті, високі порогові значення впровадження для великих моделей, складне налаштування системи, проблеми з плануванням ресурсів і використання ресурсів GPU часто нижче 40%.
Huawei слідує тенденції розвитку ШІ в епоху великомасштабних моделей, пропонуючи рішення, адаптовані для різних галузей і сценаріїв. Він представляє OceanStor A310 Deep Learning Data Lake Storage та FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage націлений як на базові сценарії, так і на галузеві сценарії великих модельних озер даних, забезпечуючи комплексне керування даними AI від агрегації даних, попередньої обробки до навчання моделі та додатків висновку. OceanStor A310 в одній стійці 5U підтримує провідну в галузі пропускну здатність 400 ГБ/с і до 12 мільйонів операцій вводу-виводу в секунду з лінійною масштабованістю до 4096 вузлів, що забезпечує безперебійний міжпротокольний зв’язок. Глобальна файлова система (GFS) сприяє інтелектуальному переплетенню даних між регіонами, оптимізуючи процеси агрегації даних. Обчислення, близькі до сховища, реалізують попередню обробку даних, зменшуючи рух даних і підвищуючи ефективність попередньої обробки на 30%.
Суперконвергентний пристрій для навчання/виведення FusionCube A3000, розроблений для сценаріїв навчання/виводу великих моделей промислового рівня, обслуговує додатки, що включають моделі з мільярдами параметрів. Він інтегрує високопродуктивні вузли зберігання OceanStor A300, вузли навчання/виводу, комутаційне обладнання, програмне забезпечення платформи штучного інтелекту, а також програмне забезпечення для управління й експлуатації, забезпечуючи великим партнерам модельного ряду досвід розгортання за принципом «підключи і працюй» для доставки в єдиному місці. Готовий до використання, його можна розгорнути протягом 2 годин. І вузли навчання/виведення, і вузли зберігання можуть бути незалежно та горизонтально розширені відповідно до різноманітних вимог масштабу моделі. Водночас у FusionCube A3000 використовуються високопродуктивні контейнери, які дозволяють виконувати декілька завдань навчання моделей і логічних висновків для спільного використання графічних процесорів, збільшуючи використання ресурсів з 40% до понад 70%. FusionCube A3000 підтримує дві гнучкі бізнес-моделі: Huawei Ascend One-Stop Solution і стороннє партнерське універсальне рішення з відкритими обчисленнями, мережами та програмним забезпеченням платформи AI.
Чжоу Юефен, президент лінійки продуктів для зберігання даних Huawei, заявив: «В епоху великомасштабних моделей дані визначають висоту інтелекту ШІ. Як носій даних, сховище даних стає ключовою базовою інфраструктурою для великомасштабних моделей ШІ. Huawei Data Storage продовжуватиме впроваджувати інновації, надаючи різноманітні рішення та продукти для ери великих моделей штучного інтелекту, співпрацюючи з партнерами для розширення можливостей штучного інтелекту в багатьох галузях».
Час публікації: 01 серпня 2023 р
