Dell AI Data Platform: Инфраструктура хранения данных для современных систем ИИ

Системам ИИ требуются хранилища, способные быстро передавать огромные объемы данных, масштабироваться по мере роста потребностей и обеспечивать эффективный поиск информации приложениями. Dell AI Data Platform решает эти задачи, объединяя механизмы файлового, объектного и параллельного хранения с инструментами поиска, аналитики, обработки данных и оркестрации конвейеров ИИ.

Организации могут выбирать компоненты в зависимости от своих требований и использовать их как интегрированную платформу с официальной поддержкой. Ниже подробно описано, как платформа обрабатывает задачи обучения ИИ, генерации с дополненной выборкой (RAG), агентского поиска и аналитики.

Dell AI Data Platform представляет собой открытый модульный фундамент, обеспечивающий общекорпоративный слой контекста. В его состав входят три механизма хранения (PowerScale, ObjectScale и Lightning File System), а также инструменты поиска, аналитики и оркестрации. Модульная архитектура позволяет внедрять отдельные компоненты или объединять их в масштабную систему хранения.

**Три механизма хранения и их задачи:**

* **Dell PowerScale** — масштабируемый унифицированный доступ к файловым и объектным данным для обучения ИИ, аналитики, логического вывода (inference) и RAG.
* **Dell ObjectScale** — нативное S3-объектное хранилище для массивных коллекций данных: изображений, видео, аудио, документов, чекпоинтов моделей и архивов.
* **Dell Lightning File System** — программно-определяемая параллельная файловая система для высокопроизводительных вычислений (HPC) и рабочих нагрузок ИИ с интенсивным использованием пропускной способности.

Основное различие между PowerScale и ObjectScale заключается в методе доступа: PowerScale предоставляет унифицированный доступ через единое пространство имен, тогда как ObjectScale оптимизирован для нативного S3-хранения и облачных конвейеров.

Механизмы поиска, аналитики и обработки данных позволяют организациям эффективно запрашивать и подготавливать информацию, а инструмент оркестрации автоматизирует весь рабочий процесс — от сбора и обогащения данных до их использования в логическом выводе.

**Оптимизация обучения ИИ и работа с GPU**

Обучение моделей требует перемещения огромных массивов данных из хранилища на GPU. Если скорость передачи недостаточна, GPU простаивают, что ведет к неэффективному использованию дорогостоящих ресурсов. Dell PowerScale минимизирует риск возникновения таких «узких мест», обеспечивая постоянную подпитку данных.

В поддерживаемых конфигурациях PowerScale использует две ключевые технологии:
1. **Nvidia GPUDirect Storage** — обеспечивает прямой путь данных к GPU, минуя основной процессор системы.
2. **NFS через Remote Direct Memory Access (RDMA)** — снижает накладные расходы на обработку при передаче данных по сети.

Система масштабируется линейно: компании могут добавлять узлы для увеличения емкости и производительности без замены всей инфраструктуры.

Модель Dell PowerScale F710 протестирована в эталонных архитектурах Nvidia. Согласно данным Dell, дизайн Nvidia Cloud Partner (NCP) может поддерживать до 16 384 GPU с использованием 168 стоечных единиц (U) оборудования хранения.

**Сертификация и валидация Nvidia для PowerScale F710:**
* **Nvidia-Certified Enterprise Storage:** подтверждает производительность, надежность, безопасность и масштабируемость системы.
* **Сертификация Nvidia Cloud Partner:** подтверждает способность обеспечивать изоляцию и безопасность данных клиентов в облачных средах при стабильном уровне обслуживания.
* **Валидация Nvidia DGX SuperPOD:** подтверждает готовность PowerScale F710 обеспечивать данными вычислительные кластеры для самых сложных моделей ИИ.

В 2024 году PowerScale F710 стал первой системой хранения на базе Ethernet, прошедшей валидацию для использования с Nvidia DGX SuperPOD.

**Поддержка RAG и семантического поиска**

Для реализации задач RAG (Retrieval-Augmented Generation) и поиска Dell использует собственный механизм, разработанный совместно с Elastic. Это позволяет ИИ-приложениям находить актуальную корпоративную информацию в PowerScale и ObjectScale перед генерацией ответа.

Процесс поддерживается следующим инструментарием:
* **Dell Data Search Engine** — поиск неструктурированных данных с помощью ключевых слов, метаданных, семантических и векторных методов.
* **Dell MetadataIQ** — каталогизация метаданных для выявления новых или измененных файлов, что позволяет обновлять только актуальные части данных в конвейерах.
* **Векторный поиск** — поиск информации по смыслу, даже при отсутствии точного совпадения слов в запросе.
* **PowerScale RAG Connector** — передача обновленных данных из MetadataIQ в RAG-фреймворк для поддержания актуальности ответов ИИ.

**Рекомендации по выбору корпоративного хранилища для ИИ**

При подготовке запроса предложений (RFP) рекомендуется потребовать от поставщиков следующие данные:
1. Уровень сертификации, топологию и дату валидации Nvidia.
2. Поддерживаемые пути передачи данных «GPU $\rightarrow$ хранилище».
3. Механику масштабирования емкости и производительности при добавлении узлов.
4. Способ реализации инструментов поиска и извлечения данных одновременно в файловом и объектном хранилищах.

***

**FAQ**

**Что такое Dell AI Data Platform?**
Это открытый модульный фундамент, объединяющий механизмы хранения (PowerScale, ObjectScale, Lightning File System), инструменты обработки данных и оркестрацию для эффективного управления данными в приложениях ИИ.

**Обладает ли PowerScale F710 сертификатами Nvidia?**
Да, система имеет сертификаты Nvidia Cloud Partner, Nvidia-Certified Enterprise Storage и валидацию для конфигураций DGX SuperPOD.

**Является ли PowerScale F710 первой Ethernet-системой для DGX SuperPOD?**
Да, в 2024 году эта модель стала первой системой хранения на базе Ethernet, прошедшей валидацию для Nvidia DGX SuperPOD.

**В чем разница между PowerScale и ObjectScale?**
PowerScale обеспечивает унифицированный файловый и объектный доступ для активных данных, обучения ИИ и RAG. ObjectScale предназначен для нативного S3-хранения массивных наборов данных, артефактов моделей и облачных конвейеров.

**Поддерживает ли Dell RAG и семантический поиск?**
Да, благодаря связке Dell Data Search Engine, MetadataIQ, PowerScale, ObjectScale и PowerScale RAG Connector организациям доступен полный цикл обнаружения, индексации и извлечения корпоративной информации для семантического поиска и RAG.

**Признание Dell:**
Компания Dell Technologies признана лидером в отчете Gartner Magic Quadrant for Enterprise Storage Platforms за 2026 год (опубликован 19 августа 2026 г.).