从AI的流程，我们也看到，训练需要准备大量的数据，数据准备的时间往往大于训练的时间，因此，缩短数据的加载时间，就能够大大缩短整体的时间。焱融追光系列，采用智能数据加载DataLoad技术来解决这个问题。
DataLoad 具体是如何设计的呢？实际上，它的设计和 Tiering 是非常类似的，主要是场景有所不同。实际上 DataLoad 的实现几乎是能完整复用 Tiering（分层） 的实现。
焱融追光的Tiering没有做物理切片。在不做物理切片的情况下，可以直接把 5GB 的数据文件关联到 YRCloudFile，S3 对象和 YRCloudFile 文件很直观地一一对应起来，这天然满足了 DataLoad 功能的用户需求和设计需求。而在做物理切片的情况下，一个 5GB 的对象需要先切成很多小块，然后才能再写回对象存储里。
用户通过 YRCloudFile DataLoad 功能，将 S3 上的数据直接关联为 YRCloudFile 文件系统中的目录和文件，直接满足用户利用 S3 上已知数据的计算需求。
比如用户在 S3 bucket 中已有 100 万个 object，现在要使用 YRCloudFile DataLoad 的话 S3 和文件系统的连接。DataLoad 会自动扫描 S3 bucket，根据 S3 object 的路径，在 YRCloudFile 中创建出对应的目录和文件，然后用户业务就可以像使用本地文件一样，使用这些 DataLoad 关联下来的 S3 数据集。
焱融追光在实现 DataLoad 时，也做了充分的性能考虑。比如 DataLoad 在创建对象和文件的关联时，将其分为不同的阶段，比如扫描 S3 bucket 阶段、创建文件阶段、数据拉取阶段等，每个阶段都支持配置不同的策略，比如扫描 bucket 时，可以通过设置 pattern 去过滤需要的数据。比如在数据拉取时，默认配置为异步地、按需地拉取。
另外，用户在使用 DataLoad 时，除了一开始建立起对象和文件的关联后，用户可能还需要实时感知 S3 bucket 中对象的变化，比如对象的新增和删除等。YRCloudFile DataLoad 实现了订阅机制，并适配了阿里云、腾讯云等各种云产商各异的订阅通知机制，对用户提供一致的订阅功能体验。
最后一点，就是AI存储需要共享存储，而焱融追光软件就是焱融云自研的高性能文件系统YRCloudFile，它不仅支持通用的NFS和SMB访问，而且还有Window和Linux下的私有客户端，给胖客户端提供更好的单客户端性能。还有，现在的AI负载很多已经容器化了，因此CSI的支持也是必须的。焱融追光除了支持CSI标准接口外，还针对容器场景下的运维和监控做了很多增强，让用户使用起来更加方便。
写在后面
从上面的分析我们可以看到，AI存储高速增长，今年就达百亿美金规模。国外的AI存储发展较快，很多都联合NVIDIA推出了AI一体机，但后端的AI存储接口目前也没有超过200G IB。国内厂商虽然在AI一体机有所落后，但在AI存储这块却跟得非常紧，比如焱融科技推出的追光专用AI存储，围绕AI的整个流程进行了设计和优化，不仅在性能上能够充分榨干多个GPU的带宽，而且功能上可以还可以和第三方对象存储配合，兼顾成本和性能，完美解决AI不同阶段对存储的需求。
END
