VAST推出SyncEngine工具解决企业数据分散难题
VASTData开发了一款新的软件工具,用于发现、编目和捕获其他供应商存储和数据管理系统中的文件和对象数据,将其引入VAST的私有AI专用环境中。
VAST表示,SyncEngine是"一个通用数据目录和高性能数据载入解决方案"。它是一个所谓的通用路由器,为文件系统、对象存储以及SharePoint、GoogleDrive和Salesforce等SaaS应用程序提供实时、可搜索的目录。这使得PB到EB级数据集中数十亿甚至数万亿个文件和对象能够被即时发现。
联合创始人JeffDenworth表示:"AI的未来属于那些能够利用所有数据的企业,而不仅仅是那些容易获取的数据。数据分散是企业AI战略的隐形杀手,SyncEngine终结了这个问题时代。"该公司声明:"SyncEngine消除了发现和调动分布式非结构化数据集和企业SaaS平台的摩擦,使组织能够简化其基础设施,更快地从原始数据转向现实世界的AI成果。"
显而易见,如果AI模型或智能体能够访问组织的尽可能多的数据,它们就能为用户请求提供更好的响应。理想情况下,需要有一个全方位的单一数据池,无论是虚拟的还是物理的。VAST希望它是物理的,并存储在其自己的分解式、共享一切的存储系统和软件环境中,现在称为VASTAIOS。这包括VAST的InsightEngine和DataEngine,用于支持AI管道。
该公司现在构建了自己的数据吸尘器,能够发现和摄取存储在竞争对手系统中的数据。它表示,大规模使用AI的最大制约因素"不仅仅是模型复杂性或GPU供应,而是数据本身——分散在过时的文件和对象系统中,被孤立在企业SaaS应用程序内部,对AI管道不可见。"
SyncEngine工具的发现和迁移功能替代了外部和独立的编目和迁移工具,例如来自Datadobi、DataDynamics、Komprise和其他供应商的工具。发现的文件和对象被编目在VAST数据库中,可以在数百万亿级别进行搜索。它表示该目录具有多个命名空间和"深度元数据索引"。
编目的文件和对象可以迁移到VAST数据系统,并与源保持同步。包括双向数据流,意味着VAST系统可以向发现的源系统提供数据。迁移不需要外部提取、转换和加载(ETL)程序或自定义脚本。该功能是内置的,包括数据完整性验证和自动恢复。
VAST系统上的AI管道可以从这种迁移中获得数据供应,数据被分块和向量化用于RAG,并可用于智能体工作流,包括任何基于LangChain的应用程序。
VAST声称SyncEngine提供世界上最快的数据迁移服务,"从摄取到洞察提供破纪录的速度",但没有引用具体数字。它表示,通过横向扩展节点添加,具有无限制的摄取吞吐量,具有网络线速性能。
SyncEngine覆盖哪些目标系统?VAST提到了传统的POSIX和S3兼容源,以及Confluence、MicrosoftSharePoint、GoogleDrive和Salesforce等企业应用程序。
它断言SyncEngine:"取代昂贵的独立工具和复杂的开源选项,通过集成智能大大简化数据编目和迁移。客户受益于统一堆栈,无需额外许可费用,降低复杂性、运营负担和总拥有成本。"
Denworth说:"传统IT创造了孤岛,我们正在拆除它们。无论您的数据是埋藏在本地系统中还是隐藏在SaaS应用程序中,SyncEngine都能使其全部可访问、可见和有价值。我们为客户提供了从数据现在所在位置到AI转型开始位置的直接路径,即在VASTAI操作系统内部。"
SyncEngine免费提供给VAST客户。
Q&A
Q1:VASTSyncEngine是什么工具?
A:VASTSyncEngine是一个通用数据目录和高性能数据载入解决方案,用于发现、编目和捕获其他供应商存储系统中的文件和对象数据,将其引入VAST的AI专用环境中。
Q2:SyncEngine能解决什么问题?
A:SyncEngine主要解决企业数据分散问题,能够发现分散在不同文件系统、对象存储和SaaS应用程序中的数据,使数十亿甚至数万亿个文件和对象能够被即时发现和利用。
Q3:SyncEngine支持哪些数据源?
A:SyncEngine支持传统的POSIX和S3兼容源,以及企业应用程序如Confluence、MicrosoftSharePoint、GoogleDrive和Salesforce等SaaS平台。