Zilliz推出Loon,一款湖泊原生存储引擎,让一份向量数据服务于所有AI工作负载
跳至内容 新闻档案 经济 能源 石油天然气 可再生能源 电动车 矿业 商品 农业 房地产 抵押贷款 抵押贷款利率 财务 银行 保险 金融科技 加密货币 工作 财富 智能理财 财富管理 投资者 个人财务 家庭财务 退休 税务 高净值 FP评论 执行女性 Puzzmo 新闻通讯 财务时报 商业必备 更多 创新 信息技术 FP500 播客 小企业 生活故事 购物 财务邮报商店 讣告 发布通知 广告 与我们广告 广告解决方案 Postmedia广告管理 Sponsorship请求 分类广告 发布分类广告 工作 个人资料设置 我的订阅 保存的文章 我的优惠 新闻通讯 客户服务 常见问题 新闻 经济 能源 矿业 房地产 财务 工作 财富 投资者 FP评论 执行女性 Puzzmo 新闻通讯 财务时报 商业必备 家庭商业 wire 新闻稿 PMN新闻稿 Zilliz推出Loon,一款湖泊原生存储引擎,让一份向量数据服务于所有AI工作负载 文章作者:您可以在此注册免费保存此文章。或者如果您有账户,请登录。立即订阅以阅读您所在城市和整个加拿大的最新新闻。来自Barbara Shecter、Joe O'Connor、Gabriel Friedman等的独家文章。来自世界领先的全球商业出版物《金融时报》的每日内容。通过一个账户无限在线访问阅读来自Financial Post、National Post和加拿大15个新闻网站的文章。National Post电子报,是纸质版的电子复制品,可以在任何设备上查看、分享和评论。每日拼图,包括《纽约时报》填字游戏。立即订阅以阅读您所在城市和整个加拿大的最新新闻。来自Barbara Shecter、Joe O'Connor、Gabriel Friedman等的独家文章。来自世界领先的全球商业出版物《金融时报》的每日内容。通过一个账户无限在线访问阅读来自Financial Post、National Post和加拿大15个新闻网站的文章。National Post电子报,是纸质版的电子复制品,可以在任何设备上查看、分享和评论。每日拼图,包括《纽约时报》填字游戏。创建账户或登录以继续您的阅读体验。通过一个账户访问来自整个加拿大的文章。分享您的想法并在评论中参与讨论。享受每月额外的文章。从您喜爱的作者获取电子邮件更新。创建账户或登录以继续您的阅读体验。通过一个账户访问来自整个加拿大的文章。分享您的想法并在评论中参与讨论。享受每月额外的文章。从您喜爱的作者获取电子邮件更新 登录或创建账户 加利福尼亚州红木城——Zilliz,一家领先的AI数据基础设施公司和Milvus的创始人,最近宣布了Loon,这个驱动Zilliz Vector Lakebase并在Milvus 3.0中提供的新的存储引擎。Loon是湖泊原生基础,允许单份向量数据同时服务于实时搜索、大规模发现和批处理分析——是Zilliz云从向量数据库演变为人工智能统一数据平台的存储层。Vector Lakebase是建立在一个严格的前提上:一份逻辑的向量数据副本应当服务于每个AI工作负载——生产搜索、发现及批处理分析——而不需要在系统之间复制或移动数据。最难的部分是存储层,因为同一数据集必须同时表现出两种系统的特征:快速的记录级查找用于服务和宽范围扫描用于分析,所有这些都在廉价的对象存储上。同时,它还必须处理不断变化的数据,因为团队在模型改进的过程中重新嵌入、重新标记和重新索引相同的记录。获取最新头条、突发新闻和专栏。注册后,您同意接收来自Postmedia Network Inc.的上述通讯。欢迎电子邮件正在发送。如果您没有看到,请检查您的垃圾邮件文件夹。下一期《头条新闻》将很快出现在您的收件箱中。我们在注册时遇到了问题。请再试一次。为了使这一切成为可能,Loon将向量数据集视为它实际的样子——物理上异质,并建立在三个想法基础上:混合文件格式:每种列以适合自己的格式存储。标量和过滤字段使用Parquet格式以提高扫描效率;稠密和稀疏向量使用开放的Vortex格式,以便在对象存储上进行快速、字节精确的行级读取;原始视频、PDF和图像仍保留在对象存储中,以引用而非复制的方式存入数据库。行ID对齐:分布在不同格式中的列仍然表现为一个逻辑表,因此可以将新的嵌入模型作为自己的列添加,而无需重写已经存储的标题、元数据或向量。版本化清单:单一真实来源定义数据集的当前版本。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡