ODPS:数据驱动而生的超大规模多场景融合的大数据计算平台

2022-11-09
来源:光明网
分享

11月9日,在2022年世界互联网大会乌镇峰会期间,2022年“世界互联网领先科技成果”发布。ODPS:数据驱动而生的超大规模多场景融合的大数据计算平台项目入选。

ODPS是阿里云自研的一体化大数据计算平台和数据仓库产品,为数字化转型提供多功能、低成本、高性能、稳定、安全、开放和易用的整套产品方案,提供实时离线一体、流批一体、湖仓一体、大数据+AI一体的多场景能力。

据了解,阿里云ODPS技术突破主要在以下三方面:

一是在数据底座的可靠性上,ODPS支撑EB级数据容量,全球化部署的能力能力,达到兼容级别的可靠性和安全性。

二是在智能计算的规模和利用率上,ODPS对计算引擎和存储引擎进行深度优化,基于多基线保障的调度能力和自动化运维能力,实现10万级服务器、十余个数据中心、每天千万级计算任务作业的高性能数据计算。

三是通过一体化架构与丰富的计算引擎支撑关系型数据、非结构化数据、机器智能等一系列场景;创新性地提出了数据湖和数据仓库一体化的架构,为科研创新提供坚实的算力基座。

ODPS拥有全球领先的技术实力,打破过多项世界记录,从2013年单集群突破5000台进行单独并行计算以来,到2017年开始连续6年登顶国际TPCx-BB榜单。目前,最高可支持超过10万台服务器进行并行计算,单日最大数据处理能力达到2.79EB,ODPS同时拥有海内外300多项技术专利。

ODPS已被广泛应用于中国、东南亚、欧洲等市场,在工业、能源、医疗、数字政府、城市治理、科研探索等领域发挥着重要作用。