信创产业网首页管理商铺欢迎访问信创产业网厂商-北京东方国信科技股份有限公司
CirroData六款产品亮相2021中国数据库技术大会
2021-10-26

10月18日-20日,由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第十二届中国数据库技术大会(DTCC2021)在北京国际会议中心隆重召开。东方国信CirroData六款数据库产品亮相展会,CirroData分布式数据库研发中心高级系统架构师董山受邀参会,在大会发表题为《CirroData数据库发展方向及工程实践》的主题演讲,充分展示了东方国信作为中国大数据技术龙头企业的技术实力,并与现场听众进行热烈交流讨论。

董山结合东方国信CirroData分布式数据库的技术发展历程讨论了国产数据库行业的发展及现状;介绍了CirroData “放眼世界,自主创新“ 的发展战略和坚持国产化的创新技术路线;以“具有中国特色的数仓”为思路详细展示了CirroData六款分布式数据库产品;最后向现场听众描绘了CirroData “多维数仓+湖仓一体“ 的产业蓝图。

以下为大会报告的详细摘要:

今天在中国数据库大会这里,结合东方国信CirroData数据库的工程实践,同大家一起探讨中国数据库的建设和发展。

主要分为三个部分:

(1)数据架构变革:结合我们数据库的研发和实践,探讨中国数据库的系统发展方向和技术发展方向;

(2)工程实践:结合我们的典型案例,谈谈如何把中国的数据库做出有中国特色的解决方案;

(3)未来展望:展望一下数据库的未来

东方国信公司作为一家成立了二十多年的上市公司,在这二十多年中,我们一直专注在一个领域,即经营分析或者称为数据仓库领域。

在这二十多年中,有很多公司做过类似的事情,但是我们形成了自己的特点:既有自己的技术产品,也提供自己的工程服务,即“技术产品+工程服务”的特色战略,这也是东方国信公司之所以能够在众多的公司当中脱颖而出的一个很重要的因素。

二十年前,我们很多人一起经历了Internet浪潮,在那个浪潮里,成就了很多当年的互联网公司。我们公司也在Internet浪潮中发展壮大,同时也对下一个技术浪潮进行了战略上的思考和预研。我们认为:下一个技术浪潮将是万物互联,在这个大浪潮里面,会有几个分支,比如说工业互联网、5G,以及大数据、云计算、人工智能。这些分支会汇聚成一个万物互联的大浪潮。因此,东方国信在这几个技术方向都有投入,都有自己研发的产品。对应这五个主流技术分支的产品我们称为五朵金花,这五朵金花需要有一个根基,这个根基就是接下来要讲的CirroData数据库。只有把底层数据库做好了,底层的有价值的数据资产才能真正发挥作用,五朵金花的基础架构才牢固,才能枝繁叶茂发展起来。

因此,同在座的各位一样,数据库工作,实际是在做一个至关重要的基础架构层软件,无论上层是什么样的应用,都需要底层的数据资产赋予生命,所以是非常有意义的工作。

研究理论和历史就可以知道:没有什么是全新的,事物的发展是渐进的。所以,一直以来,我们采用的是“放眼世界,自主创新”的数据库研发策略。在计算技术框架方面,借鉴了Google的“三架马车”学术论文中的分布式计算思想;在存储技术框架方面,借鉴了Google的“新三架马车”学术论文中的分布式存储思想;在数据库技术方面,借鉴了当时学术界主流的ColumnStore的列式数据库思想。

更重要的是,我们不只是简单地借鉴国际的先进技术思想,更着眼于做自己的技术创新,包括:弹性计算、动态分布、资源个性化、元数据全局化等自主创新的技术,使得CirroData的先进数据库原型得以诞生,并不断演进创新。

通过多年的工程实践,在逐步完善CirroData数据库产品的同时,我们逐步理清了符合中国特色的数仓的六个发展方向:

基于分布式数据库引擎的分布式数仓:数仓架构经历了集中式架构、MPP架构,直到现在发展到分布式架构。CirroData数据库遵循分布式中的墨菲定律、CAP原理等,运用数据位置感知、全局冗余策略、MVCC等技术,实现了分布式系统高效、一致、可靠工作。

基于跨域大数据组件的跨域数仓:东方国信一直以来立足于中国做项目,鉴于中国的特点是幅员辽阔,因此, CirroData数据库开发了具有跨域功能的数据库功能,可以实现跨省份的数据中心无感知(DataCenter Agnostic),使得数据分析可以超越空间的限制。

基于实时数仓组件的实时数仓:传统数仓只能分析T+1的数据,CirroData数据库通过对底层数仓结构的优化,可以完整支撑目前流行的实时数仓系统Lamda架构、Kappa架构、甚至是Omega架构等,可以完成对无界的流数据实时对接,使得数据分析可以超越时间的限制。

基于多数据源跨库组件的数据联邦数仓:互联网中有一个理念:不能重复造轮子,这个理念用到数仓中,就是数据复用或融合数仓。因此,CirroData数据库利用大数据中schema-on-read和schema evolution等“惰性计算”思想,开发了融合多种数据源的功能,使得数据分析可以超越系统的限制。

基于插件模块化设计的可定制数仓:从个性化支撑方面,CirroData数据库通过采用插件式模块化设计,可以允许用户实现可定制数仓,包括:数据引擎可定制、系统资源可定制、数仓工具可定制等;

基于融合型组件的全功能融合型数仓(关系型数据、时序数据、图数据):传统数仓中常常面临One size fits all的窘境,因此,东方国信CirroData数据库研发了一系列的产品:关系型数据库、时序数据库、图数据库。相信随着数仓应用不断发展,多模数仓一定会有广阔的发展空间。

同时,针对当今最前沿的数据分析应用的特点,CirroData数据库研发了多种创新技术,例如:

计算存储分离架构: 实现分布式集群节点灵活搭配,分布式集群性能线性水平扩展;

分布式对等模型:这种模型超越了主从模型的局限性,可以实现无单点瓶颈,高并发、高可用、高可靠性;

全局弹性计算:分布式系统理论中有“计算移动快过数据移动”的金科定律,基于此定律我们进一步建立了精准的数据库代价模型,以便高效优化使用全局资源完成数据库任务;

在线水平线性扩展:就现在计算机硬件发展水平和发展速度来看,水平扩展架构已经取代了传统的垂直扩展架构,而且,CirroData数据库通过计算负载均衡策略和存储数据平衡等策略,完美地做到了在线和线性;

行列混合存储模式:通过计算和存储的高效配合,在发挥“列式存储”的信息熵更低、聚合性能更好的同时,也发挥“行式存储”的随机处理优势,使得CirroData数据库达到了一个更均衡的性能表现;

多租户集群资源规划:CirroData数据库通过资源隔离、资源纵切/横切、任务优先级等手段,保障了在多租户环境下的资源管理粒度和资源运用灵活度。

中国有句古话:“十年磨一剑”,CirroData分布式数据库历经十年研发,凭借先进的技术理念和大规模的工程实践,已经在我国的多个大型项目中成功应用,行业包括通信、金融、政府、公安、能源、智慧城市等多类行业,可以将传统的小时级数仓应用提升到秒级/毫秒级,且运行稳定良好。

典型案例包括:

某通信运营商跨域协同查询案例:在这个案例中,运用CirroData数据中心无感知、透明数据等跨域技术,支撑我们的用户完成了跨地域的疫情精准防控。

某通信运营商实时数仓案例:在这个案例中,通过采用CirroData的实时数仓基础架构组件,结合整体实时数仓系统分层设计,完成了T+0经营分析的支撑。

某通信运营商跨CPU融合计算案例:在这个案例中,CirroData数据库在中国第一个做到了基于国产服务器和x86服务器构建统一数据库,实现了跨CPU融合计算。这不仅可以降低科技系统性风险,也为我国预防“卡脖子”等问题发生,为我国做到“关后门、堵漏洞、防断供”树立了典范样板,这在世界上也是首屈一指的。

某大型商业银行数据分析平台:银行业一直在使用IT中最先进的技术,纵观金融行业的发展史,它也是一部IT技术的发展史。在这个案例中,不但使用了CirroData数据库,还综合使用了我们多种数仓建设思想,包括:在基于传统银行业以结构化数据为主的特点下,运用了数据湖架构中的分区分池的思想,围绕业务分析应用来构建数据集市,同时使用了东方国信的数据编目、数据治理等方面的数据湖支撑工具,构筑了一个可用、可控、未来可发展的数据分析平台。

最后,让我们一起对数据库的未来发展作一下展望:

准确地说,任何事物的未来都是很难确定的,但我们认为,大的方向还是有迹可循的:数仓将沿着拉近现实世界与数据世界距离的方向不断发展。具体来看:在当今的现实世界中,互联网的深度改造,使得社会越来越扁平化、碎片化,节奏也越来越快,对数仓建设提出了一系列挑战,因此,数仓将会从多个维度发展相关技术,来应对这些挑战。不仅Data和User这两个平面的维度,还将从数据规模、种类、数据、准确度、价值,用户自服务、对象,数据编目、治理和展现等多个维度进行深度进化,演进为一个多维+湖仓一体的数仓。

同时,本次作为中国的数据库大会,探讨未来中国特色的信创发展也尤为重要。东方国信CirroData数据库在信创立体生态的建设上,已经取得多项进展,包括:取得十余项国家发明专利,取得华为鲲鹏、飞腾、曙光等中国国产服务器兼容性认证证书,并与统信UOS,银河麒麟,CentOS等国产操作系统完成兼容适配认证,通过中国信通院第十一批“大数据产品能力评测”,通过中国国家工业信息安全发展研究中心的产品质量测试等。

没有完美的产品和方案,只有适合的产品和方案。东方国信通过采用“技术产品+工程服务”的战略 ,致力于为用户提供一个适合的产品和方案,给用户贡献具有真实价值的系统。

©2024 北京东方国信科技股份有限公司 版权所有   技术支持:信创产业网

010-84866666