东方证券:破解亿级影像数据存储难题 携手杉岩数据加速信创转型
2023-02-23 杉岩数据

案例亮点

基于国产化服务器搭建分布式存储集群,兼容国产化软硬件,满足信创需求。

原有NAS、MinIO、FastDFS第三方开源存储数据平滑迁移至杉岩海量对象存储,保障业务的连续性和高可用。

亿级影像数据高性能读写,无性能瓶颈,保障毫秒级访问。

丰富的协议接口,兼容云平台、备份产品和云数仓等多个重要和一般业务系统。

多站点容灾部署,多个站点之间的数据自动同步,实现数据的异地备份,大大提高了数据的安全性。

客户背景

东方证券股份有限公司(以下简称东方证券)是一家经中国证券监督管理委员会批准设立的综合类证券公司,其总部设在上海,现有员工超7000人、总资产超过3200亿、分支机构达177家,提供证券、期货、资产管理、理财、投行、投资咨询及证券研究等全方位、一站式专业综合金融服务。东方证券于2015年及2016年先后于上海证券交易所、香港联合交易所发行上市,成为行业内第五家A+H股上市券商。

近年来,伴随着互联网金融的兴起和金融科技的发展,证券行业的市场客户和业务量不断激增。业务数据体量的飞速增长在为企业发展提供强大驱动力的同时,也给数据的长期存储、管理与使用带来了更大的挑战,对IT基础设施的性能、敏捷性、可靠性等提出了更高要求。

在机遇和挑战并存的当下,东方证券始终秉承数字化转型、科技与业务双轮驱动融合发展的理念,在管理机制融合、业务场景赋能、技术架构深化等方面持续建设,全面推动数字化转型。

亿级影像文件的存储困扰和升级需求

在互联网业务中,东方证券积累了海量开户录音、录像数据、合同扫描件等文件,需要长期保留并拒绝篡改,这些文件平均大小只有几百KB,但近年来数据增长非常快,文件总数高达亿级。与此同时,业务的多样性和遵循“双录”规范,要求多个系统要能快速调阅影像数据。这对底层存储的性能、可用性、扩展性提出了更高要求。

东方证券当前使用NAS存储和第三方开源存储,在不断增长的海量小文件下,面临容量受限、访问性能下降、数据迁移困难等一系列问题。因此,东方证券对新的存储架构提出以下主要诉求:

信创需求:伴随国家对信息安全的高度重视及信创政策在证券行业的推动,东方证券启动了基于信创环境的信息系统建设,存储架构需要支持国产化服务器、私有云平台等。

存储性能:影像数据量已达数亿级别,预计后续还将随业务发展快速增长。现有的文件存储与开源对象存储在面对海量小文件时,容易出现性能瓶颈,要求新存储高性能、高可靠、高可用。

数据迁移:目前有多套系统需要使用存储系统中的影像数据,且目前NAS存储、FastDFS文件系统和第三方开源存储数据需要切换到新存储,在存储升级更替过程中,要求数据平滑迁移,保证业务的连续性和高可用。

适配上层应用:新存储要支持丰富的协议和接口,以对接云平台、备份产品和云数仓等。

数据安全:实现不同地域的业务系统就近访问以及主数据中心的跨地域容灾,同时对各分支机构数据设计灾备方案,保证整个业务系统的数据安全性。

引入对象存储技术,携手杉岩数据升级IT基础架构

存储作为IT基础架构的底座,关系到各类上层业务系统的安全、稳定、高效运行。因此,东方证券急需找到一个更好的解决方案,以便从根本上解决传统存储面临的难题。基于对杉岩海量对象存储(SandStone MOS)及其在证券行业多个成功案例的了解,东方证券将目光转向了正在蓬勃发展的对象存储技术,并最终选择杉岩数据作为合作厂商,通过引入对象存储技术,开启存储架构升级改造之路。

东方证券基于杉岩海量对象存储建设分布式存储资源池

全栈信创替代,满足信创需求:在国产化服务器上部署杉岩海量对象存储软件,全线产品兼容国产化软硬件,并支持国产化操作系统,满足信创需求。

升级对象存储,性能大提升:替代原有NAS和开源存储,存储容量弹性扩展,同时性能随着节点数量的增加线性增长,保障毫秒级访问,满足海量影像数据长期安全存储需求。

业务快速改造,数据平滑迁移,业务无感知:杉岩数据帮助东方证券顺利地进行业务改造,以支持对象存储S3协议;将原有NAS存储按照CSV信息批量迁移至对象存储,在保证数据一致性的同时大大提高整体迁移效率,并将FastDFS文件系统的数据平滑迁移;搭建临时存储空间,满足业务正式上线前的数据临时存储需求。迁移过程中业务系统零感知。

丰富接口,业务系统快速接入:支持S3、NFS、SMB、FTP、CSI、HDFS等丰富的接口,实现云平台、大数据平台、备份软件等多种业务系统快速接入;可灵活对接SNMP和zabbix等运维监控系统,提高运维效率的同时保证存储系统安全性。

全面安全方案,为业务保驾护航:基于索引日志机制实现了多站点异步复制、总部分支机构汇聚分发,支持多站点智能DNS解析,可通过杉岩SandVision高效实现多站点多集群统一监控管理,彻底解决了传统方案成本高、运维复杂、方案厚重的问题,升级为一套运维便利、架构简洁、高效灵活的非结构化数据保护解决方案。

支撑更多业务系统,加速IT基础架构信创转型

在数字化转型浪潮下,东方证券克服了亿级影像数据的容灾备份难题,采用全新的对象存储来取代传统NAS存储和第三方开源存储,基于国产化服务器搭建了多套存储集群,构建高可靠、高性能、弹性扩展、统一的存储资源池;并实现现网存储数据的平滑迁移,保证数据安全,保障了业务的连续性和高可用,实现业务的快速上线,是一次成功的信创实践。

随着对包含杉岩海量对象存储在内的杉岩大数据智能存储系列产品的使用逐渐深入,东方证券已经充分认识到了对象存储的优势,并逐渐将其应用于更多业务系统,加速IT基础架构升级和信创转型。