破局与立新:上海证券的全栈信创数据中台建设之路
文章目录
数字化浪潮奔涌向前,数据成为了驱动金融行业创新与增长的核心引擎。证券业作为金融行业重要分支和资本市场重要枢纽,业务高度依赖实时的数据处理与高并发的交易能力,其信息系统的高效、稳定与安全,不仅关乎机构自身竞争力,更牵系着国家金融安全大局。
在中国,证券业的数字化进程叠加了更为深远的时代背景——信创战略的全面推进。2020 年,“2+8+N”信创战略正式提出,要求信创建设从党、政起步,逐步扩展至金融、电信、电力、交通等 8 大与国计民生息息相关的行业。而金融信创,成为了党、政之后,信创落地应用进展最快的行业。
立足于上海这座国际金融中心城市,秉承“开放、包容、规范、协同”的核心理念,上海证券致力于成为“特色鲜明、区域领先、品牌知名”具有专业特色的财富管理型券商。近年来,上海证券资产规模持续扩大,经营实力不断增强,取得了显著的社会效益和经济效益,为广大客户提供了全方位的金融服务,满足了客户多样化的投资需求。
随着数字化与信创战略的稳步推进,上海证券立于创新前沿,积极投身于技术架构的革新浪潮,并选择与网易数帆携手,推进全栈信创数据中台的建设,实现从系统重建到业务赋能的跨越,为证券业数字化转型提供了可借鉴的最佳实践。

一、基于DataOps理念 构建全栈信创数据中台#
2023 年初,上海证券启动数据中台建设项目。该项目是上海证券数字化转型“五大中心”战略之一数智中心建设的核心内容,也是公司“一基四台”战略落地的重要组成部分,承载着公司战略落地与技术破局的双重使命,是集团的重点项目。
在此之前,上海证券已经基于美国 Cloudera 公司旗下的 CDH 产品构建了大数据平台。随着业务规模扩大和合规重要性提升,原有平台显露出了一定的局限性:
- 信创与安全问题:上海证券是上海证券交易所信创联盟成员,系统建设需充分满足国产化信创战略要求。而原有的大数据平台基于美国 Cloudera 公司旗下 CDH 产品搭建,该产品不在信创目录范围内;
- 维保与成本问题:当时 Cloudera 公司正在升级 CDP 产品,后续不再对 CDH 提供维保,且大数据硬件老化,性能瓶颈明显,导致原有大数据平台的整体升级成本较高;
- 数据服务单一问题:原有平台所提供的数据服务与应用形式较为单一,缺少数据开发、数据治理等工具;使用数据门槛高,缺少自助查询和数据挖掘能力;此外还使用了较多开源的第三方组件,导致管理成本高,问题频发,已经难以适应业务的发展需要。
在这样的背景下,上海证券数据中台建设项目的目标很明确:基于 DataOps 理念,打造一套涵盖数据交换、数据计算、数据调度、数据治理、数据服务一体化的平台,并同时满足信创战略要求。
上海证券结合自身平台现状和未来战略规划,制定了详尽的指标测试体系,围绕平台能力、数据开发与服务、数据治理开发与使用、产品能力、信创能力 5 个维度、206 个技术指标细项,对服务商进行了全面考察和技术测试。
网易数帆凭借集群稳定性和组件对原平台的兼容度等方面的优势脱颖而出。不仅体现了对数帆产品的认可,更是对双方未来深度合作、共同成长的长久信任。
https://sf.163.com/?&channel=yszu_SELF_INFO_m_csdn_shufan
二、海量业务数据无感迁移 AI 应用场景创新激活#
在项目落地过程中,双方项目团队面临着重重挑战,其中两大里程碑节点尤为关键,一是完成数据中台的整体上线,二是完成数据中台的全面迁移和切换。两大难题的跨越,为券商业信创实践积累了宝贵经验。
在数据中台整体上线阶段,上海证券采用了 ARM 架构的全栈数据中台方案,这在上海证券是首次实践,在证券业也是敢为人先、勇于尝试的先行者,自然会面临来自架构适配、性能调优、稳定性保障等多方面的挑战。最终在双方团队的紧密协作下,完成了多轮压力测试和系统优化,实现了平台的稳定运行。
在数据中台全面迁移和切换阶段,涉及到海量历史数据的平滑迁移、数万个批处理任务的重构,以及对现有业务连续性的保障,双方团队通过精细的迁移方案设计和充分的验证测试,不仅高效完成了迁移工作,更实现了业务无感切换,确保了公司各项业务在平台切换期间的正常运转,最大程度降低了技术升级对业务的冲击。
经过一期项目建设,上海证券数据中台取得了显著成果:基于数据中台搭建了数据仓库、报表与分析平台、管理驾驶舱、适当性与资管集市、资讯中心等重点应用,服务于财富管理、资产管理、机构、风险、运营等各个业务部门。
目前平台已存储数据 500T,接入 100 多个核心系统数据,每日完成超 10000 个批量作业运行。
除此之外,双方项目合作价值不仅体现在技术平台的升级换代,更渗透到业务发展的方方面面,甚至催生了超出预期的创新应用。
例如:基于大模型构建融合型数智中台,打造了一批特色应用场景,在资产管理领域,资产应用场景日益丰富,资管规模和投研收益率均将得到稳定提升;在财富管理领域,在新增有效户、净资产、产品销售、营销断点等领域均有稳步提升;在投研领域,基于融合型数智底座的结构化 + 非结构化数据,打造多模态因果融合归因引擎等。
三、共同助力中国金融信创生态行稳致远#
回顾双方合作过程,上海证券对网易数帆团队的专业素养、沟通效率、响应速度和突发问题解决能力等多方面均给予了高度评价。双方在一次次高效协作中建立了深厚的信任,并对未来合作充满期待。
在整个合作过程中,网易数帆团队展现出了极高的专业素养。在沟通效率上,双方团队能够迅速理解对方需求,并在项目推进中保持高效沟通,确保信息准确传递。专业性方面,数帆团队对数据中台建设、数据迁移、应用场景的开发等方面有着深厚理解和丰富经验,这为项目的成功实施提供了坚实保障。在响应速度和突发问题解决能力方面,数帆团队总能迅速响应并提供有效的解决方案,不仅提升项目实施的整体效率,也增强了我们的合作信心。
期待双方在今后能继续保持良好的合作关系,针对某些技术细节能更交流得更深入,在项目进度把控中进一步加强协作。
—— 上海证券金融科技总部
数据中台项目负责人
数字化转型与信创战略的深度融合,正在重塑证券业的未来图景。上海证券以积极创新的探索精神,携手网易数帆成功构建全栈信创数据中台,不仅攻克了平台建设和数据迁移的双重挑战,更实现了从底层架构到业务赋能的全链条革新。这一实践既是企业自身提质增效、迈向智能化运营的关键跨越,也为证券行业提供了可复用的标杆范式。
未来,随着数据要素价值的进一步释放,双方将持续以开放协同的姿态,深耕技术创新,赋能业务场景,助力中国金融信创生态行稳致远,共同为金融服务实体经济、技术护航金融安全写下新的篇章。

原文来自 网易 技术团队,版权归原作者。
正文采集于 ,内容更新以原文为准。