建信金科徐宁：分布式存储在金融科技领域的应用探索

中关村互联网金融研究院 2023-03-29

摘要

近日，建设银行建信金科基础技术中心首席存储专家徐宁，在2022分布式存储线上峰会分享了分布式存储技术在金融科技行业的实践，阐述了存储在银行的应用、发展历程和当前状态，并讨论了金融科技部分核心技术对存储的需求、新技术趋势，以及个人对于存储在金融科技领域的一些问题的思考。

在金融科技场景，我们所说的存储的应用场景更加服务于各个技术平台。

在建信金科，我们会提ABCDMIX，可以看到其实这些领域里面大多数领域都是有自己特定的存储的，像AI存储，就会强调海量小文件，区块链存储的话就更加强调它的分散性，云存储的话就更加强调它的通用性弹性。

大数据存储，在当前的情况下很多时候是主HDFS，它会比较强调，数据和存储是在一体的，边缘存储可能就是比较小的盒子，然后比较贴近SENSOR端。

-01-典型的银行应用场景

几个比较细分的场景，一个是MPP DB的场景，我们有一个产品叫龙趺MPP DB，它是我们新一代的云原生的数据仓库产品，它是我们跟HashData还有金山云等其他数据库和存储公司合作产生的一个产品。

它的架构基本上类似于Snowflake，也就是它会以云存储作为最底层的数据存放平台，然后再加上一个计算集群，再加上一个元数据集群，这种架构是在Snowflake出现之前，我们这边就已经采用了一个架构，这种架构的产生是也是由应用和场景驱动的，我们早期在用传统的应用解决方案的时候，我们会发现所有的集群计算和应用都是单体式的，最后形成了一种烟囱式的架构。

这个情况下，不同的应用很多时候是要用到同样的数据的，这个时候数据就要在不同的存储集群之间做复制，我们在实际的使用过程当中发现这种复制后来逐渐占比越来越大，然后工作量甚至已经大到了60%，在这种情况下我们诞生了就是说比较现代化的一个架构，以共享存储为基石，在上面以云计算的弹性计算能力为另外一个基石，根据不同的需求来形成不同规模的计算集群，共享使用存储，通过智能调度的方式服务于应用的一种解决方案——龙趺MPP DB。

我们遇到了什么问题？主要是两个方面，一个是应用很多大量的应用接入，另外以天元为例，每天都要运行十几万的数据加载成大量小文件，这些对缓存和对象存储都造成了很大的压力，在这种情况下需要提升本地缓存系统的使用效率。

另外其实就是这种存储分离的架构，中间采用节点级别的缓存，会导致某个节点出现故障之后，在它重新带起来的时候，它的缓存的填充过程是比较漫长的，缓存加载过程它的性能是会下降的。

另外，能否实现节点间的缓存共享，乃至于集群级别的缓存共享，最大限度地减少缓存加载需求，这个时候就需要我们分布式存储系统来提供一些服务。

-02-对于存储应用在金融科技领域的一些思考

关于个人对于存储在金融科技领域的另外一些思考。现在用云存储为主，主要可能还是单系统海量数据，那就涉及到一个可靠性保障的问题，而金融行业是尤其看重安全可靠的。

举个例子，建行的数据，如果达到几十PB甚至上百PB，如果都放在一个云存储系统里面，这么一个系统如果出问题的话，到时候产生的影响是非常大的。

云存储系统本身的可靠性就非常的重要，云存储庞大的数据量给业务系统带来的保障压力怎么缓解？我们在系统设计的时候就要考虑到这些点，比较老生常谈的，比如说端到端的数据一致性，要避免损坏的数据在系统内部的散播，一种方式是通过及时备份来避免丢失多年的数据，可能丢失个几天一个礼拜这样的数据。

这个时候在这种分布式存储系统里面，我们就需要做到元数据层和数据层的快照的一致性，这样才能够制造出有意义的系统级备份。

作为一个银行或者说金融科技领域的一家公司，在使用对象存储的时候，一般不太会使用公有云，这个时候搭建私有云的时候，对象存储有没有必要区分不同存储的类型？这个时候就有一个不同角度不同视角的问题，对于云存储的研发人员来说，这似乎是个应用层的选择，应用层需要高频的，就需要低频，需要归档的，就需要能归档的，我们就应该搭建。

但是对于金融科技的应用研发人员来说，它其实是比较难意识到这个问题的，对他来说他看到的就是一个对象存储，然后他看到的可能就是对象存储里面说不定可以会用不同的介质等等，但是没有这种很明确的分类的概念。

这个时候考虑到传统的企业级存储是有自动分层的特性的，比如以前EMC的FAST全自动存储分层，那样的话我们作为金融科技行业存储从业人员，或者服务于金融科技行业的存储产品，是不是应当考虑实现这一类的特性，这时候数据的分层和流动不是传统企业存储性能型存储池和经济型存储池之间，而是在更大的范围内，比如在对象集和对象集群之间，要能够有一种全自动的对业务人员无感知的分层流动。

来源：DOIT传媒

声明：此公号（ID：cnzifi）发布内容和图片的目的在于传播更多信息，版权归原作者所有，不为商业用途，如有侵犯，敬请作者与我们联系。

END

—论坛速递—

2022年7月26日·北京，期待您的参与！