作为开源分布式数据库的龙头企业,PingCAP致力于前沿技术领域的创新与实践由PingCap建立的企业级分布式关系数据库TiDB已经成为大数据时代数据库集群和云数据库的热门解决方案在华泰证券行知新经济峰会上,平仓科技联合创始人,CTO黄做了主题演讲,分享了新基建背景下数据库的未来方向和核心竞争力
数据库作为最古老的软件类别之一,自计算机诞生以来就一直存在伴随着新基础设施进程的不断加快,只有标准更高,更符合业务需求的数据库才能应对数据处理不断增长的挑战,为新基础设施注入更多动力
基础软件工程师眼中的新基础设施
作为一名工作多年的基础软件工程师,我认为新基建是一个基于信息网络,面向高质量发展需求的基础设施系统网络,高质量发展,基础设施是我解读的三个关键词
为了支撑不断飙升的数据,需要形成一个多小时,多业务,多计算机的大网络,分布式系统必将成为主流
关于高质量的开发,作为基础软件数据库,曾经存在卡脖子现象但伴随着大环境的变化,用户会更加关注能否用更加开放可控的技术来控制风险,保障信息安全所以未来对本地化的需求会越来越高,对产品质量的要求也会很高,所以开源肯定会成为主流
基础设施方面,过去国内IT行业重业务发展,重应用,轻基础设施经过几年的演变,无论是资本市场还是国家建设层面,都将注意力转向了更硬的技术和基础设施,思维逐渐转向了侧重应用和基础设施
业务场景迫使分布式数据库增长
在新基础设施的背景下,需要认识到数据是所有技术架构的中心,做任何系统本质上都是为了存储,使用,转换和提取数据的价值。
数据最重要的落地形式是数据库以前人们提到数据库,总会想到一些庞然大物,比如20世纪70年代的——甲骨文,IBM,DB2,但现在数据库背后的技术架构完全不一样了有点像电动车和汽油车它们看起来都像汽车,但引擎盖下的东西不同分布式数据库是数据库领域的电动车,将逐渐取代传统的关系数据库,成为未来的主流
这不是几个天才程序员的灵感,生成的,而是来自于业务场景即使我们已经建立了一个可以存储一万亿条数据的数据库,如果没有一个能够验证其实际能力的场景,在全世界范围内进行搜索也是没有意义的在今天的中国,这样的应用场景很容易找到Tik Tok,今日头条,自动加速,知乎.这些庞大的互联网公司拥有丰富的大数据量和高并发应用场景,这迫使数据库创新,催生了分布式数据库的诞生和成长
下一代数据库必须是HTAP
下一代数据库必须首先是HTAP数据库过去,事务数据库和分析数据库是分开的事务型数据库支持高并发和强数据一致性,而分析型数据库可以支持复杂的数据分析,但不能支持在线业务,消耗大量存储和计算资源HTAP数据库集成了这两部分,适用于事务性和分析性数据库场景它可以更快地分析最新数据,实现实时业务决策
无限水平扩展能力当数据量超过一台机器的极限时,可以直接由机器自动扩展,这是目前乃至未来这些系统的基础
支持分布式事务。这是一个非常基本的
多数据中心故障自恢复的高可用性当集群变得更大,机器数量增加时,即使机器出现故障,也应该让业务失去意识,系统可以自我修复和治愈
高性能实时分析在这种混合负载下,我们可以在线交易并实时分析,而不会相互影响
我们的分布式通用数据库产品TiDB采用了HTAP数据库模式我们比较了航空公司航班起飞和降落的数据航班起飞和降落时有发生TiDB在数据存储层同时支持副本的银行存储和列表存储,使计算和系统分离在实时事务和同时分析的情况下,该方案的性能比旧数据库好得多
云原生使数据库具有灵活性和弹性
分布式系统不会在笔记本上运行,而应该在具有云原生的数据中心运行,下一代数据库的基础必须是云云使计算资源和服务具有灵活性和弹性,并使计算资源像水,电和煤一样按需可用过去,我们是数据中心的买家做生意的时候,我们需要按照计划购买服务器如果估计错误,会带来资源浪费,但是在云环境下,可以直接从买者变成出租者,用多了租一点,用多了申请一点
那么,数据库应该如何适应云原生环境呢。
首先需要的基本能力是调度能力当底层资源是灵活的或者具有许多不同的能力时,对于数据库来说最重要的是选择这些能力的组合以电商为例,大部分数据可能是冷的,只有一小部分抢购商品的数据是热的该系统应该能够识别和直接申请服务器,创建新的副本,并向外部世界提供服务数据库和软件应该利用云提供的灵活性来重塑自身并结合它们的能力
最重要的能力是平台化未来,公有云不会被一家独大作为数据库开发人员,它需要一套统一的标准来屏蔽每个云供应商的底层环境差异
伴随着数字化转型的加速趋势,云从根本上改变了大家对软件的思考方式未来,数据库系统的所有基础设施都将在云的基础上被重写,把复杂性藏在背后,把简单性留给用户,而简单性明天必然属于数据库