阿里总部对外解密双11超级工程背后的数据库技术

2018-01-22 16:15:00 作者:佚名 出处 : 博客

  2018年1月19日,阿里巴巴数据库事业部联合技术战略部在阿里西溪园区总部,也是双11技术的发源地,举办了一场线下《双11数据库技术峰会》,超过100名企业CTOCIO数据架构师到场参加,现场座无虚席。

图片865.jpg

  阿里巴巴集团数据库技术总负责人、阿里研究员张瑞做了开场分享。张瑞2005年加入阿里,前两天刚刚满13周年,亲历了阿里整个数据库技术的变迁和发展。数据库理论在上世纪70年代被提出,Oracle抓住了机会,推出了基于磁盘设计的数据库。后来,Flash技术成熟、PC上CPU能力增强,在这两个背后推手下,阿里完成了去IOE的数据库架构升级。随着互联网技术快速发展,分布式大数据也开始冲击着传统的关系型数据库。一直以来,双11是阿里技术的助推剂,阿里通过分布式数据库中间件扩展已经能较好地支持双十一活动,这个背景下,从2016年阿里巴巴开始思考需要的下一代的数据库到底是什么?一个是已经成熟的分布式架构,一个是今天与结合的很紧密的存储计算分离技术。双11极端的压力下还要优化成本,希望用原来1/10的成本把性能再提升10倍,今天新的硬件也在快速发展,包括内存、FPGA、更高效的网络等等。站在当下看未来,数据库现在又到了技术的最前沿,各种技术百花齐放。最后,张瑞表示,希望和在座的各位一起来探索未来十年数据库的改变与突破。

图片866.jpg

图片867.jpg

  阿里资深专家佳毅带来双11黑科技分享《数据库优化之路》。他提到,双11数据库面临三大挑战:数据强一致的问题、性能问题、成本问题。今年使用阿里新一代数据库X-DB来应对这些挑战。X-DB底层使用自研高性能Paxos基础组件X-Paxos,借此解决数据强一致的问题。对于性能和成本,底层使用Batching 和Pipelining技术来大大提升数据库的事务处理能力。同时佳毅也分享了通过ESDB、X-KV等技术解决各种复杂的性能问题,通过容器化与存储计算分离让数据库做到极致弹性,最后佳毅分享了阿里巴巴正在通过CloudDBA产品大大降低DBA服务人力成本的问题。

图片868.jpg

  玄惭是云上的数据库性能优化高级专家,同时也是历年双十一RDS的技术保障负责人,他的分享是《云数据库RDS双11最佳实践》。当使用云上的RDS需要支撑类似双11这样的大型活动的时候,玄惭分享了如何从参数优化、链路访问、性能优化、弹性扩容、架构设计,这五个方面去优化数据库,应对高并发的访问。

图片869.jpg

  IoT是当前最热门的技术趋势之一,大量IoT设备产生的时序数据该如何存储?在接下来阿里时序数据库高级专家悠你的分享中,以一个典型的工业IoT案例-风电场为案例,介绍了如何使用云端的高性能时序数据库HiTSDB来存储大量的时序数据存储。同时介绍了HiTSDB在时序数据处理上的主要优势,包括聚合查询、实时响应、海量数据存储等方面的优秀技术成果。

图片870.jpg

  下午的第一场由阿里资深专家斗佛带来《企业数据安全管理最佳实践》。一直以来,由于数据访问的随意,给企业数据带来非常大的泄露风险,甚至也出现过很多次企业的CEO或者CIO为此而被迫辞职的情况发生。硬件损坏、软件bug、内部数据泄露等等都是企业数据安全的挑战。斗佛介绍了阿里巴巴数据安全解决方案如何解决这些问题。同时他透露,对应的阿里云上即将商业化的“数据管理DMS企业版”将把阿里内部的经验赋能给所有云上的用户。

图片871.jpg

  从08年开始,阿里巴巴内部就开始了分库分表技术的探索,10年来,在内部沉淀的分库分表数据库中间件产品叫TDDL,对应的在云上的产品为DRDS。这一次,阿里分布式数据库技术专家梦实给大家带来了全新一代的DRDS引擎,带了数倍的性能提升、更复杂的SQL能力、更具可读性的优化器执行计划等。他还透漏了一个重磅消息,新一代引擎将很快发布,并且在今年会对外完全开源。

图片872.jpg

  阿里OLAP数据库高级专家知数在《分析型数据库AnalyticDB2.0双11实践》中为大家介绍了如何使用实时分析型数据库ADS来解决一些在线OLAP型业务问题。比较典型的场景包括营销管理、推荐、预测、安全风控等。知数以阿里双11内部多个场景为案例,展示ADS在这些业务上的表现。

图片873.jpg

  随着DT时代的到来,企业占有的数据越来越多,其规模可能达到上百TB甚至PB级,如何以合理的成本管理并维护这样一个数据库也成为各个企业IT管理中的核心问题。阿里云数据库高级专家南仙的分享《云数据库HybridDB HTAP技术实践》介绍了如何通过阿里云数据库团队自研的新型HTAP数据库,同时支持OLTP和OLAP场景,它基于创新的计算存储框架,在一份数据上保证事务的同时支持实时分析,省去了费时的ETL过程。

图片874.jpg

  随着企业业务的发展,内部的数据流动会变成一个很大的挑战。阿里数据库架构师西壁带来的《数据实时同步解决方案》介绍双11数据突增时,如何解决阿里内部的数据流动,具体的场景包括异地多活、媒体大屏、缓存更新、实时消息、新零售混合云等。如果是阿里云上的用户,则可以通过数据传输服务DTS来解决类似场景的问题。

图片875.jpg

  在最后的圆桌会议环节,多位阿里数据库技术专家畅谈了自己对双11技术、异地多活、分布式数据库、分库分表技术等的展望,同时也回答多个参会者相关的问题。从全国多个城市赶来的参会嘉宾表示不虚此行,直言这是近几年听到最纯正的技术型会议。

最近更新
科普

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。