【DTCC 2011特别报道】4月15-16日,国内数据库领域唯一的年度盛会,由盛拓传媒IT168网站汇集旗下ITPUB、IXPUB以及ChinaUnix中国三大企业级技术社区优势资源主办的2011数据库技术大会在北京举行。
在本届大会的数据库平台创新会场上,来自淘宝网数据库架构师杨传辉为我们带来了关于千亿级海量数据库的经验分享。
▲淘宝网数据库架构师杨传辉
作为国内最知名的网上购物交易平台之一,淘宝网每天都承载着大量的数据库访问和运营需求。这种千亿级规模的海量数据库是需要一套全新的架构和设计来确保其高效性和稳定性的。
在2010年5月,淘宝启动了自主研发的OceanBase数据库架构。根据淘宝工程师的分析,其海量数据库的显著特点之一就是数据量大但修改量小,一亿次修改*100B才等于10G的总修改量。那么,如果想快速的响应,就需要正确的识别未修改数据和新修改的数据。
OceanBase采用RDBMS+云存储,对于动态数据和静态数据均采用了有效的分析处理方式。
OceanBase架构图:
主控服务器RootServer:主+备,数据定位/全局Schema/机器管理…
动态数据服务器UpdateServer:主+备,实时修改(内存+SSD)
静态数据服务器ChunkServer:多台,静态数据存储 (磁盘或SSD)
动态数据不断地被合并到静态ChunkServer中实现分布式存储