【IT168 专稿】2015年4月16日,第六届中国数据库技术大会(DTCC)开幕,大会云集了国内水平最高的数据架构师、数据库管理和运维工程师、数据库开发工程师、研发总监和IT经理等技术人群,继续秉承分享IT非常好的应用实践的宗旨,围绕传统数据库和大数据两条技术主线,在目前IT技术和管理快速的大背景下,更加深入地探讨数据库技术的现状和未来的发展方向。
本期大会历时3天,在第一天下午的“成就直达号的大数据引擎技术专场”中,来自百度的4位技术专家分别就百度开放云、多媒体数据流业务等话题与参会朋友展开对话。本专场的议题方向是全面解读百度在云、大数据实现上的通用技术,之所以被冠以“成就百度直达号”,是为了与参会者从更直接的从应用角度达成契合,因为直达号本身就是基于百度开放云(BCE)服务生态上的重要服务之一。所以要全面了解百度开放云是什么,就要弄清楚它的前世今生。
百度开放云的前身
基于百度整体技术体系和平台,百度绽放了两朵云,一朵是百度私有云,一朵是百度开放云,从时间上看,一个是哥哥一个是弟弟。百度开放云的许多技术实现就是构建在百度私有云的基础之上。
过往,百度私有云架构支撑了百度社区平台和企业平台的发展,支撑20+用户过亿的产品,同时支撑上百万企业客户的不同业务需求。目前百度私有云技术支撑了百度总计近千PB的容量,而且还在以每日800TB的速度增长,时效性方面峰值实时处理能力达到50GB/S,并对内容(网页、广告、日志、UGC)、类型(文本、图片、视频)、形式(结构化、非结构化数据)的支撑。
百度私有云架构涉及数据中心IDC、基础设施即服务IaaS,平台即服务PaaS、软件即服务SaaS和客户端。百度基础架构部高级技术经理郑建强主要介绍了百度私有云基础架构,即IaaS与IDC方面情况。
数据中心IDC方面,百度私有云建成了数十个IDC,满足近50万服务器大规模集群部署,并构建了遍布全国的CDN分发网络。同时在整机柜、自研万兆交换机与SSD、高温耐腐服务器等方面不断进行创新。
郑建强介绍到,“百度的阳泉云数据中心是目前国内最大非常先进的IDC,总容量达16万台服务器,年均PUE低于1.28,建设了国内互联网行业距离最长、容量最大的阳泉-北京-内蒙自建传输系统,实现单波100G、最大容量16T。国内首次批量部署整机柜,达到日交付1万台的能力,部署效率提升20倍。在数据中心的绿色技术创新上,预制化集装箱在国内互联网公司中首次将PUE值降到1.05,高温&耐腐服务器PUE降低0.1。”
在基础设施即服务IaaS方面,郑建强详细阐述了目前百度在集群操作系统、大规模分布式计算、云存储、云数据库、CDN、负载均衡多个方面的情况。
▲图:百度的集群操作系统架构,通过资源快速调度有效地支撑了百度大规模业务需求。
▲图:大规模分布式计算主要处理百度内部用户数据、财务数据,主要完成高吞吐离线计算平台、大规模机器学习平台、实时流式计算平台三个方面的工作。
▲图:百度在云存储方面的主要进展,主要是在分布式文件系统、分布式表格系统和分布式对象存储系统。
还有,如云数据库涉及到百度交易和广告相关的应用,达到SQL请求量800亿/日,可用性99.999%:CDN技术进展,分层Cache技术及热迁移技术可承载日均2000亿访问,全局负载均衡FlowOS技术实现各CDN节点流量根据质量成本自动调度,以及故障1分钟内自动切换。负载均衡方面支持四、七层的负载均衡,提供单集群160G的接入能力和四层攻击防御能力,业务根据需求自行在平台接口进行配置,操作无人工干预。