【IT168 评论】一年一度“中国系统架构师大会(SACC)”如期召开,主办方IT168网站,集合ChinaUnix和ITPUB社区的专家顾问团将为千位技术达人奉献3天的技术盛宴。2013中国系统架构师大会将围绕“云架构、IT基础架构优化、大数据下的IT架构变迁”三个热点话题展开,首日的主会场已经结束,现场除了火爆以外,我们看到了更多亮点和精华内容。
在网络架构与优化专场由安居客集团技术总监匡萃彪主持,本场技术分享将由来自新浪系统架构师郝光普、快网CEO刘再德、TCPCOPY开源工具开发者王斌、赶集网运维平台开发经理崔华共同分享网络架构与优化之道。
庶民的视频后台架构变迁
首先登台分享的是来自新浪系统架构师郝光普,郝光普表示,“我们团队属于大门户下小作坊里的”高科技“,团队最多时13人,支撑起了视频、共享资料、乐库、电子杂志等业务,本次分享包括三个方面,其一是CDN发展历程、其二直播系统发展、其三存储系统发展。
在新浪视频系统里面最初上线的是播客系统,随着不断的发展,也出现了一些问题,后来根据团队的不断优化,将CDN资源分配为热点资源和非热点资源,并通过修改调度方法,将数据中心、播放接口、用户及其SQUID进行优化,效果很明显,郝光普最后表示,”我们最后升级了硬件服务器,CDN效果得到了进一步提升,因此系统优化是一方面,同时硬件设备升级也是很重要。“
在新浪上线的第一代直播系统是FMS,在使用一段时间后,进行了相关优化,将RTMP、切片存储、PC用户/iOS用及索引服务进行优化,实现了点播直播混合播放,随后上线了第二代直播系统OVS,本次升级将文件、RTMP、 TS UDP、SDI通过转码系统链接到索引和媒体文件,做到了实时转码,最后通过优化CDN转发给PC用户/iOS用户,同时用户也可以通过索引来播放视频。
在新浪视频存储系统第一代系统是通过FILE分发给分发库、资源库、d0,然后再通过分发接口和播放接口给到播放器,分布式文件系统中,Red Hat GFS虽然具有Data集中存储,MetaData分布的特点,但是不适合数据量大的应用;使用Google GFS、MooseFS、HDFS具有Data分布存储和MetaData集中存储优点,困扰是1、解决MetaData单点方案或复杂或不可靠2、处理百亿级文件出现性能瓶颈3、跨IDC部署难,最终打造了分布式文件系统SSP来存储。