YouTube 在国内是个404网站,需要翻墙得见,这是有用的废话,先铺垫一下。
从全球网站来看,它仅次于母公司 Google,全球排名位列第2。每天超过5亿以上视频播放量,平均每个用户点击10-15个视频。
就是这样一个巨大型网站,却只有很少的人在维护网站,保证其可用性和可伸缩性。
是什么原因呢?肯定不是Google舍不得花钱建团队,也不能只靠人品,但也不能靠寂寞。
那么到底是什么呢?接下来我们就来了解 YouTube的基础技术架构。
-
Apache
-
Python
-
Linux(SuSe)
-
MySQL
-
psyco,一个动态的Python到C的编译器
-
lighttpd代替Apache做视频播放
-
1,早期
-
使用MySQL来存储元数据,如用户,标签(tags)和视频文字介绍、评论信息
-
使用一个RAID 10的磁盘阵列来存储数据
-
YouTube经过一个常见系统的架构演进:
从单服务器开始,然后单master和多read slave,接着做数据库partition分区,然后再hash sharding方式
-
备份慢的痛苦。master数据库是多线程的并且运行在一个大型机上,可以处理许多工作;slave是单线程的且运行在小一些的服务器上,备份是异步的,所以slave会远远慢于master主机
-
更新引起缓存失效,硬盘的I/O缓慢导致备份迟延
-
使用备份架构花费不少钱来增加写的性能
-
YouTube解决方案把数据分成两个集群来将传输分出优先次序:一个视频查看的数据库集群,另一个是处理其它业务的集群。
2,后期
-
数据库分区
分成shardings,不同的用户被分发到不同的sharding
-
扩散读写
-
更好的缓存位置意味着更少的I/O
硬件设备减少30%
-
备份延迟降低到0
-
到现在,可以任意提升数据库的伸缩性
-