极客时间:《从 0 开始学架构》:互联网架构模板:“存储层”技术
互联网的标准技术架构如下图所示,该图涵盖了互联网技术公司的大部分技术点
本节聊下“存储层”
SQL
实力雄厚的大公司此时一般都会在 SQL 集群上构建 SQL 存储平台,以对业务透明的形式提供资源分配、数据备份、迁移、容灾、读写分离、分库分表等一系列服务,例如淘宝的 UMP(Unified MySQL Platform)系统。
NoSQL
NoSQL不是No SQL,而是Not Only SQL,即NoSQL是SQL的补充
NoSQL 发展到一定规模后,通常都会在 NoSQL 集群的基础之上再实现统一存储平台,统一存储平台主要实现这几个功能:
- 资源动态按需分配
- 资源自动化管理
- 故障自动化处理
小文件存储
除了关系型的业务数据,互联网行业还有很多用于展示的数据,如淘宝的商品图片、商品描述。
由于互联网行业基本上每个业务都会有大量的小数据,如果每个业务都自己去考虑如何设计海量存储和海量访问,效率自然会低,重复造轮子也会投入浪费,所以自然而然就要将小文件存储做成统一的和业务无关的平台。
淘宝 TFS 的架构:
大文件存储
互联网行业的大文件主要分为两类:一类是业务上的大数据,如,电影网站的电影;另一类是海量的日志数据,如各种访问日志、操作日志等。
Hadoop 的生态圈: