技术的分类
- 解决功能性问题:Java、JSP、 RDBMS、Tomcat、HTML、Linux、JDBC、SVN
- 解决扩展性问题:Struts、Spring、SpringMVC、Hibernate、Mybatis
- 解决性能问题:NoSQL、Java-Thread、Hadoop、Nginx、MQ、 ElasticSearch
Web1.0 的时代,数据访问量很有限,用一夫当关的高性能的单点服务器可以解决大部分问题。
随着 Web2.0 的时代的到来,用户访问量大幅度提升,同时产生了大量的用户数据。加上后来的智能移动设备的普及,所有的互联网平台都面临了巨大的性能挑战。
解决 Session 的存储问题
思考:Session 共享问题如何解决?
- 存在 Cookie 中:此种方案需要将 Session 数据以 Cookie 的形式存在客户端,不安全,网络负担效率低
- 存在文件服务器或者是数据库里:此种方案会导致大量的 IO 操作,效率低
- Session 复制:此种方案会导致每个服务器之间必须将 Session 广播到集群内的每个节点,Session 数据会冗余,节点越多浪费越大,存在广播风暴问题
- 存在 Redis 中:目前来看,此种方案是最好的。将 Session 数据存在内存中,每台服务器都从内存中读取数据,速度快,结构还相对简单
解决 IO 压力
将活跃的数据缓存到 Redis 中,客户端的请求先打到缓存中来获取对应的数据,如果能获取到,直接返回,不需要从 MySQL 中读取。如果缓存中没有,再从 MySQL 数据库中读取数据,将读取的数据返回并存一份到 Redis 中,方便下次读取。
【扩展】对于持久化的数据库来说,单个库单个表存在性能瓶颈,因此会通过水平切分、垂直切分、读取分离等技术提升性能,此种解决方案会破坏一定的业务逻辑,但是可以换取更高的性能。
NoSQL 数据库简介
概述
- NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”,泛指非关系型的数据库
- NoSQL 不依赖业务逻辑方式存储,而以简单的 key-value 模式存储。因此大大的增加了数据库的扩展能力
- 不遵循 SQL 标准
- 不支持 ACID
- 远超于 SQL 的性能
适用场景
- 对数据高并发的读写
- 海量数据的读写
- 对数据高可扩展性的
用不着 SQL 的和用了 SQL 也不行的情况,请考虑用 NoSQL。
NoSQL 不适用场景:
- 需要事务支持
- 基于 SQL 的结构化查询存储,处理复杂的关系,需要即席查询(条件查询)
常见缓存数据库
- Memcached
- 很早出现的 NoSQL 数据库
- 数据都在内存中,一般不持久化
- 支持简单的 key-value 模式
- 一般是作为缓存数据库辅助持久化的数据库
- Redis
- 几乎覆盖了 Memcached 的绝大部分功能
- 数据都在内存中,支持持久化,主要用作备份恢复
- 除了支持简单的 key-value 模式,还支持多种数据结构的存储,比如 list、set、hash、zset 等
- 一般是作为缓存数据库辅助持久化的数据库
- MongoDB
- 高性能、开源、模式自由(schema free) 的文档型数据库
- 数据都在内存中, 如果内存不足,MongoDB(环形队列)支持先进先出
- 虽然是 key-value 模式,但是对 value(尤其是 Json) 提供把不常用的数据保存到硬盘了丰富的查询功能
- 支持二进制数据及大型对象
- 可以根据数据的特点替代 RDBMS,成为独立的数据库;或者配合 RDBMS
- 实例
- HBase
- HBase 是 Hadoop 项目中的数据库。它用于需要对大量的数据进行随机、实时的读写操作的场景中
- HBase 的目标就是处理数据量非常庞大的表,可以用普通的计算机处理超过10亿行数据,还可处理有数百万列元素的数据表
- Cassandra
- Apache Cassandra 是一款免费的开源 NoSQL 数据库,其设计目的在于管理由大量商用服务器构建起来的庞大集群上的海量数据集(数据量通常达到 PB 级别)
- 在众多显著特性当中,Cassandra最为卓越的长处是对写入及读取操作进行规模调整,而且其不强调主集群的设计思路能够以相对直观的方式简化各集群的创建与扩展流程
- Neo4j:主要应用于社会关系,公共交通网络,地图及网络拓谱