Mysql基础常考题
-
事务的原理，特性，事务并发控制
-
常用的字段， 含义和区别
-
常用的数据库引擎之间区别
什么是事务？
Transaction：
-
事务是数据库并发控制的基本单位
-
事务可以看作是一系列SQL语句的集合
-
事务必须要么全部执行成功，要么全部执行失败(回滚)
-
转账操作是事务使用的一个常见场景
#Transaction 示例
session.begin()
try:
item1 = session.query(Item).get(1)
item2 = session.query(Item).get(2)
item1.foo = 'bar'
item2.bar = 'foo'
session.commit()
except:
session.rollback()
raise
事务的ACID特性
ACID是事务的四个基本特性
-
原子性(Atomicity)： 一个事务中所有操作全部完成或失败
-
一致性(Consistency)： 事务开始和结束之后数据完整性没有被破坏
-
隔离性(Isolation): 允许多个事务同时对数据库修改和读写
-
持久性(Durability): 事务结束之后，修改是永久的不会丢失
事务的并发控制可能产生哪些问题
如果不对事务进行并发控制，可能会产生四种异常情况
-
幻读(phantom read): 一个事务第二次查出现第一次没有出现的结果
-
非重复读(nonrepeatable read): 一个事务重复读两次得到不同的结果
-
脏读(dirty read): 一个事务读取到另一个事务没有提交的修改
-
丢失修改(lost update): 并发写入造成其中一些修改丢失
四种事务隔离级别
为了解决并发控制异常，定义了4种事务隔离级别
-
读未提交(read uncommitted) 别的事务可以读取到未提交改变
-
读已提交(read committed)： 只能读取已经提交的数据
-
可重复读(repeatable read): 同一个事务先后查询结果一样
Mysql InnoDB 默认实现可重复读级别
- 串行化(Serializable): 事务完全串行化的执行，隔离级别最高，执行效率最低
如何解决高并发场景下的插入重复
高并发场景下， 写入数据库会有数据重复问题
-
使用数据库的唯一索引
-
使用队列异步写入
-
使用redis等实现分布式锁
乐观锁和悲观锁
什么是乐观锁，什么是悲观锁
-
悲观锁是先获取锁再进行操作，一锁二查三更新 select for update
-
乐观锁先修改，更新的时候发现数据已经变了就回滚（check and set）
-
乐观锁一般通过版本号或者时间戳实现
-
需要根据响应速度，冲突频率，重试代价来判断使用那一种
Mysql常用数据类型-字符串(文本)
| CHAR(Length) | length bytes | A fixed-length field from 0 to 255 characters long |
|---|---|---|
| VARCHAR(Length) | **String length + 1 or 2 bytes ** | A variable-length field from 0 to 65535 characters long |
| tinytext | String length + 1 bytes | A string with a maximum length of 255 characters |
| TEXT | String length + 2 bytes | A string with a maximum length of 65535 characters |
Mysql常用数据类型-数值
| TINYINT(Length) | 1 byte | Range of -128 to 127 or 0 to 255 unsigned |
| SMALLINT(Length) | 2 bytes | Range of -32768 to 32767 or 0 to 65535 unsiged |
| MEDIUMINT(Length) | 3 bytes | Range of -8388608 to 8388607 or 0 to 16777215 unsigned |
| INT(Length) | 4 bytes | Range of -2147483648 to 2147483647 or 0 to 4294967295 |
| BIGINT(Length) | 8 bytes | Range of -9223372036854775808 to 9223372036854775807 or 0 to 18446744073709551615 unsigned |
| FLOAT(Length, Decimals) | 4 bytes | A small number with a floating decimal point |
| DOUBLE(Length, Decimals) | 8 bytes | A large number with a floating decimal point |
Mysql常用数据类型-日期和时间
| DATE | 3 bytes | ln the format of YYYY-MM-DD |
|---|---|---|
| DATETIME | 8 bytes | ln the format of YYYY-MM-DD HH:MM:SS |
| TIMESTAMP | 4 bytes | In the format of YYYYMMDDHHMMSS; acceptable range starts in 1970 and ends in the year 2018 |
InnoDB vs MyISAM
两种引擎常见的区别
-
InnoDB支持事务
-
InnoDB支持外键
-
InnoDB支持行锁和表锁 MyISAM只支持表锁
Mysql索引原理及优化常见考题
Mysql索引
-
索引的原理，类型，结构
-
创建索引的注意事项，使用原则
-
如何排查和消除慢查询
什么是索引？
为什么需要索引？
-
索引是数据表中一个或者多个列进行排序的数据结构
-
索引能够大幅提升检索速度
-
创建，更新索引本身也会耗费空间和时间
什么是B-Tree?
查找结构进化史
-
1> 线性查找： 实现简单，太慢
-
2> 二分查找： 有序，简单，要求是有序的，插入特别慢
-
3> HASH： 查询快，占用空间，不太适合存储大规模数据
-
4> 二叉查找树： 插入和查询快(log(n)), 无法存大规模数据，复杂度退化
-
5> 平衡树： 解决bst退化的问题，树是平衡的，节点非常多的时候，依然树高很高
-
6> 多路查找树： 一个父亲多个孩子节点(度) 节点过多 树高不会特别深
-
7> 多路平衡查找树： B-Tree
什么是B-Tree，为什么要使用B-Tree
-
多路平衡查找树(每个节点最多m(m >= 2))个孩子，称为m阶或者度)
-
叶节点具有相同的深度
-
节点中的数据key从左到右是递增的
B+Tree
B+树是B-Tree的变形
-
Mysql实际使用的B+Tree作为索引的数据结构
-
只在叶子节点带有指向记录的指针(为什么？ 可以增加树的度)
-
叶子节点通过指针相连，为什么？实现范围查询
是不是树的度越多越好？
Mysql索引的类型
Mysql创建索引类型
-
普通索引(CREATE INDEX)
-
唯一索引，索引列的值必须唯一(CREATE UNIQUE INDEX)
-
多列索引
-
主键索引(PRIMARY KEY) 一个表只能有一个
-
全文索引(FULLTEXT INDEX), InnoDB不支持
什么时候创建索引？
建表的时候需要根据查询需求来创建索引
-
经常用作查询条件的字段(WHERE条件)
-
经常用作表连接的字段
-
经常出现在order by, group by之后的字段
创建索引有哪些需要注意的？
最佳实践
-
非空字段 NOT NULL， Mysql很难对空值作查询优化
-
建表规范要求索引字段有默认值
-
区分度高， 离散度大，作为索引的字段尽量不要有大量相同值
-
索引的长度不要太长(比较耗费时间)
索引什么时候失效？
记忆口诀：模糊匹配，类型隐转，最左匹配
-
以 % 开头的LIKE语句，模糊搜索
-
出现隐式类型转换(在py这种动态语言查询中需要注意)
-
没有满足最左前缀原则(为什么是左配)
什么是聚集索引和非聚集索引？
聚集索引和辅助索引
聚焦索引
非聚集和聚集索引的文件存储方式
-
聚集还是非聚集指的是B+Tree叶节点存的是指针还是数据记录
-
MyISAM索引和数据分离，使用的是非聚集索引
-
InnoDB数据文件就是索引文件, 主键索引就是聚集索引
-
辅助索引先找到主键以后再根据主键找到数据
如何排查慢查询
通常缺少索引，索引不合理或者业务代码实现导致
-
slow_query_log_file 开启并且查询慢查询日志
-
通过explain排查索引问题
-
调整数据修改索引，业务代码层限制不合理访问
总结
-
索引的原理
-
B + Tree的结构
-
不同索引的区别
SQL语句编写常考题
考点聚焦
SQL语句以考察各种常用连接为重点
-
内连接(INNER JOIN): 两个表都存在匹配时，才会返回匹配行
-
外连接(LEFT/RIGHT JOIN): 返回一个表的行，即使另一个没有匹配
-
全连接(FULL JOIN): 只要某一表存在匹配就返回
内连接
INNER JOIN
-
将左表和右表能够关联起来的数据连接后返回
-
类似于求两个表的"交集"
- select * from A inner join B on a.id = b.id
示例表
| id | value |
|---|---|
| 1 | ab |
| 2 | a |
| id | value |
|---|---|
| 1 | ab |
| 3 | b |
外连接
外连接包含左连接和右连接
-
左连接返回左表中所有记录，即使右表中没有匹配的记录
-
右连接返回右表中所有记录，即使左表中没有匹配的记录
-
没有匹配的字段会设置成NULL
缓存及Redis常考面试题
缓存的使用场景，Redis的使用，缓存使用的坑
为什么使用缓存？使用场景？
Redis的常用数据类型， 使用方式
缓存使用问题，数据一致性问题，缓存穿透，击穿，雪崩问题
主要讨论内存缓存(Redis/Memchached)
-
解关系数据库(常见的是Mysql)并发访问的压力，热点数据
-
减少响应时间：内存IO速度比磁盘快
-
提升吞吐量：Redis等内存数据库单机就可以支撑很大并发
操作时间对比
| 操作 | 响应时间 |
|---|---|
| 打开一个网站 | 几秒 |
| 在数据库中查询一条记录(有索引) | 十几毫秒 |
| 机械磁盘一次寻址定位 | 4毫秒 |
| 从机械磁盘顺序读取1MB数据 | 2毫秒 |
| 从SSD磁盘顺序读取1MB数据 | 0.3毫秒 |
| 从远程分布式缓存Redis读取一个数据 | 0.5毫秒 |
| 从内存中读取1MB数据 | 十几微秒 |
| Java程序本地方法调用 | 几微秒 |
| 网络传输2KB数据 | 1微秒 |
Redis/Memcached主要区别？
| 对比参数 | Redis | Memcached |
|---|---|---|
| 类型 | 1.支持内存 2.非关系型数据库 | 1.支持内存 2.key-value键值对形式 3.缓存系统 |
| 数据存储类型 | 1.String 2.List 3. Set 4.Hash 5.Sort Set（ZSet） | 1.文本型 2. 二进制类型[新版增加] |
| 查询[操作]类型 | 1.批量操作 2. 事务支持[假的事务] 3.每个类型不同的CRUD | 1.CRUD 2.少量的其它命令 |
| 附加功能 | 1. 发布/订阅模式 2. 主从分区 3. 序列化支持 4.脚本支持[Lua脚本] | 1. 多线程服务支持 |
| 网路IO模型 | 1. 单进程模式 | 1. 多线程，非阻塞IO模式 |
| 事件库 | 自封装简易事件库AeEvent | 贵族血统的LibEvent事件库 |
| 持久化支持 | 1. RDB 2. AOF | 不支持 |
Mysql + Redis就能抗很多业务
请简述Redis常用数据类型和使用场景？
考察对Redis使用的掌握程度
-
String(字符串)：用来实现简单的KV键值对存储，eg：计数器
-
List(链表)： 实现双向链表，eg：用户的关注，粉丝列表
-
Hash(哈希表)： 用来存储彼此相关的信息的键值对
- HSET key field value
-
Set(集合)： 存储不重复元素，比如用户的关注者
-
Sorted Set(有序集合)： 实时信息排行榜
延伸考点：Redis内置实现
需要了解Redis各种类型的C底层实现方式
-
String： 整数或者sds(Simple Dynamic String)
-
List: ziplist or double linked list
-
ziplist: 通过一个连续的内存块实现list结构，
其中的每个entry节点头部保存前后节点长度信息，实现双向链表功能
-
Hash： ziplist or hashtable
-
set： inset or hashtable
-
SortedSet： skiplist 跳跃表
reference book
Redis 设计与实现
这些数据结构操作的时间和空间复杂度？
Redis实现的跳跃表示什么结构？
- Sorted Set为了简化实现，使用skiplist而不是平衡树实现？
Redis有哪些持久化方式？
Redis支持两种方式实现持久化
-
快照方式：把数据快照放在磁盘二进制文件中，dump.rdb
快照的实现方式是指定时间间隔把Redis数据库状态保存到一个压缩的二进制文件中
- AOF(Append Only File): 每一个写命令追加到appendonly.aof中 可以通过修改redis配置实现
什么是Redis事务？
和mysql的事务有什么不同？
-
将多个请求打包，一次性，按序执行多个命令的机制
-
Redis通过MULTI， EXEC, WATCH等命令实现事务功能
-
Python redis-py pipeline=conn.pipeline(transaction=True)
Redis如何实现分布式锁？
-
使用setnx实现加锁，可以同时通过expire添加超时时间
-
锁的value值可以使用一个随机的uuid或者特定的命名
-
释放锁的时候，通过uuid判断是否是该锁，是则执行delete释放锁
使用缓存的模式？
-
Cache Aside：同时更新缓存和数据库
-
Read/Write Through： 先更新缓存，缓存负责同步更新数据库
-
Write Behind Caching：先更新缓存，缓存定期异步更新数据库一致性问题
如何解决缓存穿透问题？
大量查询不到的数据的请求落到后端数据库，数据库压力增大
由于大量缓存查不到就去数据库取，数据库也没有要查的数据
- 解决：对于没查到返回为None的数据也缓存, 插入数据的时候删除相应缓存，或者设置较短的超时时间
如何解决缓存击穿问题？
某些非常热点的数据key过期，大量请求打到后端数据库
热点数据key 失效导致大量请求打到数据库增加数据库压力
-
分布式锁：获取锁的线程从数据库拉数据更新缓存，其它线程等待
-
异步后台更新：后台任务对过期的key自动刷新
如何解决缓存雪崩问题？
缓存不可用或者大量缓存key同时失效，大量请求直接打到数据库
-
多级缓存：不同级别的key设置不同的超时时间
-
随机超时：key的超时时间随机设置，防止同时超时
-
架构层： 提升系统可用性，监控，报警完善
Mysql与Redis思考题？
索引的理解
为什么Mysql数据库的主键使用自增的整数比较好？
使用uuid可以吗？为什么？
如果是分布式系统下怎么生成数据库的自增id呢？
Redis应用-分布式锁
redis的应用之一：实现分布式锁
思考题：
请基于redis编写代码实现一个简单的分布式锁
要求：支持超时时间参数
扩展：如果redis单个节点宕机，如何处理？还有其它方案实现分布式锁？