.Net Core服务诊断排查
前言：
近期在项目中出现了几次服务内存资源占用较高的情况，特回顾梳理下排查过程以及对相应问题的排查方法总结。
一、Dump抓取
抓取dump的方式有多种，下面介绍几种常用的：
1. 任务管理器中找到程序进程，右键菜单：创建转存储文件
注意：需要以程序运行的位数运行任务管理器抓取Dump
2. DotNet 全局工具：dotnet-dump；工具可适用于Windows、Linux、macOS平台
a) 安装全局dotnet-dump工具：
dotnet tool install --global dotnet-dump
b) 使用该工具抓取dump:
dotnet-dump collect [-h|--help] [-p|--process-id] [-n|--name] [--type] [-o|--output] [--diag]
-
- -h|--help：显示命令行帮助。
- -p|--process-id <PID>：指定从中收集转储的进程的 ID 号。
- -n|--name <name>：指定从中收集转储的进程的名称。
- --type <Full|Heap|Mini>：指定转储类型，它确定从进程收集的信息的类型。 有三种类型：Full - 最大的转储，包含所有内存（包括模块映像）。Heap - 大型且相对全面的转储，其中包含模块列表、线程列表、所有堆栈、异常信息、句柄信息和除映射图像以外的所有内存。Mini - 小型转储，其中包含模块列表、线程列表、异常信息和所有堆栈。如果未指定，则 Full 为默认类型。
- -o|--output <output_dump_path>：应在其中写入收集的转储的完整路径和文件名。如果未指定：在 Windows 上默认为 .\dump_YYYYMMDD_HHMMSS.dmp ；在 Linux 上默认为 ./core_YYYYMMDD_HHMMSS ；YYYYMMDD 为年/月/日，HHMMSS 为小时/分钟/秒。
- --diag：启用转储收集诊断日志记录。
3、ProcDump抓取Dump工具：自动抓取
命令语法：
procdump.exe [-mm] [-ma] [-mp] [-mc Mask] [-md Callback_DLL] [-mk]
[-n Count]
[-s Seconds]
[-c|-cl CPU_Usage [-u]]
[-m|-ml Commit_Usage]
[-p|-pl Counter_Threshold]
[-h]
[-e [1 [-g] [-b]]]
[-l]
[-t]
[-f Include_Filter, ...]
[-fx Exclude_Filter, ...]
[-o]
[-r [1..5] [-a]]
[-at Timeout]
[-wer]
[-64]
{
{{[-w] Process_Name | Service_Name | PID} [Dump_File | Dump_Folder]}
|
{-x Dump_Folder Image_File [Argument, ...]}
}
参数说明：
| 参数 | 说明 |
|---|---|
| -a | 避免中断。 需要 -r。 如果触发器会导致目标因超出并发转储限制而长时间挂起，将跳过触发器。 |
| -at | 避免超时中断。 在 N 秒时取消触发器的集合。 |
| -b | 将调试断点视为异常 (否则忽略它们) 。 |
| -c | CPU 阈值，用于创建进程的转储。 |
| -cl | CPU 阈值，低于该阈值可创建进程的转储。 |
| -d | 调用指定 DLL 的名为 MiniDumpCallbackRoutine 的小型转储回调例程。 |
| -e | 当进程遇到未经处理异常时编写转储。 包括 1，以在出现第一机会异常时创建转储。 |
| -f | 筛选第一个可能异常。 支持通配符 (*) 。 若要仅显示名称而不进行转储，请使用空白 ("") 筛选器。 |
| -fx | 筛选 (排除) 异常内容和调试日志记录。 支持通配符。 |
| -g | 在托管进程中作为本机调试器运行， (互操作) 。 |
| -h | 如果进程有挂起的窗口， (在至少 5 秒未响应窗口消息时写入) 。 |
| -i | 将 ProcDump 安装为 AeDebug 事后调试器。 仅支持使用 -ma、-mp、-d 和 -r 作为附加选项。 |
| -k | 克隆到 (-r) 或转储收集结束时终止进程 |
| -l | 显示进程的调试日志记录。 |
| -m | 内存提交阈值（以 MB 为单位）用于创建转储。 |
| -ma | 编写包含所有进程内存的转储文件。 默认转储格式仅包含线程和处理信息。 |
| -mc | 编写自定义转储文件。 包括由指定的十六进制MINIDUMP_TYPE掩码 (内存) 。 |
| -md | 编写回调转储文件。 包括由指定 DLL 的名为 MiniDumpCallbackRoutine 的 MiniDumpWriteDump 回调例程定义的内存。 |
| -mk | 同时编写内核转储文件。 包括进程中线程的内核堆栈。 使用克隆 (-r) 时，OS 不支持内核转储 (-mk) 。 使用多个转储大小时，会针对每个转储大小执行内核转储。 |
| -ml | 当内存提交低于指定的 MB 值时触发。 |
| -mm | 使用默认模式编写 (转储) 。 |
| -mp | 使用线程和句柄信息以及所有读/写进程内存编写转储文件。 为了最大程度地减小转储大小，将搜索大于 512MB 的内存区域，如果找到，则排除最大的区域。 内存区域是大小相同的内存分配区域的集合。 删除此内存 (缓存) 将Exchange和SQL Server转储减少 90% 以上。 |
| -n | 退出前要写入的转储数。 |
| -o | 覆盖现有的转储文件。 |
| -p | 超过阈值时，对指定性能计数器触发。 注意：若要在进程有多个实例运行时指定进程计数器，请使用具有以下语法的进程 ID："\Process (< name > _ < pid >) \counter" |
| -pl | 当性能计数器低于指定值时触发。 |
| -r | 使用克隆进行转储。 并发限制是可选的 (默认为 1，最大为 5) 。 警告：高并发值可能会影响系统性能。 - Windows 7：使用反射。 OS 不支持 -e。 - Windows 8.0：使用反射。 OS 不支持 -e。 - Windows 8.1+：使用 PSS。 支持所有触发器类型。 |
| -s | 写入转储之前连续秒 (默认值为 10) 。 |
| -t | 在进程终止时写入转储。 |
| -u | 将 CPU 使用率视为与 -c (一) 。 作为唯一选项，卸载 ProcDump 作为事后调试器。 |
| -w | 等待指定的进程启动（如果该进程未运行）。 |
| -wer | 将 (最大) 排队到Windows 错误报告。 |
| -x | 使用可选参数启动指定的映像。 如果是应用商店应用程序或包，ProcDump 将在下次激活时启动， (激活) 。 |
| -64 | 默认情况下，在 64 位进程上运行时，ProcDump 将捕获 32 位进程的 32 位Windows。 此选项将替代 以创建 64 位转储。 仅用于 WOW64 子系统调试。 |
| -? | 使用 -？ -e 查看示例命令行。 |
示例：
当进程在 5 秒钟内 CPU 使用率超过 50% 时，最多写入 2 个名为"w3wp"的进程的微型转储：
procdump -ma -s 5 -n 2 -c 50 w3wp
二、Dump分析
根据前面几方式得到的Dump文件，下一步就是对Dump进行分析确认问题原因：
1、Windbug Preview 分析：
Windbg Preview 是windows平台上的一款相当强大的调试工具，可以从msdn网站下载得到，最新版本包含在windows sdk中，默认会被安装在C:\Program Files\Debugging Tools for Windows 目录中，可以直接把这个目录打包复制到其它机器上使用。
Windbug常用命令：
-
- !analyze -v 自动分析dump
- kv 查看栈回溯
- .ecxr 显示当前异常上下文
- .cxr 切换异常帧上下文
- .exr 显示异常信息
- .frame 设置当前栈帧
- dv 显示当前栈帧局部变量
- dd 显示内存中的数据
- r 查看寄存器
- lmvm 查看模块详细信息
- r 可以显示系统崩溃时的寄存器，和最后的命令状态
- dd 显示当前内存地址，dd 参数：显示参数处的内存
- u 可以显示反汇编的指令
- kb 显示call stack 内容
2、VS分析Dump：
a) 使用VS打开dump文件：
可以看到该dump的基本信息，接下来设置符号文件：
b) 分析Dump中内存情况：调试托管内存
可以看到当前托管资源中内存占用情况，如果有多个dump还可以对比dump中内存增长变化
查看对象内容：
c) 查看当前运行的进程列表：（设置了符号文件后可以查看当前堆栈信息，以及跳转到代码逻辑）
3、dotnet-dump分析：
分析命令：
dotnet-dump analyze <dump_path> [-h|--help] [-c|--command]
SOS命令支持：
| 命令 | 函数 |
|---|---|
soshelp|help |
显示所有可用命令 |
soshelp|help <command> |
执行指定的命令。 |
exit|quit |
退出交互模式。 |
clrstack <arguments> |
仅提供托管代码的堆栈跟踪。 |
clrthreads <arguments> |
列出正在运行的托管线程。 |
dumpasync <arguments> |
显示有关垃圾回收堆上异步状态机的信息。 |
dumpassembly <arguments> |
显示有关指定地址处程序集的详细信息。 |
dumpclass <arguments> |
显示有关指定地址处的 EEClass 结构的信息。 |
dumpdelegate <arguments> |
显示有关指定地址处的委托的信息。 |
dumpdomain <arguments> |
显示所有 AppDomain 和指定域中的所有程序集的信息。 |
dumpheap <arguments> |
显示有关垃圾回收堆的信息和有关对象的收集统计信息。 |
dumpil <arguments> |
显示与托管方法关联的 Microsoft 中间语言 (MSIL)。 |
dumplog <arguments> |
将内存中压力日志的内容写入到指定文件。 |
dumpmd <arguments> |
显示有关指定地址处的 MethodDesc 结构的信息。 |
dumpmodule <arguments> |
显示有关指定地址处的模块的信息。 |
dumpmt <arguments> |
显示有关指定地址处的 MethodTable 的信息。 |
dumpobj <arguments> |
显示有关位于指定地址处的对象的信息。 |
dso|dumpstackobjects <arguments> |
显示在当前堆栈的边界内找到的所有托管对象。 |
eeheap <arguments> |
显示有关内部运行时数据结构所使用的进程内存的信息。 |
finalizequeue <arguments> |
显示所有已进行终结注册的对象。 |
gcroot <arguments> |
显示有关对指定地址处的对象的引用（或根）的信息。 |
gcwhere <arguments> |
显示传入参数在 GC 堆中的位置。 |
ip2md <arguments> |
显示 JIT 代码中指定地址处的 MethodDesc 结构。 |
histclear <arguments> |
释放由 hist* 命令系列使用的任何资源。 |
histinit <arguments> |
从保存在调试对象中的压力日志初始化 SOS 结构。 |
histobj <arguments> |
显示与 <arguments> 相关的垃圾回收压力日志重定位。 |
histobjfind <arguments> |
显示在指定地址处引用对象的所有日志项。 |
histroot <arguments> |
显示与指定根的提升和重定位相关的信息。 |
lm|modules |
显示进程中的本机模块。 |
name2ee <arguments> |
显示 <argument> 的 MethodTable 和 EEClass 结构。 |
pe|printexception <arguments> |
显示从 Exception 类派生的 <argument> 的任何对象。 |
setsymbolserver <arguments> |
启用符号服务器支持 |
syncblk <arguments> |
显示 SyncBlock 持有者信息。 |
threads|setthread <threadid> |
设置或显示 SOS 命令的当前线程 ID。 |
例如：
dotnet-dump analyze "w3wp (2).DMP"
三、案例：
问题现象：xxx服务请求响应耗时较长，导致业务无法正常开展
排查过程：
1、查看内存情况，Oracle连接数量较大
2、查看线程中都为Oracle连接等待：
3、最终确认请求被卡到了Oracle处理
四、总结
1、在排查服务相关问题时，分析dump方式是最直接的方式；而vs方式分析dump是最直接、方便、简单的方式。
2、通过windbug分析dump是最完整的方式