Gitlab与Sonarqube整合-代码提交自动检测

目录

• 概述
• 准备工作
• postgres
• sonarqube
• gitlab
• gitlab-runner
  • Gitlab-runner容器
  • 注册Gitlab-runner
• Sonarqube gitlab integration
  • 使用gitlab进行认证
    • 配置gitlab OAuth
    • 配置sonarqube ALM Integrations
  • 创建sonarqube project
    • 语言包和语言分析规则
    • 创建分析项目
  • Gitlab-ci
• 可能出现的问题
  • gitlab-ci任务运行详情中出现错误
  • sonar-scanner-cli无法连接到sonarqube
  • 缺少语言分析插件
  • 由于编码引起的问题
  • 不想检测某些类型的文件

概述

系统环境与软件版本：

• docker 19.03.6
• docker image: postgres:12
• docker image: sonarqube:8.1-community
• docker image: gitlab/gitlab-ce:latest 实际版本(12.8.1)
• docker image: gitlab/gitlab-runner:latest 实际版本(12.8.0)
• docker image: sonarsource/sonar-scanner-cli:latest

不涉及具体理论，关于各个组件详细理论可以查看官方文档。

实现目标：gitlab中项目的master分支每次合并和提交都会自动运行sonar-scanner检测代码。

实现原理：通过安装启用gitlab-runner，配置项目ci/cd触发指定操作，使sonar-scanner扫描代码到sonarqube server完成代码检测分析操作。

以下所有组件通过docker进行安装：

• postgres
• sonarqube
• gitlab
• gitlab-runner

准备工作

默认bridge网络内的容器无法解析对方容器的host，通过新建一个docker网络，可以简单解决此问题。在创建目录时，有些容器可能内部需要普通用户运行，注意目录权限问题。

# 创建docker network
docker network create project1_net

# 创建各容器所需目录
mkdir -p /data/docker-volume
cd /data/docker-volume
mkdir postgres
mkdir -p sonarqube/{data,extensions,logs}
mkdir -p gitlab/{config,logs,data}
mkdir -p gitlab-runner/config

# sonarqube内部用户uid/gid，否则启动会出现权限问题。容器镜像版本不同可能有差异，具体可看官方文档或docker run --rm -it sonarqube:[TAG] bash进入容器查看所使用目录的属主属组
chown -R 999.999 sonarqube

postgres

启动postgres，并为sonarqube创建一个数据库。sonarqube数据库需要使用字符编码为UTF8，postgres默认创建的则为UTF8，如果你的版本不是，那在创建时需要特别指定。

Note：postgres在本地进行访问时，不需要密码验证，从远端主机访问则是需要的。

# 启动postgres容器
docker run -d --name postgres --net=project1_net 
-e POSTGRES_PASSWORD=pgpasswd 
-v /data/docker-volume/postgres:/var/lib/postgresql/data 
postgres:12

# 创建sonarqube数据库
docker exec -it postgres psql -U postgres
> create database sonarqube;
> l # 列出所有数据库
> q # 退出

sonarqube

创建sonarqube容器，指定使用postgresql数据库，且指定连接至postgres的账号和密码。

sonarqube容器启动时，若出现无法连接数据库问题，则很大程度上是连接到数据库的网络或账号问题，先确认sonarqube容器所在的网络能否连接到postgres这个名称的主机，再确认postgres中是否有sonarqube数据库。

若出现文件权限问题，则按照准备工作章节中的操作确认一遍。

# 启动sonarqube容器
docker run -d --name sonarqube --net=project1_net 
-p 9000:9000 
-e SONAR_JDBC_URL=jdbc:postgresql://postgres/sonarqube 
-e SONAR_JDBC_USERNAME=postgres 
-e SONAR_JDBC_PASSWORD=pgpasswd 
-v /data/docker-volume/sonarqube/data:/opt/sonarqube/data 
-v /data/docker-volume/sonarqube/extensions:/opt/sonarqube/extensions 
-v /data/docker-volume/sonarqube/logs:/opt/sonarqube/logs 
sonarqube:8.1-community

gitlab

gitlab镜像比较大，其中包含了postgres，redis，nginx，gitlab等多个组件，启动、初始化配置等时间也比较长，具体根据机器配置，耐心等待观察日志启动完成即可访问。

docker run -d --name gitlab --net=project1_net 
--hostname gitlab 
-p 443:443 -p 80:80 -p 2222:22 
--restart always 
--volume /data/docker-volume/gitlab/config:/etc/gitlab 
--volume /data/docker-volume/gitlab/logs:/var/log/gitlab 
--volume /data/docker-volume/gitlab/data:/var/opt/gitlab 
gitlab/gitlab-ce:latest

gitlab-runner

gitlab-ci是gitlab的持续集成服务，gitlab-runner用于运行gitlab-ci的任务。

gitlab-runner支持很多种运行任务的方式（称为Executors），目前支持：SSH、Shell、Parallels、VirtualBox、Docker、Docker Machine(auto-scaling)、Kubernetes、Custom。本文选用Docker方式。

参考链接-Gitlab持续集成的各种方式选择参考

参考链接-在Gitlab使用Docker持续集成的方式

Gitlab-runner容器

现在开始创建gitlab-runner容器。

# 启动gitlab-runner容器
docker run -d --name gitlab-runner --net=project1_net 
--restart always 
-v /data/docker-volume/gitlab-runner/config:/etc/gitlab-runner 
-v /var/run/docker.sock:/var/run/docker.sock 
gitlab/gitlab-runner:latest

注册Gitlab-runner

注册gitlab-runner。Admin Area -> Overview -> Runners

docker exec -it gitlab-runner gitlab-runner register -n 
--url GITLAB-REGISTER-URL 
--registration-token GITLAB-REGISTER-TOKEN 
--executor docker 
--description "Docker Runner" 
--docker-image "sonarsource/sonar-scanner-cli:latest" 
--docker-volumes /var/run/docker.sock:/var/run/docker.sock

Sonarqube gitlab integration

使用gitlab进行认证

配置gitlab OAuth

登录Gitlab，地址为Docker宿主机80端口。默认账号为root，密码为初次打开页面时设置的密码。

登录后，如果没有需求，建议先将Continuous Integration and Deployment Auto DevOps关闭。

Admin Area -> Settings -> CI/CD -> Expand -> Default to Auto DevOps pipeline for all projects选项去掉并记得保存

中文语言设置点击个人头像下拉框、Settings、Preferences、Localization。

下面开始设置Gitlab OAuth：

Admin Area -> Applications -> New Application

Name：字面意思

Redirect URI：回调地址。HTTP://SONAR_ADDRES + /oauth2/callback/gitlab；如果版本不同或许可能存在差异，具体可以看官方文档。

Scopes：仅启用委托认证勾选read_user，需要组同步则同时勾选api。

其他选项根据需求勾选。

提交后保存Application ID和Secret。

配置sonarqube ALM Integrations

sonarqube地址为docker宿主机地址+9000端口，默认账号密码为admin。

首先在通用设置中配置好Server base URL，此地址必须和Gitlab Redirect URI（回调地址）的协议+主机域名（或IP）是一致的，或者先在这里配置好之后再去配置或修改Gitlab Redirect URI。

配置 -> 通用配置 -> 通用

Server base URL：sonarqube的公共访问地址。

配置ALM Integrations：

配置 -> 通用配置 -> ALM Integrations -> Gitlab

Enabled：启用。

GitLab URL：Gitlab地址。

Application ID：在Gitlab applications中创建的application id。

Secret：在Gitlab applications中创建的application Secret。

其他选项根据需求勾选。

确认无误后退出账号，点击登录后则会看到使用gitlab登录。

创建sonarqube project

语言包和语言分析规则

安装本地化语言包如以下同样步骤，在应用市场中搜索chinese。

分析语言首先需要安装一个分析语言规则插件。

配置 -> 应用市场（marketplace）-> 搜索项目用到的主要语言并安装

基于网络原因，可能会需要一定时间。安装完如果无法启动，可能是下载的插件包不完整，可以手动下载将插件包放到/data/docker-volume/sonarqube/extensions/plugins目录下重启docker容器即可。

手动下载地址：sonarplugins

创建分析项目

在sonarqube web界面中点击新建项目，输入项目标识（例如：myproject）和显示名称（例如：myproject），创建一个TOKEN、输入TOKEN名称（例如：myproject）后点击创建会生成TOKEN串、保存TOKEN串。

然后配置gitlab-ci。

Gitlab-ci

通过以上配置之后则在Gitlab中能够看到已经有一个注册的Runner。

现在新创建一个项目，创建完成后在Project overview、Details页面中，可以看到有一个CI/CD configuretion选项，点击按钮添加.gitlab-ci.yml文件配置内容：

image:
  name: sonarsource/sonar-scanner-cli:latest
  entrypoint: [""]
variables:
  SONAR_TOKEN: "6d119e3e0798302753b652e06d52d2356ee9001d"  # 在sonarqube中创建项目时生成的TOKEN
  SONAR_HOST_URL: "http://172.16.0.12:9000"
  GIT_DEPTH: 0
sonarqube-check:
  stage: test
  script:
    - sonar-scanner -X -Dsonar.qualitygate.wait=true -Dsonar.projectKey=myproject # sonarqube中项目的标识
  allow_failure: true
  only: # 仅检测master合并请求和master分支代码提交，sonarqube-ce版本只支持分析master分支
    - merge_requests
    - master

之后提交代码至master，在gitlab的项目详情界面、CI/CD选项、Jobs中可以看到以前和现在的任务。

点击任务的Status列中任务状态的passed或failed可以看到任务运行情况以及输出的信息或错误，从而进行调整。

任务运行详情：

任务运行完成之后，则可以在sonarqube中看到代码检测情况：

如果代码有问题，则可以点击项目进行详细查看，进而改正不规范的地方或修复错误。

可能出现的问题

gitlab-ci任务运行详情中出现错误

ERROR: Error during SonarQube Scanner execution
QUALITY GATE STATUS: FAILED - View details on http://xxxx/dashboard?id=myproject

正常错误。代表检测的代码有问题，具体查看sonarqube中的分析报告，然后修改代码，如果代码修改的符合了检测规范、则提交之后会显示检测通过（Passed）。

sonar-scanner-cli无法连接到sonarqube

• 出现类似Caused by: java.net.SocketTimeoutException: connect timed out错误

sonar-scanner-cli无法连接到sonarqube主机或服务，检查服务是否正常、是否有防火墙、等。

• 出现类似Caused by: java.net.UnknownHostException: sonar.ioops.net: Name or service not known错误

sonar-scanner-cli无法无法解析配置的sonarqube的域名地址。可以在gitlab-runner中注册runner时指定--dokcer-dns，此dns需要能够解析sonarqube域名。

docker exec -it gitlab-runner gitlab-runner register -n 
--url GITLAB-REGISTER-URL 
--registration-token GITLAB-REGISTER-TOKEN 
--executor docker 
--description "Docker Runner" 
--docker-image "sonarsource/sonar-scanner-cli:latest" 
--dokcer-dns 172.16.0.253 
--docker-volumes /var/run/docker.sock:/var/run/docker.sock

• 出现类似No route to host(Host unreachable)问题

参考链接页面中搜索跳转至#Networking标题，其中有关于Network的相关说明。

参考链接-Docker Executor

如果以上帮助不能解决你的问题：

1. 尝试在gitlab项目中修改.gitlab-ci.yml文件中sonarqube服务的连接地址为sonarqube容器地址（默认为自动分配的容器地址），即可测试出网络问题。

2. 尝试在gitlab-runen注册时使用--docker-network-mode等参数指定网络。

3. 尝试将gitlab-runner部署到其他Docker主机然后注册（配置sonar-scanner-cli），连接当前主机通过nginx代理暴露或通过docker -p参数暴露的sonarqube服务。

缺少语言分析插件

• 出现类似Caused by: java.lang.ClassNotFoundException: org.sonarsource.analyzer.commons.RuleMetadataLoader错误

下载的语言分析插件包不完整，删除重新下载或前往sonarplugins手动下载。

/data/docker-volume/sonarqube/extensions/plugins为插件目录，删除目录内对应的插件重启docker容器即可。

• 缺少语言分析插件

Unable to load component class org.sonar.scanner.report.MetadataPublisher

该段错误最后已经告知了原因：No quality profiles have been found, you probably don't have any language plugin installed.

安装你要分析的语言插件即可。

由于编码引起的问题

ERROR: Caused by: File [...] can't be indexed twice. Please check that inclusion/exclusion patterns produce disjoint sets for main and test files

此问题可能是由于编码引起。

参数sonar.sourceEncoding：

Encoding of the source files. Ex: UTF-8, MacRoman, Shift_JIS. This property can be replaced by the standard property project.build.sourceEncoding in Maven projects. The list of available encodings depends on your JVM.

默认使用系统编码。

可以在gitlab-ci配置文件中sonar-scanner选项处添加-Dsonar.sourceEncoding=UTF-8，使检测时使用指定编码。

如果指定编码无效，那需要编译sonar-scanner-cli镜像，制作新的容器镜像：

FROM sonarsource/sonar-scanner-cli:latest
ENV LANG C.UTF-8

编译Dockerfile。

docker build -t ioops/sonar-scanner-cli .

接着在gitlab-runner容器中取消之前注册的runner。鉴于我们只注册了一个runner，直接--all-runners参数取消所有注册的runner。

然后重新注册runners注册Gitlab-runner，注意注册的时候记得把image改为刚才编译的镜像（ioops/sonar-scanner-cli）。

docker exec -it gitlab-runner 
gitlab-runner unregister 
--all-runners

然后在gitlab项目中.gitlab-ci.yml配置文件中指定使用刚才编译的镜像。

最后保存提交.gitlab-ci.yml则会解决此问题。

参考链接-参数配置

不想检测某些类型的文件

直接在sonarqube web页面 配置->通用配置->排除 中进行设置。