企业级仓库harbor搭建---转

1、Harbor是什么？

Harbor是Vmvare中国团队开发的开源registry仓库，相比docker官方拥有更丰富的权限权利和完善的架构设计，适用大规模docker集群部署提供仓库服务。在企业中很受欢迎，并且还是开源免费的，可接入LDAP进行认证权限管理。

Harbor主要有五大组件：

1. Proxy：Harbor的registry, UI, token等服务，通过一个前置的反向代理统一接收浏览器、Docker客户端的请求，并将请求转发给后端不同的服务。
2. Registry： 负责储存Docker镜像，并处理docker push/pull 命令。由于我们要对用户进行访问控制，即不同用户对Docker image有不同的读写权限，Registry会指向一个token服务，强制用户的每次docker pull/push请求都要携带一个合法的token, Registry会通过公钥对token 进行解密验证。
3. Core services： 这是Harbor的核心功能，主要提供以下三个服务：
   1. UI：提供图形化界面，帮助用户管理registry上的镜像（image）, 并对用户进行授权。
   2. webhook：为了及时获取registry 上image状态变化的情况， 在Registry上配置webhook，把状态变化传递给UI模块。
   3. token 服务：负责根据用户权限给每个docker push/pull命令签发token. Docker 客户端向Regiøstry服务发起的请求,如果不包含token，会被重定向到这里，获得token后再重新向Registry进行请求。
4. Database：为core services提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据
5. Log collector：为了帮助监控Harbor运行，负责收集其他组件的log，供日后进行分析。

　　　　架构如图所示：

　　　　　　

2、搭建Harbor

1、安装docker部分：

1）安装docker的yum源。

wget -O /etc/yum.repos.d/docker-ce.repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

2）安装docker社区版，也就是docker-ce

yum install -y docker-ce

3）配置docker支持http协议

在/etc/docker目录下创建一个文件daomon.json文件，然后输入如下内容：

[root@chaofeng harbor]#cat /etc/docker/daemon.json 
{
    "registry-mirrors": ["https://registry.docker-cn.com"],
    "insecure-registries": ["chaofeng.com"]

}

第一行是下载镜像加速的作用。主要是第二行内容，配置使其支持http协议。

3）启动docker，并设置开机自启动

systemctl start docker
systemctl enable docker

2、安装docker-compose

在这里踩了个坑，Harbor对docker-compose做了个限制，必须要docker-compose的版本是1.6以上才可以使用。此外可能不同的源获取到的docker-compose的写法不太一样，比如1.6.0版本，有的写法是：docker-compose1.6.0，而有的版本是docker-compose1.16.0，那么对于后者的写法来说，在现在这个2019年，你见到的docker-compose版本基本大部分是1.23.0版本以上了，但是并不是说1.23 < 1.6版本，你认为这是docker-compose版本过低，其实并不是这样子。只是他们的写法不同罢了。实际是：1.6.0 < 2.3.0。

1）可以使用yum一键安装：

yum install -y docker-compose

2）也可以使用如下所示的方法来安装：

curl -L https://github.com/docker/compose/releases/download/1.23.2/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

不过对于这种方式来安装，或许你需要授权可执行权限操作

chmod +x /usr/local/bin/docker-compose

3）最后我们验证一下：

[root@chaofeng src]#docker-compose -v
docker-compose version 1.23.2, build 1110ad01

3、安装Harbor部分

1）下载Harbor

下载地址：https://github.com/goharbor/harbor/releases?after=v1.5.4

找到这个：

我现在下载的这个版本都是比较老的版本了，是2018年8月份的。

2）解压等操作

tar -xf harbor.v1.5.2.tar.gz -C /usr/local

3）更改配置文件

#vim harbor.cfg
 
将hostname更改为域名。
hostname = chaofeng.com

其他的操作保持默认即可，如果需要修改密码的可以修改一下密码。

4）（这一步不是必须做的，酌情选择。）当然你也可以安装如下所示的修改的详细一些：

# 这里建议使用https协议,免费的ssl证书在阿里云上很容易就申请到了,因为不用https协议docker那边需要修改配置如果是一两台docker修改倒也无所谓,多的时候就很麻烦了
ui_url_protocol = https
customize_crt = off
ssl_cert = /data/harbor/ssl_cert/reg.xxxxx.com.crt
ssl_cert_key = /data/harbor/ssl_cert/reg.xxxxx.com.key

# 需要注意的是docker-compose必须要安装,及本机上不能监听80,443端口
## 修改所有存储数据目录为/data/harbor,默认harbor所属的组件的数据均存储在/data目录下,很不方便,如果本机部署有其他服务的数据也存储在/data目录的话 管理会很不方便
docker-compose.yml prepare docker-compose.chartmuseum.yml
# 分别打开上述文件搜索data关键字,在每一个/data替换为/data/harbor

5）执行安装，注意，必须在harbor的目录下执行安装install.sh脚本文件。

#bash install.sh
 
[Step 0]: checking installation environment ...
 
Note: docker version: 17.12.1
 
Note: docker-compose version: 1.18.0
 
[Step 1]: loading Harbor images ...
52ef9064d2e4: Loading layer [==================================================>]  135.9MB/135.9MB
4a6862dbadda: Loading layer [==================================================>]  23.25MB/23.25MB
58b7d0c522b2: Loading layer [==================================================>]   24.4MB/24.4MB
9cd4bb748634: Loading layer [==================================================>]  7.168kB/7.168kB
c81302a14908: Loading layer [==================================================>]  10.56MB/10.56MB
7848e9ba72a3: Loading layer [==================================================>]  24.39MB/24.39MB
Loaded image: vmware/harbor-ui:v1.5.1
f1691b5a5198: Loading layer [==================================================>]  73.15MB/73.15MB
a529013c99e4: Loading layer [==================================================>]  3.584kB/3.584kB
d9b4853cff8b: Loading layer [==================================================>]  3.072kB/3.072kB
3d305073979e: Loading layer [==================================================>]  4.096kB/4.096kB
c9e17074f54a: Loading layer [==================================================>]  3.584kB/3.584kB
956055840e30: Loading layer [==================================================>]  9.728kB/9.728kB
Loaded image: vmware/harbor-log:v1.5.1
185db06a02d0: Loading layer [==================================================>]  23.25MB/23.25MB
835213979c70: Loading layer [==================================================>]   20.9MB/20.9MB
f74eeb41c1c9: Loading layer [==================================================>]   20.9MB/20.9MB
Loaded image: vmware/harbor-jobservice:v1.5.1
9bd5c7468774: Loading layer [==================================================>]  23.25MB/23.25MB
5fa6889b9a6d: Loading layer [==================================================>]   2.56kB/2.56kB
bd3ac235b209: Loading layer [==================================================>]   2.56kB/2.56kB
cb5d493833cc: Loading layer [==================================================>]  2.048kB/2.048kB
557669a074de: Loading layer [==================================================>]   22.8MB/22.8MB
f02b4f30a9ac: Loading layer [==================================================>]   22.8MB/22.8MB
Loaded image: vmware/registry-photon:v2.6.2-v1.5.1
5d3b562db23e: Loading layer [==================================================>]  23.25MB/23.25MB
8edca1b0e3b0: Loading layer [==================================================>]  12.16MB/12.16MB
ce5f11ea46c0: Loading layer [==================================================>]   17.3MB/17.3MB
93750d7ec363: Loading layer [==================================================>]  15.87kB/15.87kB
36f81937e80d: Loading layer [==================================================>]  3.072kB/3.072kB
37e5df92b624: Loading layer [==================================================>]  29.46MB/29.46MB
Loaded image: vmware/notary-server-photon:v0.5.1-v1.5.1
0a2f8f90bd3a: Loading layer [==================================================>]  401.3MB/401.3MB
41fca4deb6bf: Loading layer [==================================================>]  9.216kB/9.216kB
f2e28262e760: Loading layer [==================================================>]  9.216kB/9.216kB
68677196e356: Loading layer [==================================================>]   7.68kB/7.68kB
2b006714574e: Loading layer [==================================================>]  1.536kB/1.536kB
Loaded image: vmware/mariadb-photon:v1.5.1
a8c4992c632e: Loading layer [==================================================>]  156.3MB/156.3MB
0f37bf842677: Loading layer [==================================================>]  10.75MB/10.75MB
9f34c0cd38bf: Loading layer [==================================================>]  2.048kB/2.048kB
91ca17ca7e16: Loading layer [==================================================>]  48.13kB/48.13kB
5a7e0da65127: Loading layer [==================================================>]   10.8MB/10.8MB
Loaded image: vmware/clair-photon:v2.0.1-v1.5.1
0e782fe069e7: Loading layer [==================================================>]  23.25MB/23.25MB
67fc1e2f7009: Loading layer [==================================================>]  15.36MB/15.36MB
8db2141aa82c: Loading layer [==================================================>]  15.36MB/15.36MB
Loaded image: vmware/harbor-adminserver:v1.5.1
3f87a34f553c: Loading layer [==================================================>]  4.772MB/4.772MB
Loaded image: vmware/nginx-photon:v1.5.1
Loaded image: vmware/photon:1.0
ad58f3ddcb1b: Loading layer [==================================================>]  10.95MB/10.95MB
9b50f12509bf: Loading layer [==================================================>]   17.3MB/17.3MB
2c21090fd212: Loading layer [==================================================>]  15.87kB/15.87kB
38bec864f23e: Loading layer [==================================================>]  3.072kB/3.072kB
6e81ea7b0fa6: Loading layer [==================================================>]  28.24MB/28.24MB
Loaded image: vmware/notary-signer-photon:v0.5.1-v1.5.1
897a26fa09cb: Loading layer [==================================================>]  95.02MB/95.02MB
16e3a10a21ba: Loading layer [==================================================>]  6.656kB/6.656kB
85ecac164331: Loading layer [==================================================>]  2.048kB/2.048kB
37a2fb188706: Loading layer [==================================================>]   7.68kB/7.68kB
Loaded image: vmware/postgresql-photon:v1.5.1
bed9f52be1d1: Loading layer [==================================================>]  11.78kB/11.78kB
d731f2986f6e: Loading layer [==================================================>]   2.56kB/2.56kB
c3fde9a69f96: Loading layer [==================================================>]  3.072kB/3.072kB
Loaded image: vmware/harbor-db:v1.5.1
7844feb13ef3: Loading layer [==================================================>]  78.68MB/78.68MB
de0fd8aae388: Loading layer [==================================================>]  3.072kB/3.072kB
3f79efb720fd: Loading layer [==================================================>]   59.9kB/59.9kB
1c02f801c2e8: Loading layer [==================================================>]  61.95kB/61.95kB
Loaded image: vmware/redis-photon:v1.5.1
454c81edbd3b: Loading layer [==================================================>]  135.2MB/135.2MB
e99db1275091: Loading layer [==================================================>]  395.4MB/395.4MB
051e4ee23882: Loading layer [==================================================>]  9.216kB/9.216kB
6cca4437b6f6: Loading layer [==================================================>]  9.216kB/9.216kB
1d48fc08c8bc: Loading layer [==================================================>]   7.68kB/7.68kB
0419724fd942: Loading layer [==================================================>]  1.536kB/1.536kB
543c0c1ee18d: Loading layer [==================================================>]  655.2MB/655.2MB
4190aa7e89b8: Loading layer [==================================================>]  103.9kB/103.9kB
Loaded image: vmware/harbor-migrator:v1.5.0
 
 
[Step 2]: preparing environment ...
Generated and saved secret to file: /data/secretkey
Generated configuration file: ./common/config/nginx/nginx.conf
Generated configuration file: ./common/config/adminserver/env
Generated configuration file: ./common/config/ui/env
Generated configuration file: ./common/config/registry/config.yml
Generated configuration file: ./common/config/db/env
Generated configuration file: ./common/config/jobservice/env
Generated configuration file: ./common/config/jobservice/config.yml
Generated configuration file: ./common/config/log/logrotate.conf
Generated configuration file: ./common/config/jobservice/config.yml
Generated configuration file: ./common/config/ui/app.conf
Generated certificate, key file: ./common/config/ui/private_key.pem, cert file: ./common/config/registry/root.crt
The configuration files are ready, please use docker-compose to start the service.
Creating harbor-log ... done
 
[Step 3]: checking existing instance of Harbor ...
 
Creating harbor-adminserver ... done
Creating harbor-ui ... done
Creating network "harbor_harbor" with the default driver
Creating nginx ... done
Creating harbor-adminserver ...
Creating registry ...
Creating harbor-db ...
Creating redis ...
Creating harbor-ui ...
Creating nginx ...
Creating harbor-jobservice ...
 
✔ ----Harbor has been installed and started successfully.----
 
Now you should be able to visit the admin portal at http://192.168.111.5.
For more details, please visit https://github.com/vmware/harbor .

至此，Harbor就算是安装成功了。

 6）查看一下服务

[root@chaofeng data]#docker ps
CONTAINER ID        IMAGE                                  COMMAND                  CREATED             STATUS                 PORTS                                                              NAMES
61aed845023f        vmware/harbor-jobservice:v1.5.2        "/harbor/start.sh"       3 hours ago         Up 3 hours                                                                                harbor-jobservice
b3e4835a56a0        vmware/nginx-photon:v1.5.2             "nginx -g 'daemon of…"   3 hours ago         Up 3 hours (healthy)   0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp   nginx
5d6dcd64148e        vmware/harbor-ui:v1.5.2                "/harbor/start.sh"       3 hours ago         Up 3 hours (healthy)                                                                      harbor-ui
18a2c2e2350d        vmware/harbor-adminserver:v1.5.2       "/harbor/start.sh"       3 hours ago         Up 3 hours (healthy)                                                                      harbor-adminserver
6a35ec058cd7        vmware/registry-photon:v2.6.2-v1.5.2   "/entrypoint.sh serv…"   3 hours ago         Up 3 hours (healthy)   5000/tcp                                                           registry
5a87e0483fc7        vmware/harbor-db:v1.5.2                "/usr/local/bin/dock…"   3 hours ago         Up 3 hours (healthy)   3306/tcp                                                           harbor-db
034a730d3070        vmware/redis-photon:v1.5.2             "docker-entrypoint.s…"   3 hours ago         Up 3 hours             6379/tcp                                                           redis
10d87125e327        vmware/harbor-log:v1.5.2               "/bin/sh -c /usr/loc…"   3 hours ago         Up 3 hours (healthy)   127.0.0.1:1514->10514/tcp                                          harbor-log

7）在浏览器中访问我们的仓库。登录账号密码：admin/Harbor12345

8）创建一个普通账户

9）创建一个项目devops，然后加入上面我们创建的普通账户使其为devops项目的成员

 10）接下来是设置上传镜像的REPOSITORY名字，需要点击查看如下图片的内容：

 

 11）设置标签名字：

12）登录用户chaofeng

[root@chaofeng harbor]#docker login chaofeng.com
Username: chaofeng
Password: 
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

如果这一步报错了，往下看解决方法。

13）上传镜像

[root@chaofeng harbor]#docker push chaofeng.com/devops/busybox:latest
The push refers to repository [chaofeng.com/devops/busybox]
adab5d09ba79: Layer already exists 
latest: digest: sha256:4415a904b1aca178c2450fd54928ab362825e863c0ad5452fd020e92f7a6a47e size: 527

14）在harbor中查看是否上传成功

成功了。

报错总结：

1）在docker login那一步报错，比如：

[root@elk-chaofeng02 harbor]#docker login chaofeng.com
Username: admin
Password: 
Error response from daemon: Get http://chaofeng.com/v2/: dial tcp: lookup chaofeng.com on 192.168.1.1:53: read udp 172.16.0.52:38799->192.168.1.1:53: i/o timeout

这是因为chaofeng.com不能正确解析IP导致的，我们可以在/etc/hosts文件中添加域名ip映射，例如：

2）如果是在push镜像的时候出错了（前提是你要确认好是真的登录成功了，显示"login succeed"，你再看这个问题解决方法），如下所示：

这里的docker.io是一个docker的一个官方仓库，之所以没有上传到我们本地搭建的仓库而是自动寻找dockerhub仓库是因为我们的镜像标签没有做好导致的，URL没有做好，默认是提交到官方的docker仓库中的。我上面的elk-chaofeng02是自己把当作了域名，但是docker却不认这是域名。解决方法就是在harbor目录在的harbor.cfg文件中，将hostname修改为带有.com结尾的域名，多加几个点号就好了。或者你可以参考这个文章所说的来解决：https://blog.csdn.net/qq_39623859/article/details/79752803 。

也有可能是你要上传的那个仓库没有你的权限，那你照样上传不了。

3）如果报错：Error response from daemon: Get https:// 172.16.1.146:5000/v1/_ping: http: server gave HTTP response to HTTPS client。

这是因为docker客户端没有配置免https证书导致的。是docker客户端需要配置。

如果你安装的是docker-ce社区版，那么就在：

如果你直接就是yum一键安装的docker，那么你需要修改启动程序才行，如下：

这是不同版本的docker的不同配置模式，核心是一样的。

4）还有一个需要说明的是：一旦你修改了harbor的配置文件，那么你要使用docker-compose命令将harbor停止了，然后执行install.sh脚本文件进行安装。

5）此外，harbor默认的数据存放目录是在/data目录下，这样子导致的结果就是/data目录下的数据比较混乱，不易于管理。因为我们的/data目录多用于存放数据，最好规格一点。因此我们最好在配置文件中修改harbor存放数据的目录位置，我上面介绍的有，网上看看。

我也参考了三位博主的文章，然后自己亲身测试并做的总结：

私有仓库搭建过程小结：

1,安装docker-compose
rpm -ivh https://dl.fedoraproject.org/pub/epel/7/x86_64/Packages/e/epel-release-7-11.noarch.rpm
yum install docker docker-compose -y

systemctl start docker
systemctl enable docker

2,安装harbor
# 申请ssl证书,在阿里云或腾讯云上申请免费的ssl证书并上传到服务器
# 放置/data/harbor/ssl_cert目录下
mkdir /data/harbor/ssl_cert -pv
ls /data/harbor/ssl_cert/
reg.xxxxx.com.crt  reg.xxxxx.com.key

# 在线安装
下载在线安装包
https://github.com/goharbor/harbor/releases 
在上述链接中下载对应的版本,这里使用的是1.5.2版本的,可自行下载最新版的
wget https://storage.googleapis.com/harbor-releases/harbor-online-installer-v1.5.2.tgz
tar xvf harbor-online-installer-v1.5.2.tgz
cd harbor
vim harbor.cfg
hostname = reg.xxxxx.com
# 这里建议使用https协议,免费的ssl证书在阿里云上很容易就申请到了,因为不用https协议docker那边需要修改配置如果是一两台docker修改倒也无所谓,多的时候就很麻烦了
ui_url_protocol = https
customize_crt = off
ssl_cert = /data/harbor/ssl_cert/reg.xxxxx.com.crt
ssl_cert_key = /data/harbor/ssl_cert/reg.xxxxx.com.key
# 其他的参数根据需要修改
# end

# 需要注意的是docker-compose必须要安装,及本机上不能监听80,443端口
## 修改所有存储数据目录为/data/harbor,默认harbor所属的组件的数据均存储在/data目录下,很不方便,如果本机部署有其他服务的数据也存储在/data目录的话 管理会很不方便
docker-compose.yml prepare docker-compose.chartmuseum.yml
# 分别打开上述文件搜索data关键字,在每一个/data替换为/data/harbor 

# 执行安装脚本
./install.sh
# 直到出现以下信息则表示安装成功
✔ ----Harbor has been installed and started successfully.----

Now you should be able to visit the admin portal at https://reg.xxxxx.com. 
For more details, please visit https://github.com/vmware/harbor .



# 测试
浏览器打开https://reg.xxxxx.com 
默认用户密码为 admin/Harbor12345

# 命令行登录 registry
docker login reg.xxxxx.com

nginx反向代理harbor小结：

应用场景是这样的,假设我们的harbor所部署的主机上运行有其他的http/https协议的服务
而想要两者都兼顾则需要用到反向代理技术,让两者都能够运行在同一台主机上
harbor本身的容器中有运行nginx,修改它的nginx也不太方便,索性就再装一个nginx来做反代
先说下环境,这里的机器上此前运行了nginx用于做http,80/https,443的yum仓库服务,还有apache提供的http,88端口的svn服务
所以这里如果再安装harbor就会有端口冲突,80跟443都会冲突,因为harbor默认监听主机的80跟443所以这里就介绍如何让他们共存
原环境端口监听情况如下:
nginx 80/443 提供的yum仓库服务
apache/svn 88 提供的http的svn访问接口

装上harbor后的端口监听情况
nginx 80/443 提供yum仓库服务(http/https),提供apache/svn的反代(http),提供harbor的反代(https)
apache 88     提供的http的svn访问接口
harbor 8443     提供Registry的pull、push及页面管理(https)
最终目的是 http 80端口对外提供yum,svn服务 https 443端口对外提供yum,跟Registry的pull、push及页面管理

如上环境,首先需要知道的是harbor默认监听80跟443端口 这里需要修改下,由于这里我没有使用http协议提供服务,而是使用的https
所以80端口这里可以将其关闭,而443端口需要修改为8443以免跟nginx冲突

提供https服务的ssl证书建议去阿里云申请免费的ssl证书,如果用自签证书要修改docker的配置,我觉得申请个证书是一劳永逸的事情,你觉得呢?

这里只简单介绍harbor修改端口的配置
nginx反代这些自行思考

1,停止原有的nginx
2,安装配置harbor(端口修改可直接在此步直接修改然后在执行./install.sh)
3,配置nginx反代

# 修改harbor的端口暴露配置,因为我这里使用的https协议提供服务,80端口就不需要了,所以将其注释,如下
# 安装请参考harbor的安装
cd /usr/local/harbor
docker-compose stop
vim docker-compose.yml
# 搜索到80那行将其注释掉或修改为其他端口,如果使用的是https协议可直接将80那行注释掉
    ports:
      #- 80:80
      - 8443:443
      - 4443:4443

./install.sh

执行完成后netstat -tnlp 看看是不是只监听了8443端口,剩下的就是nginx反代了
nginx反代harbor的话 两者的ssl证书应该是一样的
这里贴下我的nginx server的配置仅供参考

    server {
        listen       80;
        server_name mirror.xxxxx.com yum.xxxxx.com mirror.centos.org;
        limit_rate 50M;
        charset utf8;
        location / {
            root   /data/soft_repos/;
            access_log  /var/log/nginx/mirror.log  main;
        }
        location /svn/ {
            proxy_pass http://127.0.0.1:88/svn/;
            access_log  /var/log/nginx/svn.log  main;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
    server {
        listen       443;
        server_name mirror.xxxxx.com yum.xxxxx.com mirror.centos.org;
        access_log  /var/log/nginx/mirror_ssl.log main;
        limit_rate 50M;
        charset utf8;
        ssl on;
        ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
        ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
        ssl_certificate /etc/nginx/.ssl/mirror.crt;
        ssl_certificate_key /etc/nginx/.ssl/mirror.key;
        ssl_prefer_server_ciphers on;
        location / {
            root   /data/soft_repos/;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
    server {
        listen       443;
        server_name reg.xxxxx.com;
        access_log  /var/log/nginx/harbor.log  main;
        ssl on;
        ssl_certificate /data/harbor/ssl_cert/1293901_reg.xxxxx.com.pem; 
        ssl_certificate_key /data/harbor/ssl_cert/1293901_reg.xxxxx.com.key;
        ssl_session_timeout 5m;
        ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
        ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE;
        ssl_prefer_server_ciphers on;
        location / {
            proxy_pass   https://127.0.0.1:8443/;
        }
    }

https://blog.csdn.net/junzixing1985/article/details/80628839

https://blog.csdn.net/qq_30062125/article/details/80942998

http://www.eryajf.net/2314.html