ETL Automation完整安装方法_(元数据存放在mysql数据库)

 

安装前介质准备：

 DBI-1.636.tar.gz 

 DBD-mysql-4.037.tar.gz

 ETL.tar

 mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz

 Perl下载地址：http://www.cpan.org/modules/by-module/

 

第一部分 Mysql数据库安装

  链接如：http://jingyan.baidu.com/article/a378c9609eb652b3282830fd.html

 

第二部分 Perl模块安装

1) 检查当前perl版本命令：perl -v

  查看已安装perl模块命令：perldoc perllocal

2) DBI模块为DBI-1.636.tar.gz

  方法与DBD模块一样

3) DBD模块为 DBD-mysql-4.037.tar.gz

  tar xvzf DBD-mysql-4.037.tar.gz

  cd DBD-mysql-4.037

  perl Makefile.PL

  make

  make test

  make install

5) 其它模块 …

6) 在/etc/profile 增加如下变量

  export PATH=/usr/local/mysql/bin:$PATH

  export LD_LIBRARY_PATH=/usr/local/lib/mysql

7) Perl模块安装完后，需要写个mysql_test.perl脚本，测试连接mysql数据库是否成功

 

第三部分 Automation安装

1) 在linux系统下，创建etl用户

  groupadd etl

  useradd -g etl -m -d /home/etl -s /bin/bash etl

2) 切换到etl用户，在/home/etl添加环境变量 vi .bashrc，然后使之生效 source .bashrc

AUTO_HOME=/opt/ETL; export AUTO_HOME;

AUTO_DSN=tdvm; export AUTO_DSN;

AUTO_DB=etlauto; export AUTO_DB;

AUTO_SERVER=ETL1; export AUTO_SERVER;

AUTO_SERVER_IP=192.168.152.100; export AUTO_SERVER_IP;

AUTO_AGENT_PORT=6346; export AUTO_AGENT_PORT;

AUTO_WDOG_PORT=6346; export AUTO_WDOG_PORT;

AUTO_PRIMARY_SERVER=0; export AUTO_PRIMARY_SERVER;

ODBCINI=$HOME/.odbc.ini;export ODBCINI

LD_LIBRARY_PATH=$LD_LIBRARY_PATH :/opt/teradata/client/14.00/odbc_64/lib:/usr/local/lib; export LD_LIBRARY_PATH

3) 上传ETL.tar到/opt/目录，并解压

  tar xvf ETL.tar

5) 修改etl_unix.pm和tools.pm两个文件的数据库连接信息

  my $dbh = DBI->connect("DBI:mysql:database=etlauto;host=10.161.166.51", "root", "123456",

6) 切换到root用户，授予etl用户/opt/ETL权限

  chown -R etl:etl /opt/ETL

7) 上传yhddw.pm到该目录下 /usr/lib64/perl5/vendor_perl/

8) 切换到etl用户，清空 /opt/ETL/lock 下的文件 rm –rf etl*

  然后在/opt/ETL/bin目录下执行sh start.sh

9) 查看Automation 5个进程是否启动：

  方法一：ps –ef | grep pl

  方法二：/opt/ETL/LOG

      主要查看etlmaster.out

 

第四部分 配置ETLAdmin

4.1 导入项目

 1) 将ETLAdmin261复制到workspace文件夹下

 2) 打开eclipse.ext，作如下操作：

   File → Import → General → Existing Projects into Workspace，点击next到下一步；

   在出现的对话框中选中Select root directory，点击 Browse后可选择第一步“ETLAdmin261”的文件位置，

   然后在options中，勾选copy projects into workspace，点击 Finish

4.2 导入jar包

 1) 打开ETLAdmin261 project → lib，选中需要删除的jia包，点击Delete

 2) 选择Build Path → Configure Build Path → Java Buidl Path → Libraries，选中需要删除的jia包，点击Remove

 3) 将mysql-connector-java-5.1.0-bin(1).jar 和 jintellitype-1.3.9-SNAPSHOT.jar 复制到当前项目lib文件夹下，

   回到Build Path → Configure Build Path → Java Buidl Path → Libraries，点击 Add JARs，添加这两个.jia包.

4.3 修改数据库配置信息