一、JSON文件(将csv文本导入MySQL中)
{ "job": { "setting": { "speed": { "channel": 3 } }, "content": [ { "reader": { "name": "txtfilereader", "parameter": { "path":["D:\爬虫数据\百度百科\catalogue.csv"], "encode":"gbk", "column" : [ { "index":0, "type":"string" },{ "index":1, "type":"Long" } ], "fieldDelimiter":"," } }, "writer": { "name": "mysqlwriter", "parameter": { "writeMode": "insert", "username": "root", "password": "xxxxx", "column": [ "name", "value" ], "preSql": [ "truncate table catalogue" ], "connection": [ { "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=utf-8", "table": [ "catalogue" ] } ] } } } ] } }
二、JSON文件解读
DataX的JSON文件主要的两部分:reader和writer两部分。
1,reader解读
“name”属性对应着读取对象的类型
“parameter”中path属性对应读取对象的路径、encode属性对应读取对象的编码、column属性对应读取对象的表头(其中index属性对应表头的字段顺序,type对应字段的类型)、filedDelimiter属性对应读取对象的分隔符。
2,writer解读
“name”属性对应着读取对象的类型
“parameter”中writeMote属性表示操作、username属性对应MySQL的用户名、password对应MySQL的密码、column对应的是表头字段(注:这里的字段顺序需要和读取对象的顺序一样)、preSql属性表示写入前进行的sql语句、connection属性中jdbcUrl表示数据库的连接路径,table表示表名