• DataX:json文件编写解读(csv-->mysql)


      一、JSON文件(将csv文本导入MySQL中)

    {
        "job": {
            "setting": {
                "speed": {
                    "channel": 3
                }
            },
            "content": [
                {
                     "reader": {
                        "name": "txtfilereader",
                        "parameter": {
                        	"path":["D:\爬虫数据\百度百科\catalogue.csv"],
                        	"encode":"gbk",
                            "column" : [
                                {
    		                        "index":0,
    		                        "type":"string"
                                },{
                                	        "index":1,
    		                        "type":"Long"
                                }
                            ],
                            "fieldDelimiter":","
                        }
                    },
                    "writer": {
                        "name": "mysqlwriter",
                        "parameter": {
                            "writeMode": "insert",
                            "username": "root",
                            "password": "xxxxx",
                            "column": [
                                "name",
                                "value"
                            ],
                            "preSql": [
                                "truncate table catalogue"
                            ],
                            "connection": [  
                                {
                                    "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=utf-8",
                                    "table": [
                                        "catalogue"
                                    ]
                                }
                            ]
                        }
                    }
                }
            ]
        }
    }
    

      二、JSON文件解读

        DataX的JSON文件主要的两部分:reader和writer两部分。

        1,reader解读

          “name”属性对应着读取对象的类型

          “parameter”中path属性对应读取对象的路径、encode属性对应读取对象的编码、column属性对应读取对象的表头(其中index属性对应表头的字段顺序,type对应字段的类型)、filedDelimiter属性对应读取对象的分隔符。

        2,writer解读

          “name”属性对应着读取对象的类型

          “parameter”中writeMote属性表示操作、username属性对应MySQL的用户名、password对应MySQL的密码、column对应的是表头字段(注:这里的字段顺序需要和读取对象的顺序一样)、preSql属性表示写入前进行的sql语句、connection属性中jdbcUrl表示数据库的连接路径,table表示表名

  • 相关阅读:
    离奇的软件开发之路
    集群环境中的单例设计模式
    Android 如何更换屏幕上锁界面背景图片
    基于华为Java编程规范的Eclipse checkStyle.xml
    对数据库事务的总结
    [Sciter系列] MFC下的Sciter–1.创建工程框架
    Android 如何添加一种锁屏方式
    Hibernate级联操作 注解
    linux就是这个范儿之融于心而表于行(1)
    Android 如何修改默认的searchable items。
  • 原文地址:https://www.cnblogs.com/goubb/p/12404076.html
Copyright © 2020-2023  润新知