• Oracle SQL Loader数据导入


    含序列,不能设direct=true):

    1、SQL LOADER是ORACLE的数据加载工具,通常用来将操作系统文件迁移到ORACLE数据库中。SQL*LOADER是大型数据仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECT,PARALLEL)。

    它使用的命令为:在NT下,SQL LOADER的命令为SQLLDR,在UNIX下则为sqlldr/sqlload。

    2、一般用法

    sqlldr scott/tiger control=control_file.ctl log=logFile.log direct=true

    其它参数则在输入sqlldr命令时出现:

    用法: SQLLDR keyword=value [,keyword=value,...]

    有效的关键字:

        userid -- ORACLE username/password
       control -- Control file name
           log -- Log file name
           bad -- Bad file name
          data -- Data file name
          discard -- Discard file name
          discardmax -- Number of discards to allow        (全部默认)
          skip -- Number of logical records to skip (默认0)
          load -- Number of logical records to load (全部默认)
         errors -- Number of errors to allow          (默认50)
          rows -- Number of rows in conventional path bind array or between direct path data saves(默认: 常规路径 64, 所有直接路径)
    bindsize -- Size of conventional path bind array in bytes(默认256000)
        silent -- Suppress messages during run (header,feedback,errors,discards,partitions)
        direct -- use direct path                    (默认FALSE)
        parfile -- parameter file: name of file that contains parameter specifications
       parallel -- do parallel load                   (默认FALSE)
          file -- File to allocate extents from
    skip_unusable_indexes -- disallow/allow unusable indexes or index partitions(默认FALSE)
       skip_index_maintenance -- do not maintain indexes, mark affected indexes as unusable(默认FALSE)
       readsize -- Size of Read buffer                (默认1048576)
       external_table -- use external table for load; NOT_USED, GENERATE_ONLY, EXECUTE(默认NOT_USED)
       columnarrayrows -- Number of rows for direct path column array(默认5000)
       streamsize -- Size of direct path stream buffer in bytes(默认256000)
       multithreading -- use multithreading in direct path
       resumable -- enable or disable resumable for current session(默认FALSE)
    resumable_name -- text string to help identify resumable statement
    resumable_timeout -- wait time (in seconds) for RESUMABLE(默认7200)
    date_cache -- size (in entries) of date conversion cache(默认1000)

    PLEASE NOTE: 命令行参数可以由位置或关键字指定。前者的例子是 'sqlload scott/tiger foo'; 后一种情况的一个示例是 'sqlldr control=foo
    userid=scott/tiger'.位置指定参数的时间必须早于但不可迟于由关键字指定的参数。例如,
    允许 'sqlldr scott/tiger control=foo logfile=log', 但是
    不允许 'sqlldr scott/tiger control=foo log', 即使
    参数 'log' 的位置正确。

    3、控制文件制定

    LOAD DATA
    INFILE 'input_File.csv’
    INTO TABLE tableName
    FIELDS TERMINATED BY ","

    (field1,field2,field3,field4)

    解释:

    infile 指数据源文件 这里我们省略了默认的 discardfile   result.dsc   badfile   result.bad   
    into   table   tableName 默认是INSERT,也可以 APPEND into   table   tableName 为追加方式,或REPLACE  

    注意:

    1、insert,为缺省方式,在数据装载开始时要求表为空     
    2、append,在表中追加新记录     
    3、replace,删除旧记录,替换成新装载的记录     
    4、truncate,同上      

    terminated   by   ',' 指用逗号分隔   
    terminated   by   whitespace 结尾以空白分隔  

    fields   terminated   by   X'09'  字段终止于X'09',是一个制表符(TAB)

    tableName:数据表

    (field1,field2,field3,field4):数据表导入字段

    注意:当infile *时,导入数据就在控制文件中.....

    如:

    LOAD DATA
    INFILE *
    APPEND INTO TABLE tableName
    FIELDS TERMINATED BY "," Optionally enclosed by '"'
    (field1,field2,field3,field4)

    BEGINDATA

    field1_data,field2_data,field3_data,field4_data

    field1_data,field2_data,field3_data,field4_data

    field1_data,field2_data,field3_data,field4_data

    注:"*" 代表数据文件与此文件同名,即在后面使用BEGINDATA段来标识数据

    4、并发操作

    sqlldr scott/tiger control=control_file.ctl log=logFile.log direct=true parallel=true

    5、导出规则数据

    Oracle 没有提供将数据导出到一个文件的工具。但是,我们可以用SQL*Plus的select 及 format 数据来输出到一个文件 set echo off newpage 0 space 0 pagesize 0 feed off head off trimspool on
      spool oradata.txt
      select col1 || ',' || col2 || ',' || col3
      from tab1
      where col2 = 'XYZ';
      spool off

       另外,也可以使用使用 UTL_FILE PL/SQL 包处理:
      rem Remember to update initSID.ora, utl_file_dir='c:\oradata' parameter
      declare
      fp utl_file.file_type;
      begin
      fp := utl_file.fopen('c:\oradata','tab1.txt','w');
      utl_file.putf(fp, '%s, %s\n', 'TextField', 55);
      utl_file.fclose(fp);
      end;

    当然你也可以使用第三方工具,如SQLWays ,TOAD for Quest等。
      加载可变长度或指定长度的记录
      如:
      LOAD DATA
      INFILE *
      INTO TABLE load_delimited_data
      FIELDS TERMINATED BY "," OPTIONALLY ENCLOSED BY '"'
      TRAILING NULLCOLS
      ( data1,
      data2
      )
      BEGINDATA
      11111,AAAAAAAAAA
      22222,"A,B,C,D,"
      下面是导入固定位置(固定长度)数据示例:
      LOAD DATA
      INFILE *
      INTO TABLE load_positional_data
      ( data1 POSITION(1:5),
      data2 POSITION(6:15)
      )
      BEGINDATA
      11111AAAAAAAAAA
      22222BBBBBBBBBB
      跳过数据行:
      可以用 "SKIP n" 关键字来指定导入时可以跳过多少行数据。如:
      LOAD DATA
      INFILE *
      INTO TABLE load_positional_data
      SKIP 5
      ( data1 POSITION(1:5),
      data2 POSITION(6:15)
      )
      BEGINDATA
      11111AAAAAAAAAA
      22222BBBBBBBBBB
      导入数据时修改数据:
      在导入数据到数据库时,可以修改数据。注意,这仅适合于常规导入,并不适合 direct导入方式.

    SQLLDR直接加载能否分批提交?

    测过这样的问题,不过没做细致的分析
    oracle也就是一个应用程序,与程序设计有关

    sqlldr中的在直接装载时rows所表述的是多少行save 一下data
    文档中也说了,这是一个大致的量,实际save多少与buffer所决定的bindsize有关
    注意,这里说的是save data

    save data只是类似于commit的效果
    相同的地方时你在direct load的过程中出现了instance down等类似的状况,save的数据会实际保存到库中
    不相同的部分大体有如下几点:
    1.直接装载rows参数所表述的save data并没有事务的概念,不经过undo segment,因此无法回滚
    2.direct是在hwm上的一个操作,成功了调整hwm,失败则好似未发生过这样的操作
    3.direct load在装载时未不维护索引

    所以设置了rows参数在load过程表中看不到数据的原因可能如下:
    1、如hwm有关,即操作完成及instance recover或pmon清理时才发生调整hwm的操作
    2、与direct load是一个无事务的操作有关
    3、rows所表述的是save data,即extent操作,与commit所表述的事务操作是不同的

  • 相关阅读:
    java中this()、super()的用法和区别
    线段树基础操作
    普通平衡树的基础操作
    简单dp问题汇总
    欧拉线性筛法打表素数
    单调队列与dp的关系
    最全的常用正则表达式大全——包括校验数字、字符、一些特殊的需求等等
    常用chrome扩展程序
    各种数据类型的字节数
    排查mysql的奇怪问题
  • 原文地址:https://www.cnblogs.com/danghuijian/p/4400585.html
Copyright © 2020-2023  润新知