• Connection Manager ->> Multiple Flat File Connection & Multiple File Connection


    遍历一个文件夹下的所有文件的方法有两钟:1)使用Multiple Flat File Connection,把所有我们要的文件用"|"作为连接符拼凑出一条connection string;2)用foreach loop container,指定文件名pattern和文件夹;

    前者需要在做一些功夫去找到那些文件夹,可能需要搞个script task之类的或者foreach loop container去找到那些文件,而且如果有子文件夹更麻烦;后者子文件夹搜索SSIS已经提供了一个选项,选择我们想要的enumerator就行,比较方便;但是不同点是后者是每个文件每个文件这个样来迭代处理的,这就意味着如果foreach loop里层的data flow需要被执行(文件数量)对应的次数,而前者只执行一次。不晓得这里会否出现性能问题,在文件数量非常多的情况下,不过还是倾向于后者,即便假定一次性处理的文件数量达到上千,用Multiple Flat File Connection一次性处理非常耗资源,如果服务器有其他的任务或者应用程序在跑就很可能被连累,很可能内存被吃光,这样还不如一个一个慢慢跑,在业务场景并不紧急的情况下。

    Multiple File Connection的话我没发现哪里可以用到它

  • 相关阅读:
    今晚的比赛(2011.12.4)
    js中prototype,constructor的理解
    laravel中empty(),is_null() 以及isEmpty()
    mysql查询语句and,or
    jquery简易tab切换
    Qt 的QcomboBox的简单使用
    折半查找
    C++强制类型转换(转)
    二叉树学习
    c++的重载,覆盖与隐藏
  • 原文地址:https://www.cnblogs.com/jenrrychen/p/4458608.html
Copyright © 2020-2023  润新知