工作手记之Cransoft(二)

在我的上一篇关于Cransoft的日志《工作手记之Cransoft》中写到Cransoft的概述，其中有一幅图 下面就简单介绍下图中的各个部分： 1.Source Database a.Source from Legacy Systems b.Move data from legacy systems databases to an area in Data Garage which holds the legacy source data. This Data Garage area is called as source DB. c.This intermediate staging is done to keep the data to be migrated de-coupled from the actual legacy systems and databases. Because of this separate repository any action performed on this data will not impact actually legacy databases in terms of data integrity or performance. d.Naming convention is sdb*** 第一部分是源数据库. a. 这些数据的数据源其实指的是旧系统（即遗留系统）。 b. 将数据从旧系统转移到存储遗留数据的Data Garage里面的数据库中。Data Garage被称为源数据库。c. 做这个中间的数据保存是为了保证数据迁移过程中遗留系统中的数据和数据库中的数据一致。d. 由于这个单独数据库的存在，对数据进行处理的一些过程不会在完整性和性能方面影响到遗留系统。d. Data Garage数据库的命名一般是以sdb开头的。 2.Data Staging Warehouse for Legacy Data a.Collect and manipulate data for populating in to target tables. Remember what was target in previous step (Data Garage source DB) would be a source here. b.This area is a staging area where all the processing and manipulation necessary for migration are done. If something disturbs the data, fetch it again from DG source DB. No need to go back to legacy. c.Naming convention is dsw*** d.A Database was created. Now this DB needs to have source st*** tables where the source data coming from legacy source DB would be available to play with. This forms the actual data that would be manipulated and / or migrated. e.Create Teams in Data Staging Warehouse - Create functional areas as defined by SAP. Like MM,MMP,PP,QM etc.Teams are set of rules for data massaging. f.Create Target Tables in Data Staging Warehouse - We must store data at some place in SAP ready format after all migration rules are applied, we have these target table. From here these data will be unloaded and sent for SAP upload. 第二部分是针对Legacy数据的DSW. a. 为处理，收集并填充数据到目标表（即Target tables）. 上一步（Data Garage的源数据库）的目标在这里将是源（Source）。 b. 这片区域是一个临时区，对数据迁移所需要的处理和操作都是在这里完成的。如果有什么事情扰乱了数据，从DG中的源数据重新取数据即可，不需要再到Legecy中了。 c. 这里的数据库命名一般以dsw开头。 d. 创建了DSW数据库，现在这个数据库中需要有个以stk开头的源数据表，表中的数据来自legecy的源数据库（DG中的sdb），并且经过验证是有效的。这样子后，真实的数据就可以进行处理和迁移了。 e. 在DSW中创建一些Teams，即创建一些SAP中定义的功能区域，像MM,MMP,PP,QM等。 Teams是进行数据迁移的一些规则（rules）的集合。 f. 创建目标数据表，也就是说我们必须在一些地方（Target tables）存储经过迁移规则转变后的数据，这些数据已经是SAP系统中数据的格式了。在这里，这些数据是SAP中不存在,并将要上传到SAP中。 3.Get ECC and MDM data into Data Staging Warehouse ECC is transactional database. It is used to maintain the record for all kind of transaction. Eg: Purchase Order. There are various environments of ECC like EWP,EWQ,EWR,EWD,EWS,EWF MDM stands for Master database. It is used to maintain the record for Customers, Vendors, Products etc. MDM also has various environments like MODV,MOQV,MOPV,MOSV,MORV,MOFV. In addition to legacy data to be migrated we need to bring current data set in SAP to these environment. Since we are creating target tables in DSW which would be loaded in to SAP, there may be dependencies on data element which currently exist in SAP (such as references). So we bring that data to be able to store data in target tables and apply rules. 第三部分，获取ECC和MDM数据到DSW中。ECC是事务性数据库。用来维护所有事务记录。比如：采购订单。 这里ECC有很多环境，例如：EWD,EWQ,EWR,EWF,EWS和EWP. MDM代表着主要的数据库，用来维护客户、供应商和产品等记录。MDM也有很多环境，像MODV,MOQV,MOPV,MOSV,MORV,MOFV. 除了Legace数据要被迁移外，我们也需要将SAP中现在的数据放到这些环境中。因为我们在DSW中创立Target table，其中的数据是要被上传到SAP中，数据元素之间可能会有一些依赖已经存在与SAP中（例如：参考）。因此，我们将那些数据也要存储到target table中，并应用一些rules。 4.Build Rules Source Rules - In most cases data sourced from legacy is not good enough for loading. We need to transform this data so that it is good for loading. So source rules are applied to make the data compatible for SAP. Apply the rules to manipulate source data in source tables. Target Rules – Apply the rules to manipulate source data in target tables. The difference between source and target rules is when we need to apply a rule which is required for many legacy data sources. In that case we can apply the rule at target instead of applying it many times at source. 第四部分：创建规则（Rules）, Rules分为源规则(Source Rules)和目标规则（Target Rules）。 Source Rules： 大多数情况，从legeacy过来的源数据是不能够用来做上传的。为了能够很好的用来做数据上传，我们需要对这些数据进行转换。因此，Source Rules用来是数据和SAP兼容。应用规则是在source table上最数据进行处理的。 Target Rules： 应用规则是在Target Tables上对源数据进行处理的。source rules 和 target rules的区别在于当我们为很多Legacy数据源而需要应用一个规则的时候，我们可以在一个target的上应用一个规则，而不是在source上重复应用多次规则。这里需要明确下Team，target，和source的关系。一般情况下，在DSW中注册一个Team，Team下会注册一个，两个，甚至是多个target，而每个target下也一般会注册一个，两个甚至多个source。这样的话，上面的target rule和source rule应该很容易理解了。source rule是针对source级别的，可能不同的source，规则不一样，而target rule是高一个层次，对各个source都适用的。 5. BDC Direct BDC Direct is used to create a data file which holds data and enough information (such as target fields tables of SAP) to load the data in SAP 第五部分：BDC Direct， 它是用来创建数据文件的，这些数据文件包含了被上传到SAP中的数据和足够的信息（例如:SAP的表，column等）。 先说这么多，下次对Cransoft的处理做下简单的概述。