1、什么叫对码?
举例说明,数据库中有两张表。
表 1:
编号 描述 11 儿科门诊 22 妇科门诊 33 产科门诊
表 2:
编号 描述 111 儿科门诊 222 妇科门诊 333 产科门诊
现在要在表 1 和表 2 之间找到一一对应。比如:
编号1 编号2 11 111 22 222 33 333
这就是对码。
是不是很简单?只要 select 出两个表中描述相同的编号就可以了。但如果两个表的描述并不是那么准确相等呢?譬如一个是「产科」,一个是「妇产科」,怎么找到匹配呢?有人会说用 like '%产科%' 模糊匹配,用存储过程也能实现,但你怎么知道哪个表的描述内容少呢,该 like 哪个表字段呢?还有,如果一个是「妇科」,一个是「妇产科」呢?这个想当然地用 like 肯定是不行了。这个时候就要找个方法来计算两个字符串的相似度或者匹配度,选择相似度最高的数据来做匹配。
对码这种需求其实是很常见的。比如,现有运行的系统里用的是表 1,现在上级部门要求你给它定期传数据,而且要求科室编号用表 2,一般情况下不可能直接在自己运行良好的系统里贸然用表 2 替换表 1,只有新建个表 1 和表 2 的对码表,在提取的时候对表 1 的编号做个替换。而且经常表 1 和表 2 的描述还不完全相同,这个对码就是个问题。
对码可以手工对,用自己的眼睛一个一个找,那么当数据量很大时,这将是场灾难。所以,正常点儿的工程师都会写程序先实现初级的字符串匹配,然后再人工检查,纠正程序处理不了的错误。
本文介绍的就是如何利用字符串相似度的知识来做这个对码。
2、对码,有很多方法可以实现。比如我相信一些对 SQL 高手可以轻松用存储过程实现。我这里是先把表 1 和表 2 读取到文本里,然后用 Matlab 读取并做匹配,再将匹配结果写入到新文本里。当然,这个用 Python、R 语言也可以轻松实现,很简单。我这里选择 Matlab 只是因为自己最近用得多点儿。
文本1:HIS.txt
992 心血管儿科 993 血液儿科 994 新生儿科 995 感染儿科 996 妇科门诊 997 产科门诊
文本2:YY.txt
1008 生殖医学中心IVF 1307 妇科化疗 1036 妇科ICU 1004 产科 1303 妇科 1302 妇产科门诊 1030 妇产科教研室 1093 妇产科
Matlab 代码如下:
[YYcode,YYdesc]=textread('YY.txt','%s%s'); yylen=length(YYcode); [hiscode,hisdesc]=textread('HIS.txt','%s%s'); hislen=length(hiscode); HISyy=cell(1,4); HISyy{1}=hiscode; HISyy{2}=hisdesc; for i=1:1:hislen index=1; simMax=0; for j=1:1:yylen simValue=levenshtein(hisdesc{i},yydesc{j}); if simValue>simMax simMax=simValue; index=j; end end HISyy{3}{i}=YYcode{index}; HISyy{4}{i}=YYdesc{index}; end fp = fopen('HIS-yy.txt','wt'); for i=1:1:hislen fprintf(fp,'%s ',HISyy{1}{i}); fprintf(fp,'%s ',HISyy{2}{i}); fprintf(fp,'%s ',HISyy{3}{i}); fprintf(fp,'%s ',HISyy{4}{i}); end fclose(fp);
其中 levenshtein 函数是计算两个字符串的相似度,用的是「最小编辑距离」。
levenshtein.m。该代码来自网络:http://download.csdn.net/detail/zc0928/4783710
function re=levenshtein(ch1,ch2) n=length(ch1); m=length(ch2); if n==0 LD=m; end; if m==0 LD=n; end; A=zeros(n+1,m+1); for ii=1:n+1 A(ii,1)=ii-1; end; for ii=1:m+1; A(1,ii)=ii-1; end; for ii=2:m+1 for j=2:n+1 if ch2(ii-1)==ch1(j-1) cost=0; else cost=1; end; a=A(j-1,ii)+1; b=A(j,ii-1)+1; c=A(j-1,ii-1)+cost; d=min(a,b); A(j,ii)=min(c,d); end; end; LD=A(n+1,m+1); re = (max(n,m) - LD)/max(n,m);
生成的对码文件:HIS-yy.txt
990 普儿一区 1407 普儿一科 991 普儿二区 1048 普儿二科 992 心血管儿科 1405 心血管科 993 血液儿科 1046 新生儿科 994 新生儿科 1406 新生儿科 995 感染儿科 3046 感染管理科
3、Matlab 处理流程
首先读取两个表的文本,并计算数据个数。
[YYcode,YYdesc]=textread('YY.txt','%s%s'); yylen=length(YYcode); [hiscode,hisdesc]=textread('HIS.txt','%s%s'); hislen=length(hiscode);
然后创建元胞数组,并把第一个文件的值复制进去。注意元胞数组的使用,这里创建了 1 行 4 列的元胞数组,每个元素又可以存储任意个字符串数组,每个元素的类型跟上面的 YYcode 和 YYdesc 一样。
HISyy=cell(1,4); HISyy{1}=hiscode; HISyy{2}=hisdesc;
接下来遍历第一个文件中的每一个描述,将该描述字符串同第二个文本中的每一个描述做匹配,计算相似度,最终取得相似度最高的存到元胞数组的第三列和第四列。
for i=1:1:hislen index=1; simMax=0; for j=1:1:yylen simValue=levenshtein(hisdesc{i},yydesc{j}); if simValue>simMax simMax=simValue; index=j; end end HISyy{3}{i}=YYcode{index}; HISyy{4}{i}=YYdesc{index}; end
最后将 HISyy中的结果写入文件 HIS-yy.txt。
fp = fopen('HIS-yy.txt','wt'); for i=1:1:hislen fprintf(fp,'%s ',HISyy{1}{i}); fprintf(fp,'%s ',HISyy{2}{i}); fprintf(fp,'%s ',HISyy{3}{i}); fprintf(fp,'%s ',HISyy{4}{i}); end fclose(fp);