异构数据集成系统的应用模式与技术实现
杨宏英1林长松2
（1中国科学院研究生院 北京市石景山区玉泉路19号甲 100049， 2北京市天香园生物科技有限公司 北京市朝阳区裕民路12号中国国际科技会展中心B座905 100029）
摘要：随着Web的不断发展，出现了许多新的数据形式，如何将这些异构的数据集成起来，已成为当前一个十分热门的话题。首先介绍了数据异构性的主要表现、集成难点；然后简单介绍了目前异构数据集成的一般框架，最后提出了一种基于XML的异构数据集成方案。
关键词：异构数据，数据集成，集成系统
Applying Model and Technological
Research about Heterogeneous Data Integrating System
Yang Hong-ying1 Lin Chang-song2
(1 the Graduate School of the Chinese Academy of Sciences No.19 jia,Yuquan Street, Shijingshan District, BEIJING 100049;2 Beijing Tianxiangyuan Biology Scientific Co.,Ltd, No12,Yumin Road,Chaoyang District ,China
International Scientific Meeting Center B-905)
Abstract：With the development of Web technology, many kinds of new data format have appeared. The ways of how to integrate these heterogeneous data have been a hot issue.This paper firstly introduced the main representation of heterogeneous data and the hard issues of heterogeneous data integration. In succession, it simply discussed the common framework of present heterogeneous data integration. At last, a proposal of heterogeneous data integration based on XML is given.
Keywords：heterogeneous data, data integration, integration system
1. 引言
随着网络技术的推广和普及，网络上的信息迅猛增加，成为了一个巨大的信息库。这个信息库由成千上万个异构的数据源组成，其中既有传统的数据库系统、文件系统，又有Web上应用广泛的HTML、XML等半结构化信息系统。但由于平台差异、数据库技术以及通信协议等方面的不同，使各数据源间的互操作变得复杂又困难，从而使它们成为信息孤岛。如何更好地利用网络上这些数据信息，已成为人们日益关心的问题。在这种背景下，异构数据集成系统受到越来越多的人的重视，这方面的研究也成为当前的研究热点。
早期的异构数据源集成系统的实现多采用多数据库集成技术。多数据库集成系统支持用户使用单一数据定义和操作语言，同时访问多个独立的数据源。代表性的多库系统由美国普度大学开发的InterBase[1]和HP公司开发的Pegasus[2]。国内有东北大学数据库研究室开发的PolyBase[3]和SCOPE系统以及北京理工大学的UUHDB系统等，这些系统多采用对象模型作为数据集成模型。
然而，随着分布异构计算环境下互操作性的研究和Internet技术的发展，多数据库的集成方法己无法适应人们获取更多、更新数据的需要。现在的异构数据集成系统除了要求能够集成具有规则结构(well_structured)的数据之外，还需要集成来自www等数据源的半结构化(semi_structured)数据[4]；要求不仅能集成传统数据，而且能集成多媒体数据；要求不仅能集成己有数据源中的数据，而且能集成随时加入的新数据源中的数据。而这些都是早期采用多数据库集成技术所达不到的。
1998年2月，W3C定制的XML(Extensible Markup Language)标准为解决这些关键技术和不足提供了新的契机。XML具有内容的自描述性、跨平台性、可扩展性等特点，为数据访问和交换提供了一种新的模式，使描述各种格式的数据成为可能。
本文提出了一种基于XML的异构数据集成方案，与其他异构数据集成系统相比，它最大的特点在于：通过应用XML及其相关技术，可广泛集成不同数据格式的数据源，从而能对结构化和半结构化数据都有较好的支持，体现了系统的灵活性、可扩展性等特性。
2. 异构数据集成
异构数据集成的目的就是要将互相关联的分布式异构数据源集成到一起，使用户能够以透明的方式访问这些数据源并能够以低代价、高效率的使用这些异构数据。异构数据集成系统提供了底层数据源存储数据的“全局视图”，使用户操作所有数据源就像操作一个数据源一样。同时，异构数据集成系统还提供全局视图的管理与维护、模式转换与集成、全局查询处理等功能，完成从实际数据源到统一的数据源视图的转换，在应用系统中充当数据总线的作用。
2.1. 数据异构性的主要表现
随着信息化建设的不断推进，在选择处理数据方式时存在着时间和空间上的差异，使得我们所使用的数据源千差万别，主要表现在以下几个方面：
1) 系统异构，即数据源所依赖的业务应用系统、数据库管理系统乃至操作系统之间的不同构成了系统异构；
2) 模式异构，即数据源在存储模式上的不同。存储模式主要包括关系模式、对象模式、对象关系模式和文档嵌套模式等几种，其中关系模式（关系数据库）为主流存储模式。但是，即便是同一类存储模式，它们的模式结构也可能存在着差异。例如，不同的关系数据管理系统的数据类型等方面并不是完全一致的，如DB2、Oracle、Sybase、SQL Server等。
2.2. 异构数据集成研究的问题
在异构数据集成系统中，如何有效解决数据分布的异构性，实现客户访问的透明性，同时还要保持局部系统的自治性，是系统考虑的主要问题。
（1）异构性
异构性是指数据集成系统中两个数据源的差异程度。异构发生在不同的级别。最底层是硬件平台、操作系统和网络协议的异构。其次是不同的编程语言和数据模型，以及对相同的概念不同的理解和描述。由于每个数据源都有自己的描述数据的方式，所以，每个数据源中对相似的语义的描述可能不同，可能引起各种语义冲突。
（2）透明性
透明性与系统解决异构性的程度相关，决定系统的功能和使用的方便性。包括平台透明性、系统透明性、数据源透明性等等。
平台透明性是指隐藏了硬件平台、操作系统和通讯协议等各种数据源所基于的平台间的差异。对于用户来讲，每个数据源像运行在同一个硬件/软件平台上一样。
系统透明性是指当数据源的数据管理系统、数据模型和语言间的差异被隐藏时.对用户来讲，每个数据源像是用同一个数据模型来描述的、由同一个数据管理系统和数据语言来管理和维护的。
数据源透明性是指隐藏了数据源的描述信息，由系统解决诸如：数据的存储位置，数据如何被查询的问题。用户所见到的只是一个逻辑数据源。
（3）自治性
自治性指的是一个数据源是独立于其它数据源，也独立于集成系统的性质。主要有三类自治：
1）设计自治：数据源在数据模型、数据元素的命名、数据的语义介绍及约束等方面是独立的。
2）通信自治：数据源独立决定给集成系统中其它组件提供什么信息和给组件发什么请求。
3）执行自治：数据源独立执行和调度输入请求。
3. 异构数据源集成的基本模式
目前有很多种集成异构数据源的体系结构，主要的也是最常见的有三种：联邦数据库、Mediation和数据仓库。文献[5]把这三种体系结构分成两类：一类是虚拟视图法，另一类是物化方法，即数据仓库法。
（1）虚拟视图法
虚拟视图法是构造一个或多个“中间模式”，模式是用给定数据模型对具体数据的描述，反映一个单位的各种事物的结构、属性、联系和约束。用户的查询基于中间模式，不必知道各个数据源的特点，而数据仍保存在局部数据源。系统将基于中间模式的查询转换为针对各局部数据源模式的查询，将用户的查询分解成对各个数据源的子查询，并将各子查询返回的数据综合起来得到查询结果。其优点是数据不需冗余，并能保证是最新的。虚拟视图法适用于数据源数目多，局部数据源自治性很高，集成系统对数据源没有控制且数据更新频繁的Internet环境中。在虚拟视图方法中数据集成系统可能基于不同的数据模型来构造，早期的大多数系统都基于关系数据模型来构造[6]。随着Web的不断发展，越来越多的研究将基于半结构化数据模型来构造数据集成系统。
采用虚拟视图法集成数据源主要有两种体系结构：一种是联邦数据库系统，另一种是Mediated系统。
联邦数据库系统(Fedrated Database System, FDBS)是由参与联邦的半自治的数据库系统组成，目的是实现数据库系统间部分数据的共享[7]。联邦中的每个数据库的操作是独立于其它数据库和联邦的。之所以叫“半自治”是因为联邦中的所有数据库都添加了彼此访问的接口。如图1所示：
Mediated系统通过提供所有异构数据源的虚拟视图来集成它们，这里的数据源可以是数据库、遗产系统、Web数据源等等。该系统提供给用户一个全局模式(也叫mediated模式)，用户提交的查询是针对该模式的，所以用户不必知道数据的位置、模式及访问方法。如上页图2所示。
（2）物化方法
物化方法也就是数据仓库法[8]，该方法需要建立一个存储数据的仓库，由ETL (extract, transform, and load)工具定期从数据源过滤数据，然后装载到数据仓库，供用户查询。所有的查询都针对数据仓库中的数据，数据仓库必须随数据的变化而随时更新。其最大优点是能保证查询的性能的快速高效，缺点是数据缺乏时效性，所有的数据都需要冗余，且实现数据同步非常困难。
与虚拟视图法相似的是用数据仓库集成异构数据源也需要统一的数据视图，但不同的是ETL工具过滤得到的数据存储到仓库中。而与传统的数据库不同的是数据仓库中主要存储的是历史和汇总数据，用于决策支持，主要供分析或执行等人员使用，而且为避免数据仓库与数据源中数据出现不一致，通常不允许用户对数据仓库进行更新。
数据仓库法体系结构，见图3所示：
4. 系统的实现方案
XML（Extensible Markup Language，可扩展标记语言）是一个精简的SGML，由W3C于1998年2月发布的一种标准。XML是一种半结构化的数据模型，可以用来描述不规则的数据，集成来自不同数据源的数据。XML的主要特点有：
1) 高效且可扩展性。它支持复用文档片断，使用者可以发明和使用自己的标签，也可以与他人共享，可延伸性大，可以定义无限量的一组标记，针对不同的系统、厂商提供各具特色的独立解决方案。
2) 结构性。XML将数据和显示相分离。它把文档的三要素即数据、结构和显示方式独立开来，分别处理。首先把显示格式从数据内容中独立出来，保存在样式文件（CSS/XSL）中，这样对于使用同一个文件的不同用户，可以根据不同的需要以不同的方式显示，只要修改样式表就可以改变显示的方式。
3) 自描述性。XML文件通常包含一个文档类型声明（DTD/Schema），因而是自描述的。不仅人能读懂XML文件，计算机也能处理。XML表示数据的方式真正做到独立于应用，独立于平台。所以XML文档被看作是文档的数据库化和数据的文档化。
由于XML是一种半结构化的数据模型，用它可以描述各种各样的数据包括结构化、半结构化和非结构化数据，因此利用XML能够很好的解决异构数据之间的集成问题[9]。基于以上的理论我们提出了一种基于XML的异构数据源集成方案，图4即为该方案的总体框架图。
系统采用B/S（Browser/Server，浏览器/服务器）结构，它适用于广域网环境，能够支持更多的用户，可以根据访问量动态的配置Web服务器、应用服务器，以保证系统的性能，客户端只需要有标准的浏览器，这样系统扩展维护简单，代码可重用性好。
用户对于信息的访问和操作并不是直接作用于各个数据源上，而是通过一个中间件层间接来实现的。首先，用户通过Web浏览器提出查询请求，系统将用户的查询请求组织成XML查询文档，提交给XML集成中间件，中间件参考公共数据模型（Data Model），该公共模型采用XML作为描述语言，用于描述数据源的内部结构，确定用户集成视图到各个数据源的映射，将基于集成视图的查询转换为对各个数据源的子查询，通过查询转换器从XML子查询文档中提取出其中的查询参数，并组织成各个异构数据源能够识别的查询语句。
各个数据源执行查询语句之后，将得到的结果通过结果转换器，转化为标准的XML子文档，然后将来自各异构数据源的XML子文档集成为一个完整的XML文档，返回给Web浏览器。当结果返回到客户端之后，用户可以根据各自的需要，选择不同的样式表文件（Style Sheet）对结果进行显示，包括排序，计算，筛选等等。其中较重要的代码示例如下：
1)查询xml
<?xml version="1.0" encoding="gb2312"?>
<query>
<selectfield>
<field name="ProjName" datasource="indebtproject" label="项目名称" order="asc"/>
<field name="HigherProjIDS" datasource="indebtproject" label="上级项目"/>
<field name="ProtocolMoney" datasource="indebtproject" label="协议金额" format="money"/>
</selectfield>
<condition>
<datequery name="ProtocolDate" datasource="indebtloan" label="协议生效时间" lower="2006-01-01">indebtproject.ProtocolMoney.ProtocolDate</datequery>
</condition>
</query>
2)访问数据源部分代码，
public static javax.naming.Context getContext() throws ContextException
{
Context ctx = null;
String server_url = "";
try
{
server_url = SystemConfig.getValue("server_url");
String server_user = SystemConfig.getValue("server_user");
String server_pass = SystemConfig.getValue("server_pass");
if (server_url.length() <= 0)
{
ctx = new InitialContext();
}
else
{
Properties properties = new Properties();
properties.put(Context.INITIAL_CONTEXT_FACTORY, "weblogic.jndi.WLInitialContextFactory");
properties.put(Context.PROVIDER_URL, server_url);
if(server_user == null)server_user = "";
if (server_user.length() != 0)
{
properties.put(Context.SECURITY_PRINCIPAL, server_user);
properties.put(Context.SECURITY_CREDENTIALS, server_pass == null ? "" : server_pass);
}
ctx = new InitialContext(properties);
}
}
catch(NamingException ne)
{
throw new ContextException("000","can't get context from host:"+server_url);
}
return ctx;
}
3)转换器部分代码 Transform..java如下：
Public Document transform(RecordSet rs)
{
ResultSetMetaData rsmd = rs.getMetaData();
//获取结果集的表名
try
{
this.setTablename(rsmd.getTableName(1));
}
catch (Exception e)
{
System.out.println("Warning At RecordSet (" + e.getMessage() +
")");
}
while (rs.next())
{
record = new HashMap();
for (int i = 0; i < numberOfColumns; i++)
{
try
{
if(columnType[i] == Types.LONGVARBINARY ||
columnType[i] == Types.B用LOB ||
columnType[i] == Types.CLOB ){
//如果字段类型是CLOB BLOB 或 Image类型时，
//需要以InputStream取出,转换成字符串
java.io.BufferedInputStream in = new BufferedInputStream(rs.getBinaryStream(columnName[i]));
byte[] bytes = new byte[1024];
int endflag = 0;
StringBuffer sb = new StringBuffer();
do{
endflag = in.read(bytes);
sb.append(new sun.misc.BASE64Encoder().encode(bytes));
}while(endflag>0);
record.put(columnName[i], sb.toString());
}else{
record.put(columnName[i], rs.getString(columnName[i]));
}
}
catch (Exception e)
{
record.put(columnName[i], "");
}
}
vector.add(record);
}
}
Document dom createDocument(vector);
Return dom;
}
3、生成的xml文档
<?xml version="1.0" encoding="gb2312"?>
<result>
<row>
<column name="ProjName" value="1" />
<column name="HigherProjIDS" value=”xweieuiyeu2435621”/>
<column name="ProtocolMoney" value=’23.00’/>
</row>
……
</result>
5. 总结与展望
随着网络时代的到来，各种异构数据不断涌现，如何将这些异构的数据集成起来就成为一个迫切需要解决的问题。而XML的出现正可以解决这些问题，它提供了一个理想的缓冲层，使得异构数据源之间可以保持互相透明，不再需要知道对方的内部存储格式，某个数据源内部的变更，也不会影响其他数据源。基于XML的数据集成问题，已经成为数据库研究领域中一个重要的研究方向。
基于XML的异构数据集成系统虽然在一定程度上改进了已有方法，但是仍有许多工作需要进一步进行，例如系统的健壮性、安全性还需进一步考虑；效率问题需要进一步优化；以及数据源的更新，必须对数据源监视器机制进行研究等等。此外，异构数据集成是一个复杂的涉及知识领域很广的问题，本文只在一定程度上解决了现存的部分问题，还有一些问题没有解决。在集成系统的整体性能方面，仍存在处理效率不高等问题。
然而，对于解决语义冲突方面，本体(Ontology)理论的提出为这一问题的解决提供了新的思想。Ontology是一种能在语义和知识层次上描述信息系统的概念模型建模工具，它能用来描述概念及概念之间的关系，并能通过概念之间的关系来描述概念的语义。较之已有模型，Ontology对概念的定义更加严格、精确，可以较好的解决�
