Talend MDM 技术

Talend 采用的 Active Data Model 是企业能够成功控制其所有主数据的要点。通过这种技术，企业得以将所有的数据域（data domain）模型化，从而加以掌控，分别根据不同情况促进它们与外部系统的集成与同步。这种方法非常有效的降低了系统的复杂程度，节省了部署所要花费的时间。Talend MDM 可以使用迭代的方式来定义您的数据模型，以业务中用户的情况为基础进行尽为精到的调校，确保每一次的启动都采用最为贴切的方案。

• 基于XML的开源数据模型——Talend MDM可以为任何数据建模，而不只是局限于一些预先定义的固定数据模型。Active Data Model 可以定义的内容包括了实体，属性，验证，访问权限，翻译等。这种基于XML的开源方式是天然多域的。
• 导入domain templates——Talend MDM可以向data hub导入实践验证的最佳数据模型，从而快速启动运转。Talend Exchange则拥有各种最好的域模型，可以应用于不同的业务导向的vertical domains中。数据模型一经导入，便可以进行轻松地自定义修改，满足您自身特定的需要
• 基础数据验证——基于XML的方法使用标注来执行基本的验证，如字段长度或类型的验证，并可以进一步根据数据的枚举类型，或运算值进行验证。例如，您可以验证一个字符串是否与一个正则表达式相匹配，也可以验证一个日期是否符合某个限定范围。这些验证都会自动显示在发布的服务或者web界面上。
• 图形化建模工具 - Talend MDM 提供直觉式图形化的界面，达到迅速，简便地建立专用数据模型的目的。它的简明菜单使您可以迅速设置访问权限，定义 foreign key，甚至建立起基于web的数据界面。
• 多语言支持 - MDM 天然支持多种语言。主数据及其元数据可以使用不同语言配给（provisioning），根据不同的安全角色生成，或通过用户自己的控制体系自主定义。

在Talend MDM中，主数据主导与外部系统的互动。这种解决方案使用独特的事件管理器来决定在何时，何处进行数据的同步，增强或是分配。另外，在一个图形化工具中，您可以取用400多个性能稳定，久经考验的组件和连接器，它们可以让您使用几乎所有的系统，数据库，软件来创建、部署您的集成作业。

• 组件与连接器——Talend MDM 提供超过400个组件来建立您个性化的集成作业。这些作业可以使您的主数据data hub将数据实时或批量地消费、传播到任意应用，数据库或系统中。
• 由数据驱动的集成——Talend MDM是主数据lifecycle的“拥有者”，决定了何时，怎样创建主数据并将它们分配到其他的系统中去。这种解决方案使用一个基于触发系统的事件管理器，由该管理器监测发生的变化，并按照数据模型的定义启动集成或各种业务流程。
• 与外部系统交流——Talend MDM 可以实时批量与外部系统进行交流。
• SOA 管理器/控制台——SOA系统控制台全面展现系统的健康状况，堪破所有部署的作业的真实状态，进而锁定问题所在。

Talend MDM可以验证，匹配，标准化，清洗以及增强您的主数据。这一解决方案提供了一款强大的数据profiling工具，将许多原生组件一并打包，用于解决名称和地址的标准化问题，同时还提供对外部标准化服务的callout调用功能。 另外，根据众多特定的数据标准，它还可以调用诸如对等级的lookup或对其它一些reference code的lookup等外部资源。

• 数据分析（profiling）——这种分析功能（profiling）可以根据不同的测量标准或目的，评估任何数据的质量水平。它还可以为文本串分析提供简单统计或高级统计，例如summary data或对hub data的统计分布。
• 数据增强——调用外部系统或数据库来增强hub data，使用的attribute均来自于可靠的数据源，诸如等级信息，或其他reference data的lookup/validation等。
• 高级数据验证——通过高级验证，您可以根据attribute数据进行计算，并把这些数据，连同验证的routine一起传播给所有相关的服务和基于web的front-end。
• 数据标准化——专门组件用来进行callout，调用符合行业标准的数据标准化服务。
• 数据清洗——专门组件用来确认出完全匹配以及疑似匹配的记录，还可以去除重复，完善修改数据值，并为hub data设置恰当的格式。

Talend MDM的复合协作式的界面使您可以搜索并编著（authoring）您的 hub data，它还提供专用的 stewardship 认责工具来协助对数据更新流程的管理。 这种基于Ajax的界面由Talend Active Data Model动态驱动，而基于这种模型进行的所有验证都因为采用了web的形式而变得具体可感。因此整个业务的流程清晰明确，并通过一整套强大的应用工具使团队成员紧密协作，创建出一套稳定，可靠的主数据。

• 编著与搜索工具——通过完善、动态的基于Ajax的界面，它允许您搜索，编著（authoring）并修改hub data。通过一个为数据与业务流程中各个职能提供的界面，它为数据建立起对应的stewardship认责体系。
• 等级管理——Talend MDM配备有审查，修改主数据等级的工具，比如 group-by 等级结构，派生等级结构，其中后者可以无限纵深，派生出多个亲/子关系。
• Workflow & stewardship）——通过主数据来定义和管理您的业务流程。流程中的各个职能，如data approval等，都会分派给不同的用户或用户组来担任。而整个流程的设置将使用一个直觉式的图形化界面来完成。
• Hub版本控制——为一个hub创建一个完善的版本，从而在新的环境中加以调整，部署。同时还配备多种版本工具实现多个hub版本的同步。
• 历史记录 - Talend MDM 可以查看hub中主数据完整的历史结构和数据值。它为所有的hub时间都提高了对应的日志。

Talend Studio 是一个基于 Eclipse 的直觉式开发工具，它帮您建立和管理数据模型，确立进行集成的作业，管控数据质量，建立数据认责流程，仅需一个界面平台便可支持您主数据的所有创建工作。它还配备了多种绝无仅有的独特功能，便于为中枢数据（hub data）建立版本体系，实现等级管理

• 强力代码生成器——正如与Talend所有产品线如影相伴的那样，支持在Talend图形化界面的背后的，是一个强大的代码生成器。因此一个hub无需任何手动编码便可加以部署。
• Journal——所有hub活动的完整历史记录都可以通过一个直觉式的查询工具进行访问。
• 文档支持——完整的工程文档可以实时生成，维护。
• 角色化安全管理与动态目录集成——角色化的访问控制是 Talend MDM 的内在特质,这种控制应用于其功能的方方面面，无论是集成数据，还是定义模型特性，或是自动创建、读取、更新、删除数据。

各个企业、组织都要依靠大量的事务型数据来维持业务的正常运转，同时无论数据的规模还是数据之间的相关性也都逐年递增。只是，这些数据常常都分散在完全不同的源系统中，格式相异，却从来没有一套流程来维护这些数据的准确性并保证它们的可用性。尽管一些公认的数据概念是存在的，但由于应用过程中出现的重复方面的问题和一致性方面的缺陷，使用它们的结果仍然是不准确的，分析是错误的，制定的政策是矛盾的。综合这些难题，可以发现很难在不同的数据源中达成数据的一致性成果，并进而应用到整个的企业或机构当中。

意识到系统之间的异同，并系统地改善质量维护的流程，最大程度降低对质量的影响，提高分析质量，提供牢靠的数据根基，这些是建立不同数据源之间一致性的前提。主数据管理（Master Data Management）解决方案的产生正是为了提供这些功能以解决数据难题。然后，直到目前，已有的方案都还要求极为错综复杂的实现过程，占用巨大的财政支持，却最终只能局限在几个特定的领域，如消费者领域或产品领域。

为了克服这些复杂的数据挑战，Talend MDM提供了一个完整的解决方案，一次性实现了对事务型reference data的集成，质量改善，管控和stewardship认责管理。