Talend Data Quality（拓蓝数据质量）

提高一个企业数据质量的第一步就是要“profile”或者说评估这些数据。数据分析器（profiler）是一种精密但易于掌握的基于UI的先进系统，它的优势就在于它并不需要理解数据库的引擎和文件结构。商务分析师或者其他非技术人员可以使用这种开源的数据分析工具（open profiling tool），为要分析或监测的每一个数据元素设置专门的指数，模式（patterns）或者业务规则。这些指数既可以属于简单统计或高级统计，也可以属于模式频度统计或soundex频度统计，还可以是文本串分析（text string）和数值分析（numeric analysis），并包括汇总数据（summary data）和记录统计分布（statistical distribution of records）。它们都是预先已经设置的，十分方便，但您同时也可以运用您自定义的表达式来规范您自己个性化的数据分析形式；其中的业务规则则用来帮助用户设置自己需要的一些业务方面的指标，取值的范围。

通过不断定期总结分析这些指标计量值（metrics）的变化，企业就可以追踪到这些指标的变化趋势，从而了解数据的状况（profile），追踪到数据质量的变化趋势（改善或是退化）。

Talend Data Quality 包括的其它分析和报告功能包括：

• 数据分析历史记录
• 批量分析
• 报告模式个性化
• 多选报告文件格式。

一旦问题区域锁定，数据必须修正。对于不符合您标准的数据，Talend Data Quality 提供给您强大的修复和清理工具。所有数据将会通过一道“数据质量防火墙”，不完整的值会被记录下来：格式不正确或与其他数据源记录的值不匹配的值，重复的值，同义重复的值，甚至简单的排录错误——所有这些数据都将通过参照数据或依据其它数据库进行交互检验来修复。 通过 Talend Data Quality 您可以使用引用数据（reference data）来设置标准值，使用正则表达式来设置数据标准的形状和大小，以及使用匹配算法来查找和修复您的数据中重复和几乎重复的部分。

您可以使用种类繁多的数据集成和数据质量专用组件系列来建立各种清洁进程。这些专用组件，如名称与地址清洗组件，模糊去重组件，都是 Talend Data Quality 的原生组件。

数据扩充功能可以补充您数据里缺少的部分，因此您仍然可以实现您的业务目标。而这些信息的类型是无限的——可以包括一个公司的邓白氏（Dun & Bradstreet）信誉信息或某个客户的信誉评级，获取某个地址的经纬度以便设计投递线路，或是收集目标人群的人口组成或收入类型的普查信息。初始的开发环境有利于用户在同一个环境中开发出多个完美的进程，用这些进程将数据整合（consolidate），合并（merge）或简单插入（insert）到目标系统中。

Data Quality Portal（数据质量门户）以web为基础，提供用户个性化的时间质量监测和报告体系，这使得企业组织可以随时查看可能对业务流程产生重要影响的关键数据的质量标尺。

Data Quality Portal 将各种自定义的关键质量指数（KQI）发送到专门的web门户上，整个团队可以通过这个门户展开合作，改善整个企业的数据质量状况。它配备有：PDF 报告生成, 用户自定义仪表盘，即席查询（ad-hoc query），以及基于时间的KQI监测。通过该门户，用户还可以读取一整套预置的报告及全局质量计量体系，反映了超出数据质量临界值的情况。