FileScale Technology
|
Talend Integration Suite MPx的FileScale技术独树一帜,最大程度调动执行服务器的硬件架构,发挥出了low-level低阶排序算法的最佳性能。 FileScale技术用来处理大规模批量数据或是大块(甚至极大块)文件。它可以完全摆脱传统数据集成架构的特有缺陷,不受JVM或是执行引擎的限制,全面发挥执行架构的功用。 FileScale技术还运用最新的数据处理数学算法,注重计算效率,快速队数据进行排列和转置。它采用MapReduce映射化简架构,可以分解任意的数据处理任务,形成若干微粒进程。
|
大规模并行处理运算
|
与所有大规模数据集成项目类似,处理大规模数据也提出了各种挑战。一般来讲,最好的方法就是将任务细分为尽可能多的次级任务,分配给所有的可用资源,实现并行处理。 同理,Talend Integration Suite MPx凭借多服务器,多CPU和多核架构,并行执行代码和分割出来的相互独立的次级进程,发挥了这种架构的最大性能。大规模并行运算的功能使得企业服务器真正物尽其用,所有处理器全线开动,大大优化了处理时间。 Talend Integration Suite MPx 同时将数据集成自动分解为并行数据流(data stream),进一步加快处理进程,调动RDBMS主引擎的大规模并行加载器(balance loader),功效卓越。 此外,Talend Integration Suite MPx 还支持Hadoop分布式文件系统(HDFS),通过这一系统实现高吞吐量的应用程序数据访问,它还支持Hadoop数据仓库基础设施(Hive),用来实现数据汇总和即席查询(ad hoc querying)。
|
Talend Integration Suite 基础
立足于Talend Integration Suite平台,Talend Integration Suite MPx 保留了前者的核心模块——业务建模专家,作业设计专家,元数据管理专家——配备了团队合作,开发整合,以及产业化和面向监测的功能,提供了一个保持于领先地位的企业数据集成平台。 |














