关注大学生就业,培养泛IT高端人才

陕西新榜样官方网站

您的位置: 主页 > 新闻动态 > 公司动态 >

进行大数据测试的三个步骤

来源:西安IT培训 发布时间:2017-06-13 浏览量:

  大数据测试大概可以分为三个步骤:

  一.数据分级验证

  数据测试的第一步,即Pre-Hadoop阶段,验证来自RDBMS,博客、社交媒体等等的资源,首要任务是确认导入的数据是正确的,然后把比较源数据放到HAPOOP系统中去确保他们是匹配的。接着提取验证正确的数据,然后加载到正确的HDFS位置,数据分级验证中可以使用Talend等等工具。

  二.MapReduce验证

  第二部是进行MAPREDUCE验证,在这个阶段,测试者需要为每个节点提供业务逻辑验证然后再多个节点进行试运行之后再次验证,确保。

  1.MAPREDUCE过程正确运行。

  2.数据的聚合和分离。

  3.生成键值对。

  4.在MAPREDUCE过程之后验证数据。

  三.输出验证阶段

  大数据测试的最后一个阶段就是进行验证过程的输出验证,将生成出的数据文件移植到EDW或者按照要求转移到其他系统之中。

  在第三个步骤之中应该做到:

  1.正确的应用转换规则。

  2.确保数据完整性以及导入目标系统的成功数据。

  3.比较目标数据与HDFS文件系统数据,确保没有数据损坏。

  Hadoop处理的数据量是非常庞大的,因此也带来了资源的高度密集,因此,大数据项目能否成功则依赖于架构的测试,效率不高或者设计有问题的系统可能导致系统退化,系统也没有办法满足设计的要求,所以,在hadoop的环境下,应该做好性能和故障转移测试服务。

  性能测试包括测试工作完成时间,内存利用率,数据吞吐量以及类似系统指标。故障转移测试服务的目的是证明在数据节点失败的情况下数据处理能完好的进行。

  大数据的性能测试包含两点:

  1、在数据处理的初级阶段,测试者需要快速的了解和分析数据,利用各种各样的系统去处理数据集,测试在规定的时间内不同队列中的不同信息能否被正确的处理。

  2、开始处理数据的阶段,就需要开始验证数据处理的速度,Queries、Map Reduce等等的,在内存被数据集占满之后处理孤立数据的能力等等,在此之后则是子组件的测试,去单独测试和分析系统的每一个组件和其对应的功能。

  更多相关西安IT培训资讯,请点击:www.xinbangyang.com

IT培训 服务