大数据如何采集

数据的采集是挖掘数据价值的第一步，当数据量越来越大时，可提取出来的有用数据必然也就更多。下面小编给大家介绍大数据如何采集，一起来看看吧。

大数据采集的方法

1、离线采集

工具：ETL

在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取(Extract)、转换(Transform)和加载(Load)。在转换的过程中，需要针对具体的业务场景对数据进行治理，例如进行非法数据监测与过滤、格式转换与数据规范化、数据替换、保证数据完整性等。

2、实时采集

工具：Flume/Kafka

实时采集主要用在考虑流处理的业务场景，比如，用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。

在流处理场景，数据采集会成为Kafka的消费者，就像一个水坝一般将上游源源不断的数据拦截住，然后根据业务场景做对应的处理，之后再写入到对应的数据存储中。

这个过程类似传统的ETL，但它是流式的处理方式，而非定时的批处理Job，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。

3、互联网采集

工具：Crawler、DPI等

Scribe是Facebook开发的数据(日志)收集系统。又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的采集。

4、其他数据采集方法

对于企业生产经营数据上的客户数据，财务数据等保密性要求较高的数据，可以通过与数据技术服务商合作，使用特定系统接口等相关方式采集数据。比如八度云计算的数企BDSaaS，无论是数据采集技术、BI数据分析，还是数据的安全性和保密性，都做得很好。

数据处理与分析的技巧

大数据的分布式处理技术与存储形式、业务数据类型等相关，针对大数据处理的主要计算模型有MapReduce分布式计算框架、分布式内存计算系统、分布式流计算系统等。

大数据分析技术主要包括已有数据的分布式统计分析技术和未知数据的分布式挖掘、深度学习技术。

数据可视化与应用环节，数据可视化是指将大数据分析与预测结果以计算机图形或图像的直观方式显示给用户的过程，并可与用户进行交互式处理。

数据可视化技术有利于发现大量业务数据中隐含的规律性信息，以支持管理决策。

数据质量核查的方法

数据合法性。检查特定字段的取值是否在预定的取值范围之内，检查字段类型设置是否与实际数据内容相匹配。如检查身份证ID是否在合法值范围之内。

编码规范检查。对于一些字段值往往有特定的编码规则，编码规范检查就是按照检查规则配置中的编码规则进行检查。

数据完整性。数据关键属性需要填充信息，不可为空。

数据准确性。字段的实际精度与字段数据类型定义精度的匹配情况。

主键唯一性。对于系统中的表来说，主键是记录的唯一标志，主键上不允许出现重复数据，包括物理主键和业务定义的主键。

外键关联性。检查是否满足引用完整性的规则。

键值有效率。具有实际业务含义维度值比率。

数据及时性。检查数据是否按照规定的更新频率进行更新。为了方便功能落地和可操作，规范对评估指标进行了细化。