全国

大数据有哪些技术要求

2021-02-03 11:30:35 239 浏览 大数据培训

需要要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts等,都是JavaEE方向的技术,在大数据技术里用到的并不多。下面小编给大家介绍大数据有哪些技术要求,一起来看看吧。

大数据有哪些技术要求

大数据的技术要求

大数据开发,是现如今大数据行业当中不可或缺的专业技术人员,通过大数据技术去实现大数据系统、平台、工具等的开发,满足企业大数据的相关需求。而大数据开发,最重要的就是对于大数据开发需要的技术的掌握。

对于很多行外人或者刚开始入行的初级大数据开发人员,看到大数据开发涉及到的相关技术,一堆复杂的专业名词,各种听起来就很难的“架构”等,常常让人望而生畏。但是事实上,当你真正着手去学,其实也没有想象中的那么难。

企业对于大数据开发人员的招聘,台数据处理,数据架构的搭建、数据性能的优化,都是必须掌握的技术。对于写代码,需要会Java开发/Linux开发环境;对于数据库,需要会Mysql/MongoDB等,有一定调优经验;对于分布式,Hadoop/Hive/Spark/Storm/HBase等是必须。

举个例子,以Hadoop大数据工程师来说,需要掌握ava编程(分布式)、Linux开发环境、Hadoop(HDFS+MapReduce+Yarn)、HBase(JavaAPI操作)、Hive(查询、函数、视图)、Sqoop&Flume(数据采集)、还有其他如Pig、HUE、HA等。

在Linux和Java基础方面,需要掌握Java基础、虚拟机、多线程;JavaWeb和数据库;Linux基本语法、shell编程;

在Hadoop框架方面,需要掌握HDFS的shell操作(常用命令和参数);HDFS的Java应用开发(数据采集、存储、文件);MapReduce编程(规范、运行、调试);MapReduce计算程序(排序、分区、优化)等。

在Hadoop数据生态方面,需要掌握HBase数据操作(读、写、更新)、基本架构;Hive数据存储与计算(表搭建、分区、查询、函数);Flume&Sqoop采集、导出系统实现;Pig进行数据处理与数据分析。

学习大数据的必要基础

学习大数据的两大基础就是JAVA和Linux,学习顺序不分前后。需要同时掌握,才可以继续大数据课程的学习。

1、Java:大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?

需要要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate、Mybatis等,都是JavaEE方向的技术,在大数据技术里用到的并不多,需要要了解就可以了。

当然Java怎么连接数据库还是要知道的,像JDBC一定要掌握一下,有同学说Hibernate或Mybites也能连接数据库啊,为什么不学习一下,不是说学这些不好,而是说学这些可能会用你很多时间,到最后工作中也不常用,没看到谁做大数据处理会用到这两个东西的。

当然你的精力很充足的话,可以学学Hibernate或Mybites的原理,不要只学API,这样可以增加你对Java操作数据库的理解,因为这两个技术的核心就是Java的反射加上JDBC的各种使用。

2、Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

从0开始学大数据技术的方法

1、硬件准备

要想学习大数据技术,硬件是必不可少的,需要一台至少8GB内存的电脑,有条件的家里如果有多台电脑,且自己比较爱折腾的话就更好了。内存从1块钱1MB的时候,到现在1块钱20MB,依然是电脑最缺少的资源,永远都不觉得够。所以如果想要学习大数据技术,先查看自己电脑的内存是多大,少于8GB的话就赶紧考虑增加内存条。能增加的16GB的话更好,那你在学习的时候会感觉操作执行很快。硬盘到不需要特别大,目前主流的500GB就够用了。

2、软件准备

硬件准备好后,接下来就可以开始进行软件的安装了。如果你对虚拟机VMware或者VirtualBox比较熟悉,那么可以跳过该章节了。

安装完一台虚拟机之后,我们可以将这台虚拟机再复制两份,这样我们就在VMware虚拟机上模拟了3台服务器,就可以搭建具有3个结点的大数据集群了。

3、安装CDH

CDH是Cloudera’s Distribution Including Apache Hadoop的简称,是基于稳定版本的Hadoop组件进行编译的,其发布的Clouder Manager(简称CM)是一套可以在Web页面安装、修改、管理大数据组件的系统,它简化了大数据平台的安装。

4、Hive

对于有一定SQL经验的童鞋来说,从Hive入手是比较的选择。Hive诞生于FaceBook,它最初就是为方便FaceBook的数据分析人员而建立的。FaceBook的数据分析人员大多了解SQL的写法,但是如果要用MapReduce来实现同样的分析效果比如多表关联,其学习和开发成本都非常高。所以FaceBook的牛人们就开发了一个组件可以将SQL语句转换为MapReduce,极大的方便了这些数据分析人员。

CDH集群搭建好之后,需要要选择安装hive组件就可以使用了,如何使用hive组件,就需要从简单到复杂。

5、大数据其他组件

Hadoop是目前大数据的事实标准,hadoop生态圈还有很多的组件,每个组件都有其特定的应用场景,不必每个组件都要学习,可以挑选自己感兴趣的组件进行学习,或者等实际用到的时候再学习也可以。

大数据学习哪些内容 学动漫设计需要什么基础
机构
课程

相关资讯

766培训网大数据培训大数据有哪些技术要求
在线预约
电话咨询
在线咨询