数据研发基本功

随着大数据的兴起, 大数据开发工程师(数据研发/ETL) 这一新岗位随之诞生,为什么会有数据研发?数据研发的定位是什么?成为数据研发需要哪些能力?数据研发的开发流程是什么?数据研发的未来怎么样?这些问题将伴随着我不断成长的同时,不断迭代,希望能带来一个越来越好的答案。 一、为什么会有数据研发 TBD 二、数据研发的定位 TBD 三、数据研发应该具备的能力 TBD 四、数据研发流程 TBD 五、数据研发的未来 TBD

Continue Reading »
分享到:

【大数据与机器学习】一、基本概念

Chapter1 大数据产业 数据收集,数据存储,数据建模,数据分析,数据变现 ------------------------------------------------------------------------------ Chapter2 步入数据之门 数据:承载了信息的东西 信息很可能是因场景而定,因解读者的认知而定,所以一些符号是不是可以被当做数据,有相当的因素是取决于解读者的主观视角的。 信息:用于消除随机不定性的东西 信息就是那些把我们不清楚的事情阐明的描述。 算法...

Continue Reading »
分享到:

Hadoop安装配置(伪分布式)

背景 本人这段时间一直在进行hadoop的安装配置,前前后后花费了很多时间。在这里感谢学长的帮助,才让我对安装的过程 有了更好的理解也让我更加顺利的安装成功。在这里只提供伪分布式的安装步骤,分布式的安装之后经过测试再给出。安装过程如 有错误,欢迎大家前来指正。 环境 虚拟环境:Oracle VM VirtualBox 虚拟机:ubuntu-14.04.4-server-amd64 JDK:jdk-8u131-linux-x64.tar HADOOP:hadoop-2.6.0.tar 客户端:Bitv...

Continue Reading »
分享到: