2020-08-18 00:35 rick
作为数据研发，SQL应该是吃饭的家伙， Structured Query Language:结构化查询语言 是一种特定目的编程语言，网上关于他的介绍和教程已经很多了，不再一一赘述。 这里单独说一下跟数据研发相关的sql知识，首先不管是hadoop，spark，flink都是有Sql Api的，是什么意思呢？就是说不管hadoop底层怎么map reduce; 不管spark底层RDD怎么旋转跳跃成DAG; 不管Flink底层怎么state存储，我们都可以用一句简单的 select * from table ...
Continue Reading »2020-08-13 00:56 rick
随着大数据的兴起， 大数据开发工程师（数据研发/ETL） 这一新岗位随之诞生，为什么会有数据研发？数据研发的定位是什么？成为数据研发需要哪些能力？数据研发的开发流程是什么？数据研发的未来怎么样？这些问题将伴随着我不断成长的同时，不断迭代，希望能带来一个越来越好的答案。 一、为什么会有数据研发 TBD 二、数据研发的定位 TBD 三、数据研发应该具备的能力 TBD 四、数据研发流程 TBD 五、数据研发的未来 TBD
Continue Reading »2018-11-22 21:52 rick
刚才例会听不知道谁说了节点以一定概率向邻居节点发送激活信号，挺感兴趣，写了demo 函数jihuo以递归方式输送信号，这里没有卡递归层数，如果网络太大会崩溃，但是每次概率p会自乘，意味初始概率是0.5的话，下一层传播概率是0.25，越来越小，目前跑代码还没有崩溃，但是层数太高真的会崩。若随机数在范围内则进行激活下个邻居节点，代码如下： import os import networkx as nx import random from util.graphDealer import load_graph_...
Continue Reading »2018-09-19 21:41 rick
先贴原文链接和gayhub链接 https://networkofthrones.wordpress.com/ https://github.com/mathbeveridge/asoiaf 乔治啊啊马丁 奇幻小说""冰与火之歌""的角色互动网络 两个角色的名字（或昵称）在冰与火之歌中的一本书的15个单词之内出现则意味着两个角色之间产生交互，边的权重表示交互次数。 Volume 1: A Game ofThrones ""权力的游戏"" 网络由187个节点和684个加权边组成，共7,366个交互。 该网络...
Continue Reading »2018-07-14 21:28 rick
Python实现多线程批量执行任务 当批量任务出现时, 多线程执行总是更好的选择, Python为我们提供了threading这个包方便我们创建和管理自己的线程 # 时间辅助函数 def dateToStr(dt): if type(dt) == datetime.datetime: return datetime.datetime.strftime(dt, '%Y-%m-%d') if type(dt) == str: return dt return None def dateToDate(dt): ...
Continue Reading »
