

Related articles
作者:徐志摩 假如我是一朵雪花, 翩翩的在半空里潇洒, 我一定认清我的方向 飞扬,飞扬,飞扬, 这地面上有我的方向。 不去那冷寞的幽谷, 不去那凄凉的山麓, 也不上荒街去惆怅 飞扬,飞扬,飞扬, 你看,我有我的方向! 在半空里娟娟的飞舞, 认明了那清幽的住处, 等着她来花园里探望 飞扬,飞扬,飞扬, 啊,她身上有朱砂梅的清香! 那时我凭籍我的身轻, 盈盈的,沾住了她的衣襟, 贴近她柔波似的心胸 消溶,消溶,消溶 溶入了她柔波似的心胸! 读工大的微信公众号信息《假如我是一朵雪花*》有感 Allen,2022年春,厦门。
Written by allen
Source Link: https://www.happierhuman.com/live-consciously/ There are generally two groups of people as far as awareness is concerned. Those that are wired to think before acting… and those who inherently act impulsively. Pausing to collect your thoughts, and considering the consequences of your actions, are habits of conscious people. As you may imagine, there’s much more depth to practicing conscious living, and […]
Written by allen
低频用户冷启动需要考验算法模型的泛化能力。建模中容易产生马太效应。 何谓马太效应?摘自wiki media, 天之道,损有余而补不足。人之道,则不然,损不足以奉有余。 凡有的,还要加给他,叫他有余;凡没有的,连他所有的也要夺去。 强者愈强,弱者愈弱。
Written by allen
sometimes, sql is just better!
Written by allen
Written by allen
Attic 在wikipedia中译为“阁楼”。 近两年进入attic的apache项目有不少:sqoop,ambri… 什么时候项目会进入attic? PMC决定不在维护了,或者ASF建议PMC将项目移进attic。 新技术不断涌现,替代者的出现是这些项目逐渐成为历史的直接原因。例如sqoop被datax、flink或spark(seatunnel)数据集成平台、kafka connect所替代。 结语 花无百日红,软件项目的生命周期也一样。优胜劣汰,自然社会进化的亘古不变的规律。
Written by allen
午间休息,看了google面试官对一个Facebook工程师的面试,处理一个字符串是否包含特定子串的问题。 视频见 https://www.youtube.com/watch?v=PIeiiceWe_w 过程 面试者来自facebook,小年轻。面试官是精神抖擞的大嘴哥。面试者实时在google doc上表达对题目的理解,伪代码,编码。给出解决方案,给出一个是最简单的方案,另一个是aho算法,做出了对比。所以表达清楚一个方案,要多给1个方案,没有对比,哪有更深的印象? 面试者用手写图例的方式,表达了aho算法,连初次认识这个算法的我都能略知一二,所以表达的方式很重要,要借助工具。 之后再完全手写代码,不借助ide,老外都这么牛的吗? 最后再对整个过程做时间复杂度和空间复杂度的分析。 整个过程面试者的精神状态由理解,慢慢到他自己说的comfortable。所以往往随着问题的深入,你的体验不是更害怕,而是更释然、轻松。 后续 Follow到这个工程师的github账号 https://github.com/SecondThread 与 twiter,以及个人网站。 外国人的个人站点很酷,是自己做的一些网页游戏,和国人不同,国人写文章托管要考虑平台seo,自建站考虑自己做seo,出发点不同。Not just for fun. 浏览他的twitter,发现平时有在做codeforces竞赛。这个平台比国内的leetcode,会更纯粹一些。 几个体会 编程要成为兴趣,兴趣才能成为动力,才会做更有意思的事情,你根本不用担心35岁。 顶级公司的面试更注重实操,考察算法与硬编码等基本功,过程中也体现了知识储备和逻辑思维。 个人站点对国内而言,大多是博客。但国外很有趣,是拿来做交流,不限于博客,for fun。
Written by allen
简述 hudi,重度依赖spark做了一套table format的设计和文件管理,解决批流存储统一的问题。所有元数据,如果不依赖metastore都是放在文件中(它自身设计了一个简单的metastore在1.0版本,当前主要与hive metastore结合可以做湖仓,虽然不是必须项,用于其它计算引擎的外部表查询)。 文件众多,会有小文件管理问题,所以建议使用至少需要有spark3环境。 构建 Hudi的meta data使用hfile格式,存储文件信息,避免遍历obs的消耗。问题是源码使用2.4.9版本的hbase,默认基于hadoop2.x版本,如果使用hudi-bundle.jar在hadoop3.x环境运行,会报意向不到的一些异常,例如类文件找不到。 Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.hdfs.client.HdfsDataInputStream.getReadStatistics()Lorg/apache/hadoop/hdfs/DFSInputStream$ReadStatistics; 解决办法是自己编译hbase2.4.9,指定hadoop.profile=3,再编译hudi。 注意,hbase有一些坑,windows环境很多命令不支持,不安装相应shell命令的情况下,可以注释无用的一些exec-maven-plugin,主要是用来做校验之类的工作。 hudi编译 参考资料: HUDI-META-HBASE ISSUE
Written by allen
No Comments
Leave a comment Cancel