apache attic

sometimes, sql is just better!

做YARN做了N年了，也想着存算分离吧？关于HDFS的存储有联邦存储和异构存储策略等内容，存算分离又算一个。存算分离，活生生的例子是KAFKA与PULSA的变化。KAFKA历史悠久，体量大的公司要替换很难，另辟蹊径的是，使用不同服务使其兼容kafka的rpc协议。协议一直是这个问题的根源，要实现存算分离，就要实现相应服务的协议，S3由于体量巨大，一直都是协议标准之一，所以首当其冲。 数据湖，一般结合现有的object store服务，提供基础的存储服务。同理，对于CK等服务，在OSS上实现相应的协议GATEWAY即可替换CK的本地存储，如MINIO。 存算分离有没有性能问题？一方面比较考验的是网络IO，所以局域网需要有理想的网络环境，例如50GB以上带宽。另一方面性能很受本地服务的缓存机制的影响，是否每次请求都重新从OSS拉取一遍数据。对于数据服务类的情况。例如一次查询10GB级的大表，网络不好的话，带宽占用、网络抖动等问题就会出现，所以本地磁盘优先原则依然是适用。 存储操作本质上可以分为两大类：一个operation就是一个对象全量的操作，类似对象存储的put。另一个是append log，不断追加：可以像kafka一样append本地log，也可以用bookeeper做分布式log。 后续一起看看存储相关的底层原理：TODO

As you said in the last video of 《machine learning》, I hope we can use AI to build cool products and make a better life. Thank you Andrew ng.

deep learning course @ stanford: https://www.youtube.com/watch?v=PySo_6S4ZAg ml course by Andrew Ng: https://www.youtube.com/watch?v=PySo_6S4ZAg Both are for free, just enjoy it and take your time…

作者：徐志摩 　　 假如我是一朵雪花， 　　 翩翩的在半空里潇洒， 　　 我一定认清我的方向 飞扬，飞扬，飞扬， 这地面上有我的方向。 不去那冷寞的幽谷， 不去那凄凉的山麓， 也不上荒街去惆怅 飞扬，飞扬，飞扬， 你看，我有我的方向！ 在半空里娟娟的飞舞， 认明了那清幽的住处， 等着她来花园里探望 　 飞扬，飞扬，飞扬， 啊，她身上有朱砂梅的清香！ 那时我凭籍我的身轻， 盈盈的，沾住了她的衣襟， 贴近她柔波似的心胸 　 消溶，消溶，消溶 溶入了她柔波似的心胸！ 读工大的微信公众号信息《假如我是一朵雪花*》有感 Allen，2022年春，厦门。

午间休息，看了google面试官对一个Facebook工程师的面试，处理一个字符串是否包含特定子串的问题。 视频见 https://www.youtube.com/watch?v=PIeiiceWe_w 过程 面试者来自facebook，小年轻。面试官是精神抖擞的大嘴哥。面试者实时在google doc上表达对题目的理解，伪代码，编码。给出解决方案，给出一个是最简单的方案，另一个是aho算法，做出了对比。所以表达清楚一个方案，要多给1个方案，没有对比，哪有更深的印象？ 面试者用手写图例的方式，表达了aho算法，连初次认识这个算法的我都能略知一二，所以表达的方式很重要，要借助工具。 之后再完全手写代码，不借助ide，老外都这么牛的吗？ 最后再对整个过程做时间复杂度和空间复杂度的分析。 整个过程面试者的精神状态由理解，慢慢到他自己说的comfortable。所以往往随着问题的深入，你的体验不是更害怕，而是更释然、轻松。 后续 Follow到这个工程师的github账号 https://github.com/SecondThread 与 twiter，以及个人网站。 外国人的个人站点很酷，是自己做的一些网页游戏，和国人不同，国人写文章托管要考虑平台seo，自建站考虑自己做seo，出发点不同。Not just for fun. 浏览他的twitter，发现平时有在做codeforces竞赛。这个平台比国内的leetcode，会更纯粹一些。 几个体会 编程要成为兴趣，兴趣才能成为动力，才会做更有意思的事情，你根本不用担心35岁。 顶级公司的面试更注重实操，考察算法与硬编码等基本功，过程中也体现了知识储备和逻辑思维。 个人站点对国内而言，大多是博客。但国外很有趣，是拿来做交流，不限于博客，for fun。