架构师公众号推送了一篇文章,一上来就拿数十个提升sql性能的实战例子,引入了spl (Structured Process Language)集算器,花30分钟浅尝辄止。
顾名思义,集算器,侧重‘集’+‘算’,将 数据集 结合 本地计算,产生结果。所以是非分布式的,所以场景有限。以下是结论。
- 场景:用于跨数据源查询(join/union) 或 大数据量复杂查询优化(使用游标load to file,再由spl提供的算子分析查询)
- 竞品:pandas/numpy
- 优点:代码量较小,适合不熟悉python的用户,否则还是上python或使用可视化平台,如redash/davinci
- 缺点:单点,质量不可控,社区不活跃
- 使用对象:分析师
- 提升示例
- https://mp.weixin.qq.com/s/iFdZr1mhBSdYhfPd94OnaQ
- 产品介绍
- http://www.raqsoft.com.cn/p/esproc-spl
- https://cloud.tencent.com/developer/article/1930545
- https://www.modb.pro/db/430573
- 源码
- https://github.com/SPLWare/esProc
No Comments
Leave a comment Cancel