学习让我快乐

Greenplum 从自适应调度到 Concurrency Scaling

自去年提出了 Greenplum 自适应调度的想法, 到最近把这套自适应调度推到我们线上, 这期间也对最初提出的想法又做了一系列加强, 也进一步加深了对 Greenplum 执行框架的理解. 关于 Greenplum 执行框架这里不在做过多介绍, 可以参阅之前的文章. 简单来说, 在优化结束, 执行计划确定了之后, GP 会遍历 plan tree, 之后以 Motion 节点为边界将执行...

Posted by w@hidva.com on January 29, 2021

Drop checker 与 PhantomData

在回家的路上时候, 忽然想到了 PhantomData.. 当时在囫囵吞枣地学习 rust 时对 PhantomData 只是一扫而过, 只是有印象说是, 应该根据语义来决定是否应该加 PhantomData. 比如 Iter 对外看上去就像是 &'a T 的容器, 所以 Iter 在定义上使用了 _marker: marker::PhantomData<&'a T&g...

Posted by w@hidva.com on December 31, 2020

最近遇到的有趣事情

C/C++ strict aliasing rule 之前在做某个项目时, 遇到了一个问题, 细细抽取之后, 得到最小可复现代码, 即如下代码在 gcc O2 时会得到错误的结果. #include <stdlib.h> #include <stdio.h> static inline int64_t GetScaleFromBits(int64_t bits)...

Posted by w@hidva.com on December 23, 2020

不不不这不可能 - data race 造成的诡异现象

最近在忙着为之前做的外表分区增加导出能力的功能, 继之前压测发现的 gp 内核一处内存泄漏之后, 本以为接下来就顺风顺水波澜不惊, 准备开始走评审, 合入, 上线了. 没想到, 又出了一个幺蛾子: (gdb) bt #0 0x00007fac6e2b7277 in raise () from /lib64/libc.so.6 #1 0x00007fac6e2b8968 in ab...

Posted by w@hidva.com on December 23, 2020

内存又泄漏了啊=。=

双 11 例行巡检时忽然发现大盘上某处地方不太对劲, 两周以来, 实例计算节点所占内存一直在缓慢地上升中. 登陆到实例计算节点上 top shift+M 看了下, 两个 postgresql startup process 很诡异地占了很大的内存, 位列 top2. 要知道 startup process 只是反复 redo xlog, redo 完一条 xlog 之后, 这期间所持有内存就...

Posted by w@hidva.com on November 24, 2020

SELECT pg_locks crash 了

TL; DR Greenplum 4.3 pg resqueue lock 链路 ResLockWaitCancel() 访问 LockMethodProcLockHash 这个共享结构时未使用指定的锁, 导致其他并发访问 LockMethodProcLockHash 的会话, 比如 select * from pg_locks, 看到了 LockMethodProcLockHash HA...

Posted by w@hidva.com on October 10, 2020

rust 究竟是怎么模式匹配的

最近用 rust 重写了之前用 go 写的一个锁等待图生成工具, 这个小玩意会读取收集 Greenplum 当前锁信息, 并生成对应的锁等待图, 可用来大幅加速线上问题的排查. 不幸的是, 之前用 go 写出之后, 不小心把源码弄丢了, 导致我们目前只有 binary 能用. 导致了在使用过程中很多想加的小功能都整不了了. 正巧这次借着 rust 的机会重新实现了下这个功能, 此间过程中也加...

Posted by w@hidva.com on September 26, 2020

GP slice 自适应调度

众所周知, 在执行时, gp 会将查询进行分层处理, 每一层也便是一个 slice, slice 之间通过 motion 节点来完成数据交互. 当前 gp 总会将 slice 调度到集群中每一个计算节点上进行运行. 这其实并不是一个最合适的选择. 以如下查询为例, 在一个共有 3 个 primary segment 的集群中生成了如下查询计划. 可以看到, slice1 总共只会吐出 ...

Posted by w@hidva.com on September 21, 2020

从 C++20 标准来看 memory order: 1

接从 C++20 标准来看 memory order:0 在 c++20 标准中, 与 memory order 有关的章节主要集中在 6.9.1 Sequential execution, 6.9.2 Multi-threaded executions and data races, 31.4 Order and consistency 中. 要想精确掌握 memory order, ...

Posted by w@hidva.com on September 15, 2020

从 C++20 标准来看 memory order: 0

早在 2016 年, 我就想熟练掌握 memory order. 当时还想着 c++ memory order 这么重要的概念, 一定对其有着最精确, 不能有丝毫歧义的理解. 所以就想着从 c++ 标准文档这个第一手资料入手学习. 悲剧的是当时就怎么都读不懂, 就是每一个字都认识, 合在一起就不知啥意思这种地步. 于是不得不匆匆收尾, 留下了 C++11-原子操作这么个虎头虎脑的总结. 现...

Posted by w@hidva.com on September 15, 2020

当分区表遇到了继承

资深 pg 玩家踏出来的坑

TL;DR Greenplum 基于 PG 继承机制实现了分区表机制, 但未做好与手动创建的继承关系之间的处理. 导致了当两者混用时可能会出现各种意想不到的情况. Long Story 就在刚刚, 我在享受我美好周末的时候. 忽然被拉到了一个电话会议中. 有一个用户 CREATE INDEX 总是失败, 而且很严重, 会触发 coredump. 一阵头大, 毕竟最近一次版本是我发布的,...

Posted by w@hidva.com on September 5, 2020

AS2CFG - 为汇编生成控制流图

糟糕! 8月只剩最后一天啦! 而我的文章还是一篇没写最近在忙于一个非常有意思的事情, 以至于没有时间搞出一篇正经点的文章, 草稿站里倒是有了几篇草稿, 今天抓着 8 月的尾巴更新一篇. (P.S. 王吓吓终于睡着啦.!! 早在很久以前, 具体一点说, 应该是在 2018 年 12 月 2 日看完编译器设计这本书时, 我就想着搞点什么东西出来, 来作为一次总结与回顾. 我就想啊想啊,...

Posted by w@hidva.com on August 30, 2020

PG 中的 SubPlan, ReScan

之前在尝试为 ADB PG 加入弹性调度能力, 在调试期间, 曾经遇到一个非常诡异的 bug, 结果时对时不对. 当时触发这个 bug 的查询非常复杂, 使用了大量的子查询, 所以一度让我怀疑是不是弹性调度未做好子查询情况下的适配. 所以当时便去看了下 PG/GP 中子查询的优化执行链路, 最终发现是因为 double 类型精度问题导致地正常现象 :-(! 这篇文章试图从子查询在编译之后的...

Posted by w@hidva.com on July 6, 2020