GreenPlum數(shù)據(jù)分布機(jī)制
一、介紹
GreenPlum是Coodinator/Segment架構(gòu),集群通常由一個(gè)Coodinator節(jié)點(diǎn)和一個(gè)standby coodinator節(jié)點(diǎn)以及多個(gè)segment節(jié)點(diǎn)組成,其中數(shù)據(jù)放置在segment節(jié)點(diǎn)上。Coodinator是整個(gè)數(shù)據(jù)庫(kù)的入口,客戶端只會(huì)連接到Coodinator上并執(zhí)行相關(guān)查詢操作,Standby節(jié)點(diǎn)為Coordinator提供高可用支持,Mirror為primary的備。

數(shù)據(jù)默認(rèn)使用hash分布。
二、插入時(shí)數(shù)據(jù)是如何分布分發(fā)到哪個(gè)segment?
1、插入操作時(shí)值的由來
我們看下insert語(yǔ)句的執(zhí)行計(jì)劃:

它沒有Motion節(jié)點(diǎn),僅1個(gè)slice,即root slice。Result節(jié)點(diǎn)是將insert的值物化以構(gòu)建TupleTableSlot進(jìn)行插入。也就是先物化然后insert。
這里主要關(guān)注物化的值從哪來。Result節(jié)點(diǎn)的執(zhí)行堆棧為:

ExecInterpExpr計(jì)算物化值步驟:EEOP_CONST;EEOP_ASSIGN_TMP。也就是得到個(gè)常量值放到resultslot中。

通過gdb跟蹤每個(gè)segment進(jìn)程,可以了解到這里的常量值就是INSERT語(yǔ)句中VALUES的值。
此時(shí)就可以了解到,SQL語(yǔ)句中VALUES值是直接發(fā)送到對(duì)于的segment的。
那么,具體是如何發(fā)送的呢?
2、值的發(fā)送
發(fā)送函數(shù)由cdbdisp_dispatchX完成。我們來跟蹤這個(gè)函數(shù),看下是如何分發(fā)到指定的segment的。
了解GP原理的話,我們知道發(fā)送前需要先在master和segment之間建立一個(gè)連接,然后將執(zhí)行計(jì)劃通過這個(gè)連接發(fā)送過去。建立連接就是創(chuàng)建Gang,由函數(shù)AssignGangs完成。

最終創(chuàng)建Gang建立連接會(huì)調(diào)用函數(shù)cdbgang_createGang_async。下面我們看下這個(gè)函數(shù)是如何建立連接的。

cdbconn_doConnectStart連接時(shí),SegmentDatabaseDescriptor segdbDesc中的segment_database_info::GpSegConfigEntry存有segment的端口及IP等信息,即gp_segment_configuration系統(tǒng)表中內(nèi)容。基于此信息,可以建立連接。
那么segdbDesc內(nèi)容從何而來?
從上述堆棧,segdbDesc是Gang中的db_descriptors[i],也就是buildGangDefinition函數(shù)生成:

SliceTable.slices[0].segments為入?yún)egments鏈表,存儲(chǔ)著執(zhí)行該slice的所有segment的content id。segdbDesc是根據(jù)content id從系統(tǒng)表gp_segment_config來獲取。
到這里可以知道,通過SliceTable中的segment鏈表得到該slice的segment的content。Insert僅一個(gè)slice,insert分發(fā)到執(zhí)行該insert的segment,content就是該segment的content id。通過該content id從gp_segment_configuration系統(tǒng)表中得到相關(guān)port、IP等信息,從而據(jù)此在master和segment之間建立連接。構(gòu)建鏈接后,insert語(yǔ)句通過此鏈接發(fā)送到對(duì)應(yīng)的segment。
那么content id又是如何與分布鍵聯(lián)系起來呢?
經(jīng)過分析,由函數(shù)DirectDispatchUpdateContentIdsForInsert來完成映射:

constvalue為分布鍵的key值,然后通過cdbhash函數(shù)通過系統(tǒng)hash函數(shù)將key值進(jìn)行hash,最終得到hashcode,該值即為content id,放到contentIds鏈表中。
三、基礎(chǔ)知識(shí)1、gp_segment_configuration

2、Gang、slice與QueryDesc之間關(guān)系

原文標(biāo)題 : GreenPlum數(shù)據(jù)分布機(jī)制
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
-

落地?zé)o錫!京東首個(gè)物流機(jī)器人超級(jí)工廠來了
-

OpenAI發(fā)布的AI瀏覽器,市場(chǎng)為何反應(yīng)強(qiáng)烈?
-

馬云重返一線督戰(zhàn),阿里重啟創(chuàng)始人模式
-

機(jī)器人奧運(yùn)會(huì)戰(zhàn)報(bào):宇樹機(jī)器人摘下首金,天工Ultra搶走首位“百米飛人”
-

存儲(chǔ)圈掐架!江波龍起訴佰維,索賠121萬
-

長(zhǎng)安汽車母公司突然更名:從“中國(guó)長(zhǎng)安”到“辰致科技”
-

豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
-

字節(jié)AI Lab負(fù)責(zé)人李航卸任后返聘,Seed進(jìn)入調(diào)整期
最新活動(dòng)更多
-
即日-5.20立即下載>> 【限時(shí)免費(fèi)】物理場(chǎng)仿真助力生物醫(yī)學(xué)領(lǐng)域技術(shù)創(chuàng)新
-
精彩回顧立即查看>> 【直播】 智測(cè)未來·2026海克斯康春季產(chǎn)品創(chuàng)新日
-
精彩回顧立即查看>> 【線下論壇】新唐科技×芯唐南京 2026 年度研討會(huì)
-
精彩回顧立即查看>> OFweek 2026(第十五屆)中國(guó)機(jī)器人產(chǎn)業(yè)大會(huì)
-
精彩回顧立即查看>> 維科杯· OFweek 2025中國(guó)機(jī)器人行業(yè)年度評(píng)選
-
精彩回顧立即查看>> 【在線會(huì)議】液冷服務(wù)器信號(hào)完整性及冷卻液關(guān)鍵電參數(shù)測(cè)試
推薦專題
- 1 AI狂歡遇上油價(jià)破百,全球股市還能漲多久? | 產(chǎn)聯(lián)看全球
- 2 OpenAI深夜王炸!ChatGPT Images 2.0實(shí)測(cè):中文穩(wěn)、細(xì)節(jié)炸,設(shè)計(jì)師慌了
- 3 6000億美元估值錨定:字節(jié)跳動(dòng)的“去單一化”突圍與估值重構(gòu)
- 4 Tesla AI5芯片最新進(jìn)展總結(jié)
- 5 連夜測(cè)了一波DeepSeek-V4,我發(fā)現(xiàn)它可能只剩“審美”這個(gè)短板了
- 6 熱點(diǎn)丨AI“瑜亮之爭(zhēng)”:既生OpenClaw,何生Hermes?
- 7 AI界的殺豬盤:9秒刪庫(kù)跑路,全員被封號(hào),還繼續(xù)扣錢!
- 8 2026,人形機(jī)器人只贏了面子
- 9 DeepSeek降價(jià)90%:價(jià)格屠夫不是身份,是戰(zhàn)略
- 10 AI Infra產(chǎn)業(yè)鏈卡在哪里了?
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市


分享





