火山引擎ByteHouse上線(xiàn)ELT能力,進(jìn)一步降低企業(yè)數字化維護成本


(相關(guān)資料圖)

在數據分析場(chǎng)景中,企業(yè)使用的數據通常具備來(lái)源多樣化的特點(diǎn),如支付交易記錄、用戶(hù)行為等,且數據格式各異,有的為行式存儲結構,有的為列式存儲結構。這就要求企業(yè)數倉具備一定的數據轉換能力。

傳統方式是采用Extract-Transform-Load (ETL)來(lái)將業(yè)務(wù)數據轉換為適合數倉的數據模型,然而,這依賴(lài)于獨立于數倉外的ETL系統,導致維護成本較高。但隨著(zhù)云計算時(shí)代的到來(lái),云數據倉庫具備更強擴展性和計算能力,也要求改變傳統的ELT流程。

火山引擎ByteHouse是一款基于開(kāi)源ClickHouse推出的云原生數據倉庫,為用戶(hù)提供極速分析體驗,能夠支撐實(shí)時(shí)數據分析和海量數據離線(xiàn)分析,同時(shí)還具備便捷的彈性擴縮容能力,極致分析性能和豐富的企業(yè)級特性。憑借其強大的計算能力,火山引擎ByteHouse目前已全面支持Extract-Load-Transform (ELT)的能力,讓用戶(hù)免于維護多套異構系統,產(chǎn)品易用性實(shí)現飛躍。

通過(guò)ByteHouse的ELT能力,用戶(hù)只需將數據導入,用自定義SQL語(yǔ)句在ByteHouse內部進(jìn)行數據轉換,無(wú)需依賴(lài)獨立的ETL系統及資源。具體來(lái)說(shuō),ByteHouse主要通過(guò)以下三個(gè)能力實(shí)現ELT能力:

首先,長(cháng)任務(wù)管理。ByteHouse的查詢(xún)時(shí)間為秒級,一旦查詢(xún)中出故障,系統會(huì )直接返回錯誤并重試。在ETL場(chǎng)景下,如果一個(gè)任務(wù)已經(jīng)執行50分鐘才發(fā)生故障,重試意味著(zhù)浪費了前50分鐘的資源,影響任務(wù)推進(jìn)。在ByteHouse中,SQL查詢(xún)會(huì )被轉化為一系列的算子,研發(fā)團隊則通過(guò)提升算子的容錯能力,來(lái)應對長(cháng)時(shí)間查詢(xún)下的系統故障問(wèn)題,即當某個(gè)算子無(wú)法獲得足夠的內存時(shí),系統允許該算子將一部分數據緩存在磁盤(pán)上,保證在資源緊張的情況下仍能夠完成工作。

其次,異步提交能力。面對大量長(cháng)耗時(shí)的ETL任務(wù)時(shí),傳統的同步執行方式需要客戶(hù)端等待服務(wù)端返回,容易出現超時(shí)問(wèn)題,影響后續任務(wù)執行,而B(niǎo)yteHouse提供的異步提交能力,通過(guò)客戶(hù)端的間歇性輪訓來(lái)獲得用戶(hù)任務(wù)的最終狀態(tài),由此保障任務(wù)在規定時(shí)間內完成。

最后,查詢(xún)隊列。當面臨大量離線(xiàn)加工請求時(shí),系統會(huì )出現超載。ByteHouse為此提供了查詢(xún)隊列能力,允許用戶(hù)從隊列大小、總CPU占用率、總內存占用率三個(gè)維度定義一個(gè)隊列。

具體來(lái)說(shuō),當用戶(hù)向某隊列提交查詢(xún)時(shí),ByteHouse可以通過(guò)組件監聽(tīng)各個(gè)隊列中的查詢(xún)指標,如果隊列未達到上限,則會(huì )將查詢(xún)入隊,否則拒絕。除此之外,ByteHouse還會(huì )檢查隊列的資源利用率,當空閑資源高過(guò)某閾值時(shí),自動(dòng)將等待中的查詢(xún)出隊。利用查詢(xún)隊列,用戶(hù)在編排ETL任務(wù)時(shí)無(wú)需擔心底層資源過(guò)載,讓開(kāi)發(fā)更加便捷。

長(cháng)任務(wù)管理、異步提交和查詢(xún)隊列是火山引擎ByteHouse ELT的核心能力。未來(lái),ByteHouse也會(huì )進(jìn)一步迭代,支持轉換函數、長(cháng)任務(wù)容錯、優(yōu)先級隊列等更豐富ELT功能,為用戶(hù)提供更極致、更便捷的使用體驗。(作者:何雅逸)

推薦DIY文章
性?xún)r(jià)比提升30%+,火山引擎第三代AMD實(shí)例 ECS g3a邀測上線(xiàn)
場(chǎng)景化新品登場(chǎng),北汽藍谷蓄力增長(cháng)新周期
北京衛星制造廠(chǎng)科技園:網(wǎng)紅“北京城市更新最佳實(shí)踐”打卡地
姿素華品牌全面煥新,苦參堿成分洗頭水正式上市
全新門(mén)派“萬(wàn)靈山莊”首曝 《劍網(wǎng)3》十四周年發(fā)布會(huì )全回顧
刷新全智能手表體驗上限,OPPO Watch 4 Pro發(fā)布:2199元起
精彩新聞

超前放送