「探跡技術(shù)大講堂」開(kāi)講，技術(shù)大神開(kāi)課揭秘SaaS大數(shù)據(jù)架構(gòu)

報(bào)導(dǎo)時(shí)間：2023/09/21

時(shí)間已經(jīng)來(lái)到ChatGPT引發(fā)中國(guó)AI熱潮的第十個(gè)月，「AI+X」無(wú)疑是今年技術(shù)型企業(yè)裡的當(dāng)紅命題，所謂外行看熱鬧、內(nèi)行看門(mén)道，這陣風(fēng)是否會(huì)徹底改變原有產(chǎn)品的技術(shù)架構(gòu)，如何利用新技術(shù)、新趨勢(shì)切入賽道甚至實(shí)現(xiàn)領(lǐng)跑才是泛科技領(lǐng)域的焦點(diǎn)。

作為中國(guó)智能銷(xiāo)售SaaS的開(kāi)創(chuàng)者，探跡科技目前已構(gòu)建超1.8億主體的企業(yè)全量知識圖譜，為企業(yè)解決從線(xiàn)索挖掘、商機(jī)觸達(dá)、客戶(hù)管理到成單分析等一系列銷(xiāo)售難題。面對(duì)如此巨量的數(shù)據(jù)，探跡的大數(shù)據(jù)架構(gòu)是如何演變的，SaaS企業(yè)裡的技術(shù)團(tuán)隊(duì)正在做哪些新的開(kāi)發(fā)與探索？

9月16日，「探跡技術(shù)大講堂」在探跡科技總部開(kāi)講，探跡科技CTO陳開(kāi)冉致開(kāi)場(chǎng)辭，探跡科技高級(jí)大數(shù)據(jù)開(kāi)發(fā)專(zhuān)家鄧楚健與雲器科技CTO關(guān)濤分別帶來(lái)各自的技術(shù)觀(guān)點(diǎn)與案例經(jīng)驗(yàn)，其中不乏探跡大數(shù)據(jù)架構(gòu)核心技術(shù)解讀，以及未來(lái)的數(shù)據(jù)算法引擎思考。

關(guān)濤：暢想「One Size Fits All」的數(shù)據(jù)架構(gòu)

關(guān)濤毫無(wú)疑問(wèn)是大數(shù)據(jù)領(lǐng)域專(zhuān)家中的專(zhuān)家。

早在2006年，關(guān)濤就加入微軟亞洲研究院，參與構(gòu)建微軟第一代分布式KV系統(tǒng)SearchRepository和Bing搜索的分布式存儲(chǔ)後臺(tái)Kirin Store。之後，關(guān)濤加入了微軟美國(guó)雲計(jì)算和企業(yè)事業(yè)部，主持和參與開(kāi)發(fā)了Azure Datalake、Cosmos/Scope等多套超大規(guī)模分布式存儲(chǔ)和計(jì)算平臺(tái)，直至2016年回國(guó)加入阿里，負(fù)責(zé)阿里巴巴主線(xiàn)大數(shù)據(jù)平臺(tái)飛天MaxCompute與Dataworks，之後又擔(dān)任阿里和螞蟻集團(tuán)技術(shù)委員會(huì)計(jì)算平臺(tái)領(lǐng)域組長(zhǎng)、阿里雲架構(gòu)組大數(shù)據(jù)組組長(zhǎng)，直到2021年創(chuàng)立雲器科技，擔(dān)任首席技術(shù)官。

雲器科技CTO關(guān)濤

關(guān)濤表示，哪怕經(jīng)過(guò)多年的發(fā)展，國(guó)內(nèi)「原創(chuàng)」數(shù)據(jù)平臺(tái)技術(shù)依然偏少，但數(shù)據(jù)領(lǐng)域繼續(xù)保持高速增長(zhǎng)，2023年國(guó)內(nèi)數(shù)據(jù)平臺(tái)技術(shù)依舊大多是組裝式數(shù)據(jù)架構(gòu)，引擎數(shù)據(jù)語義均不統(tǒng)一，異構(gòu)存儲(chǔ)及多套元數(shù)據(jù)帶來(lái)了極高的開(kāi)發(fā)成本、維護(hù)成本和大量的計(jì)算與存儲(chǔ)冗餘。

最關(guān)鍵的是，這類(lèi)的組裝式數(shù)據(jù)架構(gòu)缺乏滿(mǎn)足業(yè)務(wù)的靈活性。

關(guān)濤認(rèn)為，應(yīng)該有一個(gè)一體化數(shù)據(jù)分析引擎，實(shí)現(xiàn)統(tǒng)一接口、統(tǒng)一處理邏輯，提供多種優(yōu)化指標(biāo)的高覆蓋度和靈活調(diào)整能力。此外，AI擴展了能夠處理的數(shù)據(jù)類(lèi)型，給結(jié)構(gòu)化數(shù)據(jù)提供了新的處理能力，接下來(lái)將有全新的大數(shù)據(jù)架構(gòu)，支持AI新計(jì)算範式。

那什麼才是合理的解？

探跡同學(xué)向關(guān)濤請教

關(guān)濤的答案是，開(kāi)放式湖倉(cāng)一體架構(gòu)是面向Data+AI融合場(chǎng)景的最優(yōu)選擇，而具備多元獨(dú)立、分析引擎一體化、BA+AI的數(shù)據(jù)平臺(tái)才能最大程度解放數(shù)據(jù)生產(chǎn)力。

當(dāng)然，關(guān)濤認(rèn)為「增量計(jì)算」也許是one size fits all實(shí)現(xiàn)的關(guān)鍵，這也是目前雲器科技Lakehouse下一代架構(gòu)的目標(biāo)。

鄧楚健：沒有最好的架構(gòu)，只有最適合的架構(gòu)

湖倉(cāng)一體也是探跡科技的大數(shù)據(jù)架構(gòu)團(tuán)隊(duì)在應(yīng)用的技術(shù)之一。探跡高級(jí)大數(shù)據(jù)開(kāi)發(fā)專(zhuān)家鄧楚健帶來(lái)了他的分享。

鄧楚健作為探跡大數(shù)據(jù)平臺(tái)架構(gòu)的高級(jí)技術(shù)專(zhuān)家，一直專(zhuān)注於探跡的 PB 級(jí)大規(guī)模數(shù)據(jù)實(shí)時(shí)計(jì)算架構(gòu)研發(fā)，在企業(yè)大數(shù)據(jù)及知識圖譜技術(shù)方面有豐富的技術(shù)實(shí)踐和成果積累。

探跡高級(jí)大數(shù)據(jù)開(kāi)發(fā)專(zhuān)家鄧楚健

鄧楚健介紹，探跡的數(shù)據(jù)來(lái)源和特點(diǎn)是大數(shù)據(jù)領(lǐng)域中別樹一幟的，具有數(shù)據(jù)量大，多源多構(gòu)半結(jié)構(gòu)化數(shù)據(jù)，原始關(guān)聯(lián)性弱，大規(guī)模隨機(jī)更新等特點(diǎn)。如何從這種海量低價(jià)值密度數(shù)據(jù)中，提煉出有商業(yè)價(jià)值的部分，及時(shí)的呈現(xiàn)給客戶(hù)，實(shí)現(xiàn)為客戶(hù)建立商業(yè)連結(jié)的願景，是探跡大數(shù)據(jù)架構(gòu)面臨的主要挑戰。

當(dāng)行業(yè)都在套標(biāo)準(zhǔn)化的數(shù)據(jù)包時(shí)，探跡選擇搭建自己的大數(shù)據(jù)架構(gòu)。探跡的目標(biāo)很清楚，要做「全量知識圖譜」，這是一條「開(kāi)荒」的路子，也是目前中國(guó) toB 銷(xiāo)售真正需要的東西——商機(jī)往往就在這些數(shù)據(jù)信息裡，缺一不可，晚一步觸達(dá)都有可能錯失機(jī)會(huì)。

鄧楚健透露，探跡科技的大數(shù)據(jù)架構(gòu)目前已經(jīng)演進(jìn)到第三代TDR（Tungee Data Refresh），該架構(gòu)以存算分離、實(shí)時(shí)上新、數(shù)據(jù)治理為核心，極大滿(mǎn)足了各行業(yè)各版本的數(shù)據(jù)迭代上新要求，為客戶(hù)提供不可計(jì)量的商業(yè)價(jià)值。下一代，探跡大數(shù)據(jù)架構(gòu)將朝著獨(dú)家數(shù)據(jù)引擎的方向迭代，即Tungee Data Engine。

探跡同學(xué)向鄧楚健請教

此外，探跡大數(shù)據(jù)架構(gòu)體驗(yàn)了傳統(tǒng)資料庫(kù)技術(shù)到大資料庫(kù)，再到數(shù)據(jù)湖，目前正在應(yīng)用湖倉(cāng)一體、流批一體、智能調(diào)度、大語言模型引擎整合等技術(shù)。

探跡大數(shù)據(jù)的每代架構(gòu)都解決了當(dāng)時(shí)期的核心問(wèn)題，都具有合理性。鄧楚健認(rèn)為，優(yōu)秀的架構(gòu)不是一蹴而就的，而是不斷演化而來(lái)。沒有最好的架構(gòu)，只有最合適的架構(gòu)，而架構(gòu)的發(fā)展過(guò)程，也是組織結(jié)構(gòu)的發(fā)展過(guò)程。技術(shù)架構(gòu)要貼合組織溝通結(jié)構(gòu)，才能發(fā)揮出最佳效果，順應(yīng)時(shí)代，與時(shí)俱進(jìn)，不斷地吸收新的技術(shù)和經(jīng)驗(yàn)，不斷迭代演進(jìn)才是發(fā)展的根本。

本次探跡技術(shù)大講堂中，探跡科技的技術(shù)團(tuán)隊(duì)與雲器科技就大數(shù)據(jù)架構(gòu)現(xiàn)狀與趨勢(shì)進(jìn)行了深入交流，期待多元的技術(shù)思考與觀(guān)點(diǎn)推動(dòng)技術(shù)進(jìn)一步創(chuàng)新，在不久的將來(lái)助力行業(yè)技術(shù)繼續(xù)迭代升級(jí)、引領(lǐng)行業(yè)發(fā)展。

作為國(guó)內(nèi)智能銷(xiāo)售SaaS的開(kāi)創(chuàng)者，探跡科技堅(jiān)持創(chuàng)新為本、技術(shù)為先，立足各行業(yè)、企業(yè)真實(shí)銷(xiāo)售場(chǎng)景需求，致力於用大數(shù)據(jù)與AI技術(shù)為企業(yè)提供全流程智能銷(xiāo)售SaaS服務(wù)，用科技助力企業(yè)降本增效、斬獲商機(jī)。在過(guò)去的七年裡，探跡科技構(gòu)建了超過(guò)1.8億家主體的企業(yè)全量知識圖譜，開(kāi)闢了智能銷(xiāo)售SaaS的新時(shí)代，先後榮獲「專(zhuān)精特新」「高科技高成長(zhǎng)企業(yè)」「全球獨(dú)角獸」等榮譽(yù)，服務(wù)客戶(hù)超過(guò)20000家，其中包括阿里巴巴、微軟、亞馬遜、戴爾等行業(yè)巨頭。

推薦報(bào)導(dǎo)