這兩天,數(shù)據(jù)庫行業(yè)出了一個大新聞。
根據(jù)權(quán)威機(jī)構(gòu)國際事務(wù)處理性能委員會(TPC,Transaction Processing Performance Council)的官網(wǎng)消息,騰訊云數(shù)據(jù)庫TDSQL成功通過TPC-C基準(zhǔn)測試,性能達(dá)到每分鐘8.14億筆交易(tpmC),打破了世界紀(jì)錄。
TPC-C官網(wǎng)截圖
眾所周知,TPC-C就是數(shù)據(jù)庫領(lǐng)域的“華山論劍”。
它是TPC組織的一場跑分(benchmark)大賽,測的是數(shù)據(jù)庫系統(tǒng)的實時在線事務(wù)處理(OLTP)能力與穩(wěn)定性。像咱們經(jīng)常用到的銀行交易、機(jī)票預(yù)訂,還有電商下單,都屬于OLTP應(yīng)用。
說白了,TPC-C打榜第一,就證明你的數(shù)據(jù)庫產(chǎn)品性能和穩(wěn)定性是最牛的,是No.1。
騰訊云TDSQL拿到了這個No.1,當(dāng)然值得慶賀。這是咱們國產(chǎn)數(shù)據(jù)庫的又一次高光時刻,也是中國科技力量的展現(xiàn)。
其實,對于騰訊云TDSQL來說,這次打榜也就是一次檢驗產(chǎn)品能力的“隨堂考”。這幾年,國產(chǎn)數(shù)據(jù)庫飛速崛起,實力早已今非昔比。TPC-C這樣的測試,已經(jīng)不是他們的終極目標(biāo)了。
那么,國產(chǎn)數(shù)據(jù)庫的終極目標(biāo)究竟是什么?他們是如何一步一步,朝著這個目標(biāo)挺進(jìn)的?
接下來,大家不妨和我一起,從頭回顧一下國產(chǎn)數(shù)據(jù)庫的那段滄桑往事。
█?1960-2006:國際巨頭崛起,國內(nèi)力量萌芽
世界上第一個數(shù)據(jù)庫,誕生于美國。
1961年,通用電氣公司的查爾斯·巴赫曼(Charles Bachman),成功開發(fā)出世界上第一個數(shù)據(jù)庫管理系統(tǒng)——IDS。
查爾斯·巴赫曼
后來,1970年,IBM公司的研究員埃德加·弗蘭克·科德(Edgar Frank Codd),通過一篇名為《大型共享數(shù)據(jù)庫數(shù)據(jù)的關(guān)系模型》的論文,開啟了關(guān)系數(shù)據(jù)庫時代。關(guān)系數(shù)據(jù)庫的出現(xiàn),為后來數(shù)據(jù)庫應(yīng)用高速發(fā)展奠定了基礎(chǔ)。
到了70年代中后期,隨著半導(dǎo)體技術(shù)的成熟,美國的IT產(chǎn)業(yè)開始騰飛。這一時期,大量的科技創(chuàng)業(yè)企業(yè)如雨后春筍般出現(xiàn),例如微軟(1975年)、蘋果(1976年)、甲骨文(1977年)等。
良好的發(fā)展氛圍,也為優(yōu)秀產(chǎn)品的問世奠定了基礎(chǔ)。數(shù)據(jù)庫領(lǐng)域的很多經(jīng)典產(chǎn)品,都是誕生于那個黃金時代,例如Oracle(1979)、Informix (1981)、DB2(1983)、Sybase(1988)等。
中國對數(shù)據(jù)庫的研究,其實也是起步于70年代末。
當(dāng)時,有一位中國學(xué)者,關(guān)注到了國外數(shù)據(jù)庫的發(fā)展。他敏銳地認(rèn)識到數(shù)據(jù)庫技術(shù)的重要價值,認(rèn)為中國也應(yīng)該積極開展相關(guān)的研究。
這個人,就是后來被稱為中國數(shù)據(jù)庫之父的薩師煊。
薩師煊
1978年,作為中國人民大學(xué)經(jīng)濟(jì)信息管理系的首任系主任,薩師煊第一次將“數(shù)據(jù)庫”這三個字寫在黑板上,標(biāo)志著這項技術(shù)在國內(nèi)正式萌芽。
進(jìn)入80年代后,在薩師煊等前輩的不懈努力下,國內(nèi)數(shù)據(jù)庫領(lǐng)域已經(jīng)初步積累了一批人才,技術(shù)研究體系也逐漸成型。
到了80年代中期,隨著國內(nèi)改革開放的不斷深入,我們開始效仿海外,進(jìn)行信息化建設(shè),助力經(jīng)濟(jì)發(fā)展。
當(dāng)時,國內(nèi)的信息技術(shù)水平極為落后,我們既沒有像樣的IT企業(yè),也沒有成熟的IT產(chǎn)品(包括數(shù)據(jù)庫),所以,只能全盤從國外引進(jìn)。
1987年,IBM公司專門給中國定制的第一版SAFEII系統(tǒng),在中國工商銀行網(wǎng)點大量上線。這標(biāo)志著中國銀行業(yè)信息化的起步。
一年后,1988年,華中理工大學(xué)的青年教師馮玉才,成功研制出了我國第一個自主版權(quán)的數(shù)據(jù)庫管理系統(tǒng)——CRDS,轟動全國。
CRDS的誕生,沒有能改變國內(nèi)引進(jìn)海外數(shù)據(jù)庫產(chǎn)品和技術(shù)的局面。在對手面前,我們的技術(shù)還是太稚嫩了,根本不是一個級別。當(dāng)時,銀行、郵電、電力等系統(tǒng),出于對穩(wěn)定性和性能要求,紛紛采用國外成熟方案,并形成了基礎(chǔ)體系。
Oracle、Sybase、IBM、微軟等海外巨頭公司的產(chǎn)品,進(jìn)入到我們國民經(jīng)濟(jì)的各個重要領(lǐng)域,雖然有力地推動了國內(nèi)的信息化建設(shè),但也逐步形成了壟斷。以數(shù)據(jù)庫為例,國外商業(yè)數(shù)據(jù)庫產(chǎn)品(像ORACLE、DB2等)在國內(nèi)的市場份額,最高能達(dá)到90%以上。
為了扶持國產(chǎn)數(shù)據(jù)庫的發(fā)展,國家863計劃設(shè)立了“數(shù)據(jù)庫重大專項”、“核高基”重大科研專項、以及“973”等計劃,為高校的數(shù)據(jù)庫研究提供經(jīng)費支持。而正是這些支持,給國內(nèi)數(shù)據(jù)庫研究保留了珍貴的火種。
1999年,中國人民大學(xué)的王珊教授(薩師煊的學(xué)生)牽頭成立了國內(nèi)第一家數(shù)據(jù)庫公司——人大金倉。2000年,馮玉才成立了武漢達(dá)夢。這兩家公司與后來成立的神舟通用、南大通用一起,并稱為本世紀(jì)初國產(chǎn)數(shù)據(jù)庫的四朵金花。
第一代國產(chǎn)數(shù)據(jù)庫的代表企業(yè)
█?2007-2012:互聯(lián)網(wǎng)蓬勃發(fā)展,新生力量崛起
進(jìn)入21世紀(jì)后,國外數(shù)據(jù)庫產(chǎn)品的市場占有率仍然維持在高位。國內(nèi)數(shù)據(jù)庫雖然實現(xiàn)了零的突破,但仍處于夾縫中生存的地位,日子過得非常艱難。
對于行業(yè)用戶來說,雖然國外數(shù)據(jù)庫產(chǎn)品運行穩(wěn)定可靠,但用起來卻十分“不爽”。一方面,這些產(chǎn)品的價格十分高昂,每年需要投入大量經(jīng)費,另一方面,廠商的服務(wù)響應(yīng)速度太慢,一旦出現(xiàn)問題,總需要等很久才能解決。
對于這些問題,大部分用戶選擇了忍氣吞聲,畢竟沒有別的選擇。但是,有一批用戶,決定采取行動。
這批用戶,就是中國互聯(lián)網(wǎng)企業(yè)。
90年代末的互聯(lián)網(wǎng)大爆發(fā),孵化出了我國第一批互聯(lián)網(wǎng)企業(yè)。他們在服務(wù)用戶的過程中,也需要使用到數(shù)據(jù)庫產(chǎn)品。
他們想到:“我們本身就是IT企業(yè),有軟件開發(fā)能力,既然國外產(chǎn)品不好用,我們?yōu)槭裁床蛔约焊隳???/p>
騰訊,就是擁有這樣想法的互聯(lián)網(wǎng)企業(yè)之一。
騰訊是做即時通訊工具QQ起家的,他們擁有非常龐大的用戶規(guī)模。QQ業(yè)務(wù)崛起之后,他們擴(kuò)展出了QQ秀、開心農(nóng)場等業(yè)務(wù),也推出了一些增值業(yè)務(wù)。這些業(yè)務(wù)和服務(wù),帶來了計費等泛金融場景,需要用到高可靠性的數(shù)據(jù)庫。
除了價格和服務(wù)之外,騰訊選擇自研數(shù)據(jù)庫的另一個主要原因,是傳統(tǒng)數(shù)據(jù)庫產(chǎn)品在性能上無法滿足需求。
互聯(lián)網(wǎng)廠商的用戶規(guī)模增長是幾何級的,而傳統(tǒng)數(shù)據(jù)庫產(chǎn)品都是集中式架構(gòu)。用戶規(guī)模越大,訪問壓力就越大。集中式架構(gòu)好比是一個壯漢,雖然扛沙袋能力強(qiáng),但沙袋越來越多,也是吃不消的。
騰訊在進(jìn)行數(shù)據(jù)庫設(shè)計時,采用的是分布式架構(gòu)。也就是說,將一個單體式數(shù)據(jù)庫,變成若干個異地分布的數(shù)據(jù)庫節(jié)點,讓更多的壯漢,分擔(dān)扛沙袋的壓力。
這種架構(gòu)的業(yè)務(wù)承擔(dān)能力可以無限擴(kuò)展,且安全性可靠性更強(qiáng)。
2009年左右,騰訊自研推出的數(shù)據(jù)庫產(chǎn)品,在7*24小時高可用、數(shù)據(jù)強(qiáng)一致方面表現(xiàn)出色,成功支撐了自身業(yè)務(wù)的高速發(fā)展。
到了2010年,云計算技術(shù)興起。騰訊數(shù)據(jù)庫在承接公司內(nèi)部業(yè)務(wù)時,發(fā)現(xiàn)云計算的云原生技術(shù)和多租戶隔離能力,非常適合大量的中小業(yè)務(wù)接入。于是,他們開始推動行業(yè)數(shù)據(jù)庫“上云”。
在他們看來,以云為基礎(chǔ),通過服務(wù)化的形式向企業(yè)交付和提供數(shù)據(jù)庫產(chǎn)品服務(wù),可支撐大規(guī)模場景的企業(yè)級、金融級分布式數(shù)據(jù)庫應(yīng)用,能夠做到靈活快速部署、敏捷開發(fā)、便捷運維等。分布式數(shù)據(jù)庫,一定會成為云計算時代產(chǎn)業(yè)的常態(tài)化能力。
為了實現(xiàn)這個目標(biāo),騰訊集中了大量資源,進(jìn)行內(nèi)核級的深度自研優(yōu)化,最終形成標(biāo)準(zhǔn)化的國產(chǎn)分布式數(shù)據(jù)庫產(chǎn)品,包括金融級分布式的TDSQL、計算與存儲分離的云原生數(shù)據(jù)庫CynosDB——現(xiàn)在的TDSQL-C等。
這些產(chǎn)品,奠定了騰訊在數(shù)據(jù)庫行業(yè)的地位,也讓他們成為第二代國產(chǎn)數(shù)據(jù)庫廠商的代表。
█?2013-2023:科技博弈升級,國產(chǎn)替代加速
2013年,棱鏡門事件的爆發(fā),給整個中國的信息技術(shù)產(chǎn)業(yè)敲響了警鐘。大家這才意識到,使用國外數(shù)據(jù)庫等軟軟硬件產(chǎn)品,不僅僅是價格、服務(wù)和性能問題,更涉及到安全。
于是,國內(nèi)開始重視信息通信基礎(chǔ)設(shè)施的自主研發(fā),推動核心技術(shù)的自主可控。
2016年3月4日,“信息技術(shù)應(yīng)用創(chuàng)新工作委員會”正式成立,標(biāo)志著信創(chuàng)產(chǎn)業(yè)的起步。
信創(chuàng)產(chǎn)業(yè)包括基礎(chǔ)硬件、基礎(chǔ)軟件、應(yīng)用軟件、信息安全這四大類別。而數(shù)據(jù)庫,是基礎(chǔ)軟件最重要的三大件(操作系統(tǒng)、數(shù)據(jù)庫、中間件)之一。
在這樣的背景下,國內(nèi)的數(shù)據(jù)庫公司和產(chǎn)品開始大量出現(xiàn),進(jìn)入了一個百花齊放的狀態(tài)。
騰訊的數(shù)據(jù)庫產(chǎn)品,也在這一時期開始發(fā)力的。
2014年,微眾銀行開始籌建。在調(diào)研了國內(nèi)外分布式關(guān)系型數(shù)據(jù)庫之后,認(rèn)為騰訊云數(shù)據(jù)庫TDSQL最能滿足安全可控以及銀行業(yè)務(wù)需求。于是,微眾銀行是成為了國內(nèi)首家采用互聯(lián)網(wǎng)分布式技術(shù)架構(gòu)的銀行,也是首家核心系統(tǒng)不是使用Oracle等集中式商業(yè)數(shù)據(jù)庫的銀行。
騰訊云TDSQL支撐了微眾銀行的核心系統(tǒng),大大增強(qiáng)了銀行業(yè)對國產(chǎn)數(shù)據(jù)庫的信心。
2015年,伴隨騰訊云的發(fā)展,騰訊云TDSQL開始對外推向市場。騰訊云TDSQL的性能和可靠性贏得了眾多行業(yè)用戶的認(rèn)可,多引擎系列相繼陸續(xù)支撐了國內(nèi)首家互聯(lián)網(wǎng)證券富途證券、和泰人壽等,以及首批數(shù)字政務(wù)平臺應(yīng)用數(shù)字廣東等。
2019年,騰訊云TDSQL先后在PICC和張家港行投產(chǎn)應(yīng)用,實現(xiàn)了銀行傳統(tǒng)核心系統(tǒng)的首次國產(chǎn)化。2020年,他們又在平安銀行信用卡中心實現(xiàn)了投產(chǎn)并完成業(yè)界首個銀行大型機(jī)下移到分布式平臺等突破。
截至目前,騰訊云TDSQL已經(jīng)服務(wù)超過600家金融政企客戶,并在互聯(lián)網(wǎng)、政務(wù)、電商、智慧物聯(lián)網(wǎng)等行業(yè)廣泛應(yīng)用。
騰訊云TDSQL是國產(chǎn)數(shù)據(jù)庫艱辛爬坡的一個縮影。大家看到的,是國產(chǎn)數(shù)據(jù)庫在各行各業(yè)的大量投產(chǎn),以及市場份額的迅速提升。大家看不到的,是這背后巨大的資源投入,還有無數(shù)的彎路、無數(shù)的掉坑,還有無比艱辛的自我證明過程。
像銀行數(shù)據(jù)庫這樣的系統(tǒng)替換,難度遠(yuǎn)超想象。國產(chǎn)數(shù)據(jù)庫廠商不僅要拿出過硬的技術(shù)和產(chǎn)品,還要提供全方位的服務(wù)。整個過程,不允許出現(xiàn)任何差錯。
正是基于點點滴滴的付出,以及持之以恒的努力,騰訊云TDSQL這樣的國產(chǎn)數(shù)據(jù)庫才最終贏得了用戶的認(rèn)可,也開創(chuàng)了現(xiàn)在的大好局面。這其中的來之不易,是我們常人所無法體會的。
█?結(jié)語
付出和回報,永遠(yuǎn)成正比。
據(jù)中國信通院《數(shù)據(jù)庫發(fā)展研究報告(2021年)》預(yù)測,預(yù)計到2025年,全球數(shù)據(jù)庫市場規(guī)模將達(dá)到798億美元。中國數(shù)據(jù)庫市場總規(guī)模將達(dá)到688億元,市場年復(fù)合增長率為23.4%。
而Garter的數(shù)據(jù)則顯示,到2025年,中國分析型數(shù)據(jù)庫市場來自海外廠商的將只剩下30%,交易型數(shù)據(jù)庫市場海外廠商市場也只會剩下50%左右。
換句話說,國產(chǎn)數(shù)據(jù)庫的發(fā)展勢頭強(qiáng)勁,市場前景廣闊。
我們回到開頭的問題,以騰訊云TDSQL為代表的國產(chǎn)數(shù)據(jù)庫,終極目標(biāo)究竟是什么?
答案是:鑄就中國信息產(chǎn)業(yè)發(fā)展的基石,服務(wù)千行百業(yè)的數(shù)字化轉(zhuǎn)型,推動中國數(shù)字經(jīng)濟(jì)的發(fā)展,改善所有人的生活。
騰訊云TDSQL打榜TPC-C成功,是國產(chǎn)數(shù)據(jù)庫發(fā)展浪潮的一個美麗浪花。未來,希望國產(chǎn)數(shù)據(jù)庫再接再勵,帶給我們更多的好消息。