數(shù)據(jù)庫是數(shù)字經(jīng)濟的基礎設施，是IT產(chǎn)業(yè)基礎軟件三駕馬車之一。當今世界，數(shù)字化建設與數(shù)據(jù)智能發(fā)展如火如荼，數(shù)據(jù)庫的穩(wěn)定與高效是保障高科技產(chǎn)業(yè)順利發(fā)展的重要因素，數(shù)據(jù)庫相關技術也成為新時代背景下大國之間競爭的制高點。目前，數(shù)據(jù)庫管理系統(tǒng)是美國對華禁運的35項“卡脖子”技術之一，而保障數(shù)據(jù)庫穩(wěn)定運行的智能運維技術是數(shù)據(jù)庫技術皇冠上的明珠。傳統(tǒng)人工運維方式已經(jīng)越來越難以維護功能復雜的數(shù)據(jù)庫系統(tǒng)在龐大業(yè)務與復雜負載下的穩(wěn)定性與高效性。但隨著數(shù)據(jù)業(yè)務的上升，對數(shù)據(jù)庫運維的需求卻日漸高漲，如何解決其中的內(nèi)在矛盾，已成為學術界與工業(yè)界共同關心的議題。

人工運維存在下列問題：

·成本高：數(shù)據(jù)庫管理員（DBA）年薪普遍在50萬以上

·效率低：資深工程師進行一次維護調(diào)參需要6小時以上

·門檻高：DBA培養(yǎng)周期長，非資深DBA調(diào)參效果難以滿足需求

針對上述問題，SmartOp團隊提出SmartOp數(shù)據(jù)庫智能管家，運用人工智能技術對數(shù)據(jù)庫進行智能調(diào)參和索引推薦，大大提高數(shù)據(jù)庫性能。團隊的技術方案目前達到國際領先水平，是唯一可落地的商業(yè)化解決方案。本項目主要功能分為兩部分：

① 數(shù)據(jù)庫自動調(diào)參

依托機器學習技術高效完成數(shù)據(jù)庫參數(shù)調(diào)優(yōu)，降低現(xiàn)階段數(shù)據(jù)庫參數(shù)調(diào)優(yōu)人力和時間成本。該功能使用長短期融合獎勵函數(shù)，在綜合考慮吞吐量和延遲的基礎上，結合短期收益和長期收益對調(diào)參過程進行彈性控制，解決了智能調(diào)參不能很好適應負載動態(tài)變化和工作狀態(tài)動態(tài)變化的難題；開發(fā)在線訓練方式，利用后臺克隆和并行化技術同時試錯多種調(diào)參方向，輔以機器學習技術對數(shù)據(jù)庫參數(shù)個數(shù)和維度進行壓縮降低調(diào)優(yōu)成本，解決了自動調(diào)參中參數(shù)數(shù)量多、相關性復雜、空間大等難題。

② 數(shù)據(jù)庫智能索引推薦

針對數(shù)據(jù)庫中因索引不合理導致的慢請求，以智能化方式推薦合理的索引結構，提高云服務廠商的服務質(zhì)量和數(shù)據(jù)庫購買用戶的使用體驗。該功能使用端到端訓練技術，以向量化方式統(tǒng)一管理工作負載和索引，杜絕人為干預，真正做到端到端訓練；使用代價估計模型，利用深度學習神經(jīng)網(wǎng)絡進行代價估計，快速評估索引性能，提升學習索引推薦效率。

圖1 數(shù)據(jù)庫自動調(diào)參

圖2 數(shù)據(jù)庫智能索引推薦

普通DBA推薦一次索引需要1-2小時，二智能索引推薦只需要1-3分鐘。同時，智能推薦的索引相比DBA推薦的索引可以使數(shù)據(jù)庫相應時間降低34%，空間消耗減少25%。

①SmartOp 相比于市面上的其他技術和產(chǎn)品，真正解決了自動調(diào)參實際落地的難點問題，性能調(diào)優(yōu)結果首次全面超越DBA專家，大幅提高數(shù)據(jù)庫運維效率?；诙喾N不同負載和不同類型數(shù)據(jù)庫的大量實驗證明，自動調(diào)參系統(tǒng)性能優(yōu)化結果明顯優(yōu)于目前已有數(shù)據(jù)庫調(diào)優(yōu)工具和 DBA 專家。即使在彈性云環(huán)境下，即用戶購買數(shù)據(jù)庫內(nèi)存或磁盤大小發(fā)生變化，或負載發(fā)生變化（類型不變) 的情況下，實驗證明自動調(diào)優(yōu)系統(tǒng)依然保持了較好的適應能力。

②調(diào)優(yōu)時間和調(diào)優(yōu)結果可控，極大縮短調(diào)優(yōu)時間并能夠保證數(shù)據(jù)庫性能的提升，相比于國際領先的技術 0tterTune，SmartOp 的性能要高出 20%。

研發(fā)階段

·由中國電子學會召開、中國工程院何友院士擔任鑒定委員會主任的科技成果鑒定會鑒定為成果國際領先。

·榮獲中國電子學會科學技術發(fā)明二等獎。

通用型數(shù)據(jù)庫引擎，對于所有使用數(shù)據(jù)庫的公司均可提供服務，因此應用領域幾乎包括各行各業(yè)。對于初創(chuàng)公司，高昂的數(shù)據(jù)庫運維成本是一筆較大的開銷，往往會阻礙公司的前期發(fā)展，智能化運維引擎可以有效幫助其緩解創(chuàng)業(yè)初期的窘境；對于大型公司，龐大的數(shù)據(jù)量意味著更加復雜的運維工作，微小的失誤也可能造成不可估量的損失，高效可靠的運維對其重要性不言而喻?；谝陨显?，本團隊相信產(chǎn)品擁有廣泛的市場前景。

應用案例：

①目前正與國內(nèi)頂級云廠商騰訊、華為等公司有著深度合作，提出的智能運維方案是目前唯一可落地的商業(yè)化解決方案，比騰訊云目前最先進方案節(jié)約調(diào)優(yōu)時間40%-60%，得到了騰訊TEG部門數(shù)據(jù)庫技術專家程彬的高度評價；

②與航天科工網(wǎng)絡信息發(fā)展有限公司開展合作項目，在數(shù)據(jù)庫管理和運維方面取得了一系列高水平成果，其核心技術已經(jīng)在航天科工網(wǎng)絡信息發(fā)展有限公司進行應用。

發(fā)展規(guī)劃：

①在2024年，計劃將業(yè)務拓展到其他國內(nèi)數(shù)據(jù)庫提供商，如阿里、人大金倉等，提供智能運維服務，該階段將提供直接就業(yè)崗位40+，間接就業(yè)崗位70+。

②在2025年，在繼續(xù)擴大已有市場份額的同時，針對其他數(shù)據(jù)庫運維過程中存在的難點痛點如根因分析、負載預測等方面進一步研發(fā)新產(chǎn)品，加深技術壁壘，該階段將提供直接就業(yè)崗位80+，間接就業(yè)崗位150+。

知識產(chǎn)權：

該成果已申請/授權多項中國發(fā)明專利。

合作方式：