科技改變生活 · 科技引領(lǐng)未來
【天極網(wǎng)IT新聞頻道】在剛剛過去的Smartbi V9新品發(fā)布會上,多位嘉賓為我們帶來的精彩演講在現(xiàn)場引起了熱烈反響,小麥從本周開始選取一些整理成文,與未能到場的麥粉們一起分享。現(xiàn)在分享的是Smartbi資深顧問杜健航所作《V9產(chǎn)品挖掘篇 -- 機器學習,預測未來》的演講。
如剛才我們的CEO所說,目前智能BI的潮流是不可逆轉(zhuǎn)的,我們公司一直是站在潮頭。去年我在廣州塔那邊跟大家分享了智能助手小麥,那是代表了我們在智能BI自然語言分析這一方向的努力和成果。今天,我想介紹的是我們的另外一個方向:數(shù)據(jù)挖掘。這個詞有點偏技術(shù),因此,我在開篇準備了兩個故事,這也是我們最近做的兩個項目,將有助于大家對“數(shù)據(jù)挖掘”的了解。
【故事】
一、銀行客戶流失預警
銀行面臨同質(zhì)化競爭的市場環(huán)境,存款的利息都差不多,客戶忠誠度也不會很高,現(xiàn)在去拉一個新客戶的成本是遠遠高于維護老客戶的成本。因此,很多銀行都對防止客戶流失很重視。這家銀行當時找到我們說,他們有一些歷史數(shù)據(jù),希望我們能從中預測出客戶流失的概率。這些歷史數(shù)據(jù)有客戶的固有屬性,如年齡、性別等,有行為屬性,如銀行卡收支情況、銀行APP使用情況,還有其它相關(guān)的屬性。接到這個需求以后,我們把工程師塞進了甲方的小黑屋,一周后他們提交了一個分析模型,這個模型用甲方提供的1000份歷史數(shù)據(jù)測試,準確率達到 86%。然后基于這個模型,為銀行的客戶建立了標簽,分為:流失客戶、動搖客戶、忠誠客戶3類。根據(jù)這3類標簽,銀行可以采取不同的措施。最后銀行針對“動搖客戶”進行二次細分,然后進行針對性關(guān)懷和獎勵,成功挽留了 50%以上的客戶,大大節(jié)省了投入成本。
二、違章建筑識別
第二個故事與城市管理有關(guān)。大家知道在城市管理中,有一個重要的工作內(nèi)容是違章建筑處理。違建處理首先要去調(diào)查與識別哪個是違建,這是一件工作量大,周期長,且有危險性的工作。當前違章的識別是被動式的,靠舉報然后人工去查證,我們客戶想尋求用技術(shù)手段來提高效率。于是我們又把工程師塞進了小黑屋,這次他們一個月后才走出來,因為這次的難度比上一個需求高了不少。這個模型對圖片的建筑識別率達到了 90%以上,同時該模型還能對建筑范圍進行標定。這里是一個中間結(jié)果圖片,那些被虛線框起來的就是模型所識別的一個個建筑物,深紅色部分就是一個可能違章的建筑,疑似違法擴建。可以看到我們實現(xiàn)了客戶的需求,客戶因此大大節(jié)省了人力,提升了處理速度。原來三四十人的巡查隊,變?yōu)榱宋辶说臒o人機操作與數(shù)據(jù)處理人員。從這個故事可以表明我們具有應用高級算法定制客戶專屬的圖像識別能力,也可以應用到其它場景如公眾場所人流預警,商場貨架補貨提醒。
三、全新挖掘模塊
我剛才提到工程師為客戶需求建立的各種分析模型,就是基于我們的Smartbi V9全新的數(shù)據(jù)挖掘模塊Smartbi Mining。這也是今天我要介紹的主要內(nèi)容。在過去的十多年里,Smartbi的產(chǎn)品團隊在傳統(tǒng)BI、自助BI領(lǐng)域,將強大功能與簡捷易用結(jié)合在一起帶給我們的客戶。今天,我們希望在智能BI、數(shù)據(jù)挖掘領(lǐng)域能給大家?guī)硗瑯拥母惺堋?/p>
四、Smartbi Mining的優(yōu)點
Smartbi Mining操作起來非常簡單,建模、訓練、部署等都是在一個界面完成。業(yè)務人員可以參與,整個過程很直觀。里面有很多內(nèi)置的模型算法,模型參數(shù)也是默認調(diào)整到最優(yōu)狀態(tài),大大降低了使用門檻。而且,系統(tǒng)隨時可以擴展,處理海量數(shù)據(jù)也不會出現(xiàn)問題。
【功能簡介】
一、數(shù)據(jù)源與數(shù)據(jù)處理
Smartbi Mining可以輕松接入各種大數(shù)據(jù)場景下的數(shù)據(jù)源,如Hadoop、Spark,也包括阿里云、華為的數(shù)據(jù)源,傳統(tǒng)的Smartbi數(shù)據(jù)源也可以無縫集成。也就是說,無論是結(jié)構(gòu)化數(shù)據(jù),還是非結(jié)構(gòu)化數(shù)據(jù),我們都可以拿來進行挖掘。在數(shù)據(jù)處理方面,無論是常規(guī)的要求,還是高級的要求,如One-Hot編碼、特征離散等都能滿足。
二、可視化挖掘
如果大家有一些挖掘項目經(jīng)驗的話,就會知道經(jīng)歷是比較痛苦的。基本上是純技術(shù)人員的工作,就是敲代碼,業(yè)務人員是很難參與的,只能最后拿一個結(jié)果。這種做法要么實施周期很長,要么就是得出來的結(jié)果難以理解,要么就是完全訂制調(diào)整不了,這些問題現(xiàn)在都能解決。Smartbi Mining是完全通過拖拉拽建模,整個過程、結(jié)果都可以看得到,業(yè)務人員是可以參與的。
三、內(nèi)置大量經(jīng)典算法
Smartbi Mining包含五大類算法,分別是分類算法、回歸算法、聚類算法、文本分析和深度學習。更重要的是,這些組件算法是可擴充的,客戶可以根據(jù)應用場景去訂制其它的算法。
四、算法與模型
市面上很多挖掘產(chǎn)品并不能支持企業(yè)級、大團隊開發(fā),要支持企業(yè)級挖掘應該有什么能力?我認為需要具備3點。第一,我們能將模型進行單獨的保存與使用,這樣就能使模型訓練調(diào)優(yōu)與模型使用分離,便于大型項目開展;第二,在企業(yè)級開發(fā)會嘗試多種模型,甚至是聯(lián)合使用模型,能使多個模型一起工作;第三,你所做的所有工作都是能一鍵導入、導出,環(huán)境遷移十分簡便。Smartbi Mining具備這些特性,所以才能說是支持企業(yè)級挖掘。
五、服務發(fā)布
在挖掘項目中,將模型部署生產(chǎn)是最后一公里,這是一個繁瑣的過程,但在Smartbi Mining中已經(jīng)成為過去。用戶可以一鍵完成部署,將訓練好的模型部署成為Web服務,然后直接通過調(diào)用該API向其發(fā)送數(shù)據(jù),獲取預測結(jié)果。Smarbi Mining還能對所有部署的服務進行統(tǒng)一管理,直接通過界面控制服務的啟停。也支持修改服務的配置信息,例如服務別名、服務描述,對于管理員十分的簡便。
六、小結(jié)
從我上面對挖掘功能的介紹中,大家了解到Smartbi這次發(fā)布的是一個一體化的數(shù)據(jù)挖掘模塊,提供從數(shù)據(jù)處理、建模到發(fā)布投產(chǎn)、運維管理的全流程支持,一個界面完成。同時它是一個全能型模塊,能滿足各方面人群的使用需求,無論你是數(shù)據(jù)挖掘?qū)<遥€是有一定經(jīng)驗的技術(shù)人員,或者是沒有任何經(jīng)驗的業(yè)務用戶,相信都可以輕松使用,并從中受益。
【挖掘?qū)嵺`】
產(chǎn)品這么強大又易用,我估計臺下已經(jīng)有客戶在考慮實踐挖掘的項目了,下面我簡單介紹一下一個挖掘項目是如何落地的。
一、挖掘?qū)嵤┝鞒?/strong>
通常來說是挖掘項目都能劃分為 4個步驟。首先是確定商業(yè)目標,這個目標同時要具備業(yè)務定義與技術(shù)定義,例如我們前面提到的預測客戶的流失概率,就是一個明確的目標。第二步是進行數(shù)據(jù)的準備與模型建立。這兩者其實是統(tǒng)一的,使用什么算法建立模型其實與具備什么數(shù)據(jù)密切相關(guān)。這里面會進行不斷的實驗與調(diào)整。接下來,模型相對穩(wěn)定后,就需要用不同的評估方法進行模型的評估與參數(shù)調(diào)優(yōu)。在達到一定的準確率后,模型就能進行部署,如前面所述這個在我們產(chǎn)品里面就很簡便了。而部署并不是終結(jié),挖掘項目通常都需要迭代。如調(diào)整目標、補充數(shù)據(jù)、優(yōu)化模型性能等,這也是我們很多項目都是多期的。
二、挖掘應用領(lǐng)域
通過前面內(nèi)容,大家應該對我們挖掘功能及其具體應用有一定的了解。除了前面提到的流失預警、圖像識別外,Smartbi Mining還能應用到價格預測、異常行為偵測、網(wǎng)絡輿情分析等等諸多方面,應用范圍是十分廣泛的。
【我們的優(yōu)勢】
一、挖掘與BI緊密相連
對比其它友商,Smartbi Mining與BI是緊密相連的。使用BI的數(shù)據(jù)源、數(shù)據(jù)集,已有項目資源能充分利用。結(jié)果利用BI 的成熟展現(xiàn)技術(shù),在數(shù)據(jù)觀察、結(jié)果輸出時,展現(xiàn)的效果更加多樣。反過來,BI的功能也被增強了,挖掘的高級數(shù)據(jù)處理功能可以被BI 使用。原來BI都是處理結(jié)構(gòu)化的數(shù)據(jù),現(xiàn)在文本、圖片、后續(xù)的音視頻非結(jié)構(gòu)化數(shù)據(jù)都能處理,極大增強BI的應用范圍。并且在BI的數(shù)據(jù)分析界面直接提供預測入口,大大降低了挖掘的使用門檻。
二、團隊實力
要保證挖掘項目成功,除了有成熟、易用的產(chǎn)品,更重要是要有專業(yè)的咨詢與實踐團隊,Smartbi就有這樣的團隊。我們最近參加了兩個比賽,一個是全球數(shù)據(jù)資源開發(fā)者大賽,這是一個中國互聯(lián)網(wǎng)協(xié)會舉辦的比賽,我們參與了中國移動專題,取得了第2名的好成績。另一個是中國載人航天工程辦公室主辦的天宮數(shù)據(jù)利用青年創(chuàng)新大賽,這個比賽就更為激烈了,全國的大型公司,各個高校都有參與,我們也闖進前10,最終排名第6。
三、應用成熟
Smartbi Mining雖然今天才發(fā)布,但其實已經(jīng)開發(fā)與應用有一段時間了。我們不少的客戶已經(jīng)成功實踐,為他們帶來實實在在的價值。其中就有稍后會分享的招商信諾,他們已經(jīng)使用了一段時間了,據(jù)反饋效果還不錯,我覺得大家可以放心使用。
在這個大數(shù)據(jù)的時代,每個企業(yè)都希望從數(shù)據(jù)里面獲得價值,我們推出Smartbi Mining就是希望幫助大家更好、更快地做這個事情。如果說從BI 里面我們獲得的是金沙,那么從Mining里面,我們獲得的將是金塊。
高悅林
版權(quán)所有 未經(jīng)許可不得轉(zhuǎn)載
增值電信業(yè)務經(jīng)營許可證備案號:遼ICP備14006349號
網(wǎng)站介紹 商務合作 免責聲明 - html - txt - xml