馬云說:“未來最大的能源不是石油而是大數(shù)據(jù)”。大數(shù)據(jù)已經(jīng)從概念走向了價值,甚至成為了可積累的資產(chǎn),人們越來越期望通過海量數(shù)據(jù)的處理發(fā)現(xiàn)機(jī)遇。隨著教育行業(yè)與大數(shù)據(jù)的深度融合,越來越多的高校(高職)開始著重建設(shè)大數(shù)據(jù)專業(yè)與大數(shù)據(jù)實(shí)驗(yàn)室,培養(yǎng)稀缺的大數(shù)據(jù)人才,以填補(bǔ)百萬級的大數(shù)據(jù)人才缺口。然而,目前大多數(shù)高校的大數(shù)據(jù)專業(yè)建設(shè)仍然處于試錯階段,從實(shí)驗(yàn)環(huán)境、課程體系直至師資力量,亟需系統(tǒng)有效的統(tǒng)籌規(guī)劃。

對此,云創(chuàng)大數(shù)據(jù)推出了全國高校(高職)大數(shù)據(jù)專業(yè)建設(shè)支撐計劃,與全國各大高校一同探索大數(shù)據(jù)專業(yè)的建設(shè)之路。全國高校(高職)大數(shù)據(jù)專業(yè)建設(shè)支撐計劃由清華大學(xué)博士、中國信息協(xié)會大數(shù)據(jù)分會副會長劉鵬教授提出,劉教授曾率隊(duì)奪得2002 PennySort國際計算機(jī)排序比賽冠軍(這是我國獲得的較早的一個大數(shù)據(jù)比賽冠軍),在清華大學(xué)、北京大學(xué)、中科院等單位做了500多場學(xué)術(shù)報告,多次主持全國性網(wǎng)格、云計算會議,在2010年就曾組織與培養(yǎng)了較早的一批云計算師資力量(http://www.chinacloud.cn/show.aspx?id=3632&cid=50),有著豐富的科研與教學(xué)經(jīng)驗(yàn)。

早年,劉教授主編了國內(nèi)云計算教材——《云計算》,這本書已經(jīng)更新到第三版,成為全國幾乎所有高校的標(biāo)準(zhǔn)教材。近期,劉鵬教授聯(lián)合全國多所大學(xué)共同編寫的《大數(shù)據(jù)》教材即將出版,而其編著的國內(nèi)原著云計算編程書籍——《實(shí)戰(zhàn)Hadoop——開啟通向云計算的捷徑》目前已經(jīng)升級出版為《實(shí)戰(zhàn)Hadoop2.0——從云計算到大數(shù)據(jù)》。同時,劉教授創(chuàng)辦了國內(nèi)知名的中國云計算(www.chinacloud.cn)和中國大數(shù)據(jù)(www.thebigdata.cn)網(wǎng)站,可為大數(shù)據(jù)專業(yè)的建設(shè)提供多元化的資源。

具體而言,全國高校(高職)大數(shù)據(jù)專業(yè)建設(shè)支撐計劃將從以下幾個方面對大數(shù)據(jù)專業(yè)建設(shè)給予支持,為大數(shù)據(jù)人才的培養(yǎng)提供前提條件:
制定人才培養(yǎng)計劃,完善大數(shù)據(jù)教學(xué)體系
由于各大高校的大數(shù)據(jù)專業(yè)處于起步階段,培養(yǎng)計劃與教學(xué)體系的系統(tǒng)性建設(shè)成為了建設(shè)重點(diǎn)。對此,全國高校(高職)大數(shù)據(jù)專業(yè)建設(shè)支撐計劃將協(xié)助各高校制定大數(shù)據(jù)人才培養(yǎng)計劃,為開設(shè)各種大數(shù)據(jù)相關(guān)課程設(shè)定技術(shù)標(biāo)準(zhǔn),包括《云計算》、《大數(shù)據(jù)》、《數(shù)據(jù)挖掘與R語言》、《深度學(xué)習(xí)》、《Hadoop編程》、《大數(shù)據(jù)清洗》、《大數(shù)據(jù)運(yùn)維》等等,并輔助提供相應(yīng)的教學(xué)計劃、教材、課件、實(shí)驗(yàn)規(guī)劃等。

提供完備的實(shí)驗(yàn)環(huán)境與實(shí)驗(yàn)教材視頻
大數(shù)據(jù)實(shí)驗(yàn)需要每位學(xué)生提供一套集群計算環(huán)境,但這對高校而言,根本是一個無法實(shí)現(xiàn)的要求。即使是使用虛擬化技術(shù),一臺服務(wù)器只能虛擬出十幾臺虛擬機(jī),也是遠(yuǎn)遠(yuǎn)不夠的。而使用容器技術(shù),則可以把一臺機(jī)器虛擬出上千個容器,再利用大數(shù)據(jù)平臺把多臺服務(wù)器的數(shù)萬個容器組織起來,就能實(shí)現(xiàn)為每個學(xué)生提供一套集群的需求了。
對此,全國高校(高職)大數(shù)據(jù)專業(yè)建設(shè)支撐計劃借力BDRack大數(shù)據(jù)實(shí)驗(yàn)一體機(jī),以Docker容器技術(shù)虛擬出足夠的實(shí)驗(yàn)集群,并提供了從實(shí)驗(yàn)設(shè)備、實(shí)驗(yàn)手冊直至教學(xué)視頻的一站式服務(wù),其配套的實(shí)驗(yàn)手冊和教學(xué)視頻涵蓋了36個關(guān)鍵的大數(shù)據(jù)應(yīng)用實(shí)驗(yàn),每個實(shí)驗(yàn)呈現(xiàn)詳細(xì)的實(shí)驗(yàn)?zāi)康?、?shí)驗(yàn)內(nèi)容、實(shí)驗(yàn)原理和實(shí)驗(yàn)流程指導(dǎo),廣大師生通過參照手冊與視頻,即可輕松完成每個實(shí)驗(yàn)。

具體而言,BDRack大數(shù)據(jù)實(shí)驗(yàn)一體機(jī)主要為各大高校(高職)的大數(shù)據(jù)應(yīng)用提供了軟硬件于一體的平臺,其基于Docker容器技術(shù),實(shí)現(xiàn)了操作平臺的簡單易用,可提供Hadoop、HBase、Spark、Storm等大數(shù)據(jù)教學(xué)組件,以少量集群供大量學(xué)生同時在線使用,彼此隔離,互不影響,為高校大幅度節(jié)省了硬件和人員管理的投入成本。配套實(shí)驗(yàn)手冊與教學(xué)視頻,大數(shù)據(jù)實(shí)驗(yàn)一體機(jī)可以幫助高校更好地滿足課程設(shè)計、課程上機(jī)實(shí)驗(yàn)、實(shí)習(xí)實(shí)訓(xùn)、科研訓(xùn)練等多方面需求。目前,鄭州大學(xué)、西京學(xué)院等院校已經(jīng)搶先部署使用,正在逐步建立和完善大數(shù)據(jù)教學(xué)科研體系。


其中,BDRack大數(shù)據(jù)實(shí)驗(yàn)一體機(jī)應(yīng)用的Docker容器云平臺,不僅啟動可以在秒級實(shí)現(xiàn),而且Docker對系統(tǒng)資源的利用率很高,一臺主機(jī)上可以同時運(yùn)行數(shù)千個 Docker容器。容器除了運(yùn)行其中應(yīng)用外,基本不消耗額外的系統(tǒng)資源,性能高且系統(tǒng)開銷小。對于傳統(tǒng)虛擬機(jī)方式運(yùn)行10個不同的應(yīng)用需要10個虛擬機(jī),Docker只需要啟動10個隔離的應(yīng)用即可實(shí)現(xiàn)。

容器云平臺
輔助開展大數(shù)據(jù)教學(xué)、實(shí)驗(yàn)與科研工作
全國高校(高職)大數(shù)據(jù)專業(yè)建設(shè)支撐計劃利用虛擬化教學(xué)資源,搭建教學(xué)系統(tǒng)和集群平臺,借助大數(shù)據(jù)分析主流軟件框架,打造與高校一致的實(shí)驗(yàn)與科研環(huán)境,提供數(shù)據(jù)可視化研究、數(shù)據(jù)挖掘的基礎(chǔ)平臺等多元化應(yīng)用,并由難而易、循序漸進(jìn),逐步提升學(xué)生的學(xué)習(xí)技能和實(shí)踐水平,提高大數(shù)據(jù)教學(xué)、實(shí)驗(yàn)與科研的質(zhì)量和成效。在這個過程中,無論是對于實(shí)驗(yàn)設(shè)備的安裝調(diào)試,亦或是教材、視頻的使用指導(dǎo),該計劃都將給予相應(yīng)的指導(dǎo),并提供上門服務(wù),以輔助師生開設(shè)實(shí)驗(yàn)課、開展科研項(xiàng)目,真正實(shí)現(xiàn)快速上手使用。

其中,就科研而言,DeepRack深度學(xué)習(xí)一體機(jī)逐漸成為不可或缺的應(yīng)用。作為專業(yè)的深度學(xué)習(xí)軟硬件平臺,DeepRack深度學(xué)習(xí)一體機(jī)可廣泛用于圖像識別、語音識別和語言翻譯等多項(xiàng)深度學(xué)習(xí)領(lǐng)域,并具有很強(qiáng)的計算能力,四個節(jié)點(diǎn)滿配時相當(dāng)于160臺服務(wù)器的計算能力,同時集成深度學(xué)習(xí)領(lǐng)域的開源軟件框架——TensorFlow與Caffe,提供豐富的圖像數(shù)據(jù)集,以滿足實(shí)驗(yàn)與模型塑造過程中的訓(xùn)練數(shù)據(jù)需求,構(gòu)建了從部署到使用的完整服務(wù)體系,為高??蒲刑峁┯布④浖?、數(shù)據(jù)以及技術(shù)等支持,徹底解決深度學(xué)習(xí)應(yīng)用的高門檻、難部署的困境。
免費(fèi)培養(yǎng)高校大數(shù)據(jù)教師,建立師資隊(duì)伍
針對大數(shù)據(jù)教學(xué)、實(shí)驗(yàn)或科研,全國高校(高職)大數(shù)據(jù)專業(yè)建設(shè)支撐計劃也提供優(yōu)質(zhì)的培訓(xùn)與指導(dǎo)。對于各種專業(yè)設(shè)備的操作使用,該計劃給予了現(xiàn)場實(shí)施服務(wù),并在后期提供相應(yīng)的技術(shù)培訓(xùn)服務(wù)。此外,面向全國高校教師,云創(chuàng)大數(shù)據(jù)也會融合其大數(shù)據(jù)教學(xué)、科研需求,經(jīng)常舉辦免費(fèi)培訓(xùn),比如近期就會在周末舉辦為期2天的免費(fèi)培訓(xùn)班,以期幫助各大高校進(jìn)一步培養(yǎng)師資力量。
從大數(shù)據(jù)實(shí)驗(yàn)環(huán)境、基礎(chǔ)知識學(xué)習(xí)、真機(jī)實(shí)驗(yàn)訓(xùn)練直至師資隊(duì)伍的培養(yǎng)壯大,全國高校(高職)大數(shù)據(jù)專業(yè)建設(shè)支撐計劃給予了高校大數(shù)據(jù)教學(xué)、實(shí)驗(yàn)、科研清晰明確的規(guī)劃,配套相應(yīng)的實(shí)驗(yàn)教材、實(shí)驗(yàn)手冊、視頻教程以及師資培訓(xùn)服務(wù),知識體系涵蓋大數(shù)據(jù)算法、接口、工具、平臺等多方面內(nèi)容,從大數(shù)據(jù)監(jiān)測與收集、大數(shù)據(jù)存儲與處理、大數(shù)據(jù)分析與挖掘直至大數(shù)據(jù)創(chuàng)新,以此幫助所有感興趣的高校迅速培養(yǎng)一支過硬的教學(xué)隊(duì),建立和完善高水平的大數(shù)據(jù)教學(xué)、實(shí)驗(yàn)以及科研體系,深度培育高層次大數(shù)據(jù)人才,進(jìn)一步提高大數(shù)據(jù)專業(yè)就業(yè)率,增強(qiáng)高校的硬實(shí)力和影響力。
