時間：2024-01-15 14:54:22
導(dǎo)語：在大數(shù)據(jù)在云計算中的應(yīng)用的撰寫旅程中，學(xué)習(xí)并吸收他人佳作的精髓是一條寶貴的路徑，好期刊匯集了九篇優(yōu)秀范文，愿這些內(nèi)容能夠啟發(fā)您的創(chuàng)作靈感，引領(lǐng)您探索更多的創(chuàng)作可能。
【關(guān)鍵詞】云計算 大數(shù)據(jù) 網(wǎng)絡(luò)
云計算技術(shù)是基于網(wǎng)絡(luò)，提供數(shù)據(jù)計算服務(wù)、存儲服務(wù)的新型網(wǎng)絡(luò)管理調(diào)度技術(shù)，統(tǒng)籌的將網(wǎng)格計算、并行計算以及分布式計算加以實現(xiàn)，應(yīng)用到了網(wǎng)絡(luò)數(shù)據(jù)管理中，并結(jié)合其他軟件、硬件提供給用戶多種服務(wù)。利用云技術(shù)，可以大幅度的提高資源利用率，這一新型的超級計算其數(shù)據(jù)非常密集，能夠?qū)崿F(xiàn)集數(shù)據(jù)存儲、數(shù)據(jù)計算、服務(wù)器功能、應(yīng)用軟件功能、IT軟硬件設(shè)備資源虛擬化。當今全球互聯(lián)網(wǎng)的流量也在爆炸式的增漲著，云計算與大數(shù)據(jù)的應(yīng)用是數(shù)據(jù)處理的重要技術(shù)。并且，隨著網(wǎng)絡(luò)技術(shù)、軟件技術(shù)的發(fā)展，云技術(shù)在數(shù)據(jù)的處理中展現(xiàn)出了越來越多優(yōu)勢，如表1所示。
大數(shù)據(jù)是在云技術(shù)之上興起的新課題，大數(shù)據(jù)往往具備以下四個特征：
（1）大量的數(shù)據(jù)；
（2）多種類型的數(shù)據(jù)；
（3）數(shù)據(jù)生成及處理速度快；
（4）大數(shù)據(jù)的巨大價值；這也就是大數(shù)據(jù)的4V特征。
并且S著基于云計算技術(shù)的大數(shù)據(jù)不斷的發(fā)展，還提出了大數(shù)據(jù)的第五點特征及要求，便是強化大數(shù)據(jù)處理分析中的準確性（Veracity），目前的大數(shù)據(jù)處理已經(jīng)進入了5V時代。
1 大數(shù)據(jù)的特點
大數(shù)據(jù)技術(shù)對比傳統(tǒng)數(shù)據(jù)的諸多特性來分析，具有非常明顯的差異。這些差異主要體現(xiàn)在數(shù)據(jù)的計算、存儲以及檢索等多方面。傳統(tǒng)的數(shù)據(jù)線性特征顯著，對比離散型顯著的大數(shù)據(jù)而言，大數(shù)據(jù)的發(fā)散性、隨機性、爆發(fā)性顯得更為復(fù)雜，但是這種復(fù)雜的數(shù)據(jù)能夠體現(xiàn)出更為客觀的現(xiàn)象，具備更有效的價值。
2 關(guān)鍵技術(shù)
2.1 數(shù)據(jù)存儲技術(shù)
信息數(shù)據(jù)在進行存儲時的可靠性、安全性以及讀寫時的效率是云計算技術(shù)的基礎(chǔ)，利用云計算技術(shù)在存儲時，往往采用分布式存儲，將大量的數(shù)據(jù)進行匯總并儲存到集群服務(wù)器中。這種存儲技術(shù)往往會對數(shù)據(jù)進行備份儲存，利用先進的數(shù)據(jù)加密技術(shù)配合冗余存儲能夠確保數(shù)據(jù)的可靠性、安全性。以HDFS為例：
HDFS是一種分布式文件存儲系統(tǒng)，被廣泛應(yīng)用在通用硬件中。這一系統(tǒng)具備較高的容錯功能，能夠在廉價設(shè)備上實現(xiàn)應(yīng)用，并且其對數(shù)據(jù)訪問的吞吐量也很大，適合應(yīng)用在大數(shù)據(jù)集的處理上。HDFS系統(tǒng)可以進一步的實現(xiàn)文件系統(tǒng)中的數(shù)據(jù)流式讀取，在大數(shù)據(jù)處理中，HDFS常被設(shè)計成能夠?qū)崿F(xiàn)平臺間便于遷移的系統(tǒng)，這就令大數(shù)據(jù)集的應(yīng)用更便捷，如圖1所示。
2.2 虛擬化數(shù)據(jù)管理
云計算的主要功能在于針對大量的數(shù)據(jù)進行分布式的分析處理，并且為用戶提供高效的服務(wù)，這就需要強大的數(shù)據(jù)管理能力作為支撐，而基于云計算的大數(shù)據(jù)技術(shù)在數(shù)據(jù)管理中具備虛擬化特征。將數(shù)據(jù)處理的計算機系統(tǒng)轉(zhuǎn)換成了虛擬層，利用硬件設(shè)備資源，配合操作系統(tǒng)建立了這樣一個虛擬的空間鏈接數(shù)據(jù)處理的各層級。令上下層的配合更靈活，極大程度的縮減了開銷，提高了資源利用率。
3 大數(shù)據(jù)與云計算的關(guān)聯(lián)
大數(shù)據(jù)的處理是將云計算技術(shù)視為一種技術(shù)平臺，大數(shù)據(jù)在進行數(shù)據(jù)處理時的首選處理形式則是云計算技術(shù)，云計算為大數(shù)據(jù)的處理分析提供了最適的存儲空間及計算能力，可以令大量的數(shù)據(jù)信息迅速的分析出結(jié)果，便于使用付諸現(xiàn)實。而云計算技術(shù)的主要功能在于計算能力，大數(shù)據(jù)則可以視為接受計算處理的對象，前者對于計算能力更為注重，后者則是更傾向于存儲功能。將存儲的大數(shù)據(jù)付諸應(yīng)用的重點在于數(shù)據(jù)處理，而云計算恰好滿足了這一功能性要求。
4 總結(jié)
大數(shù)據(jù)處理技術(shù)與云計算在信息處理中展現(xiàn)出了極大的潛力，結(jié)合這兩種技術(shù)能夠?qū)崿F(xiàn)信息傳遞的高效性、準確性、大容量。在很多領(lǐng)域，應(yīng)用基于云計算的大數(shù)據(jù)處理技術(shù)表現(xiàn)出強大的功能。隨著網(wǎng)絡(luò)信息技術(shù)的高速發(fā)展，信息數(shù)據(jù)的傳播數(shù)量及速度都亟待提升?；谠朴嬎愕拇髷?shù)據(jù)處理仍需進一步的開發(fā)，并對這一新技術(shù)加以應(yīng)用，相關(guān)技術(shù)的研究也是當前學(xué)術(shù)界的關(guān)注點。
參考文獻
[1]丁有偉，秦小麟，劉亮，王濤春.一種異構(gòu)集群中能量高效的大數(shù)據(jù)處理算法[J].計算機研究與發(fā)展，2015（02）：377-390.
[2]李貞強，陳康，武永衛(wèi)，鄭緯民.大數(shù)據(jù)處理模式――系統(tǒng)結(jié)構(gòu)，方法以及發(fā)展趨勢[J].小型微型計算機系統(tǒng)，2015（04）：641-647.
[3]李敏，倪少權(quán)，邱小平，黃強.物聯(lián)網(wǎng)環(huán)境下基于上下文的Hadoop大數(shù)據(jù)處理系統(tǒng)模型[J].計算機應(yīng)用，2015（05）：1267-1272.
[4]彭建華，李臣明，邱軍林，李曉芳，徐立中.接收與處理分離的實時大數(shù)據(jù)處理模型[J]. 計算機科學(xué)與探索，2015（08）：906-913.
[5]張少敏，毛冬，王保義.大數(shù)據(jù)處理技術(shù)在風電機組齒輪箱故障診斷與預(yù)警中的應(yīng)用[J].電力系統(tǒng)自動化，2016（14）：129-134.
【關(guān)鍵詞】大數(shù)據(jù) 云計算 計算機
“大數(shù)據(jù)”這個詞在世界上的地位日益顯著，甚至隱約可以成為這個時代的代名詞。對于數(shù)據(jù)信息的采集和處理已然成為各行各業(yè)創(chuàng)造經(jīng)濟突破的新增長點，是企業(yè)戰(zhàn)略目標制定和實施的關(guān)鍵依據(jù)。大數(shù)據(jù)的概念決定了它需要在一個特殊的平臺上才能夠發(fā)揮作用，龐大的信息量并不是以往的單機處理系統(tǒng)可以“吃得消”的。而云計算平臺的建立正好彌補了這一方面的短板，其新穎的信息處理模式與大數(shù)據(jù)概念有著很好的契合度。但是目前大多數(shù)研究者的目光都是集中在大數(shù)據(jù)分析上，關(guān)于大數(shù)據(jù)與云計算平臺應(yīng)用的研究尚處于初級階段。不過可以預(yù)期，未來大數(shù)據(jù)和云計算平臺必將成為社會的發(fā)展核心。
1 大數(shù)據(jù)和云計算平臺基本概念
大數(shù)據(jù)的作用通過網(wǎng)絡(luò)已經(jīng)在生活中處處可見，它已經(jīng)不是單純的IT領(lǐng)域特有的研究，而是應(yīng)用于社會多領(lǐng)域的綜合性數(shù)據(jù)處理理念。大數(shù)據(jù)代表的不僅是指容量上的龐大，也代表了種類上的復(fù)雜。大數(shù)據(jù)包括交易和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集，其規(guī)?；驈?fù)雜程度超出了常用技術(shù)按照合理的成本和時限捕捉、管理及處理這些數(shù)據(jù)集的能力。大數(shù)據(jù)的發(fā)展突出了數(shù)據(jù)信息在社會生活中的重要，同時也對信息處理體提出更高的要求，即在更短的時間內(nèi)準確地處理更多的數(shù)據(jù)，這也要求信息處理系統(tǒng)必須有強大的計算能力、龐大的儲存量、及時的交互性。
云計算平臺是一種通過互聯(lián)網(wǎng)按需提供面向海量數(shù)據(jù)處理和完成復(fù)雜計算的平臺。云計算在處理海量數(shù)據(jù)時，按照一定的準則將數(shù)據(jù)分散到不同計算機中進行處理操作，大大提高了處理速度，適用于數(shù)據(jù)密集型計算。同時云計算可以對電腦本地資源、網(wǎng)絡(luò)資源等進行整合，為用戶提供高效、安全的數(shù)據(jù)服務(wù)。
2 大數(shù)據(jù)與云計算平臺優(yōu)勢分析
數(shù)據(jù)處理是大數(shù)據(jù)的基礎(chǔ)要求，新時代下的“大數(shù)據(jù)”理念已經(jīng)是無法用傳統(tǒng)計算機處理方式來滿足的，因而需要一種新的計算方式作為支持。容量大、種類多、價值高、更新快的特點使得大數(shù)據(jù)看起來像是一座高樓大廈，有著巨大的價值等待人們的開發(fā)利用，而云計算所提供的安全、高效的數(shù)據(jù)應(yīng)用服務(wù)可以有力地支撐這座樓房。
大數(shù)據(jù)與云計算平臺是一個由眾多技術(shù)融合的綜合體，其主要包括虛擬化技術(shù)、分布式海量數(shù)據(jù)存儲與管理和分布式并行編程技術(shù)。大數(shù)據(jù)與云計算平臺充分利用云計算適用于數(shù)據(jù)密集型計算的特點，很好地貼合了大數(shù)據(jù)對數(shù)據(jù)量和數(shù)據(jù)類型的要求；云計算分散到集群電腦的處理方式能夠?qū)崿F(xiàn)數(shù)據(jù)的及時調(diào)用和動態(tài)調(diào)整，達到高效、快速處理數(shù)據(jù)信息的目的；平臺可以利用虛擬化處理方式對電腦本地資源、網(wǎng)絡(luò)資源等進行整合、按照要求進行統(tǒng)一調(diào)度，實現(xiàn)信息價值最大化。同時大數(shù)據(jù)與云計算平臺具有良好的相容性，能夠與各種系統(tǒng)應(yīng)用做到有效契合。以云計算為核心的數(shù)據(jù)處理平臺能夠滿足更加復(fù)雜的操作要求，同時其容量大、運行穩(wěn)定、安全性高的特點能夠適應(yīng)現(xiàn)在對數(shù)據(jù)處理的需求；大數(shù)據(jù)可以為云計算的運行提供指導(dǎo)，對云計算的資源進行有效的調(diào)配。
3 大數(shù)據(jù)與云計算平臺的應(yīng)用
3.1 對數(shù)據(jù)的有效管理
大數(shù)據(jù)與云計算平臺可以將數(shù)據(jù)按照一定的準則分布到不同區(qū)域中進行處理操作。對不同的數(shù)據(jù)按照不同標準進行判別，將容量巨大的信息進行細化處理，化整為零，根據(jù)各種類型的特點對數(shù)據(jù)信息進行處理。這種管理手段十分靈活，能夠保證大容量、多格式數(shù)據(jù)信息處理的穩(wěn)定性；有較強的兼容性，應(yīng)用范圍廣，可以保證跨平臺多方合作的穩(wěn)定性。比如，可以利用大數(shù)據(jù)與云計算平臺建立一個企業(yè)信息系統(tǒng)，將企業(yè)內(nèi)部不同業(yè)務(wù)的數(shù)據(jù)信息統(tǒng)一儲存，采用分布式工作流和調(diào)度框架構(gòu)建管理框架，在使用時通過正確的指令信息完成信息的調(diào)度、匹配及整合，減少數(shù)據(jù)管理環(huán)節(jié)出現(xiàn)的失誤。
3.2 提供決策支持
在現(xiàn)代企業(yè)中，接收到數(shù)據(jù)越來越多元化，不僅數(shù)量上增加而且種類也變得繁多，大數(shù)據(jù)與云計算平臺可以對這些信息做出有效的處理成為企業(yè)決策的依據(jù)。大數(shù)據(jù)與云計算平臺可以在系統(tǒng)分析功能上設(shè)計一定程度的業(yè)務(wù)邏輯，依據(jù)企業(yè)設(shè)定標準，將提取出的相關(guān)信息整理為企業(yè)相關(guān)預(yù)測，作為企業(yè)決策的參考。大數(shù)據(jù)與云計算平臺還可以提供決策模擬，對其中的數(shù)據(jù)信息進行核對校正，及時為企業(yè)提供反饋信息，方便決策的再次制定。
3.3 保障信息安全
大數(shù)據(jù)與云計算平臺不僅能夠快速處理數(shù)據(jù)信息，還可以提供一個安全的系統(tǒng)環(huán)境，保障信息不受外界破壞。在數(shù)據(jù)收集時對信息來源進行確認，在判定信息來源安全合法的情況下在允許訪問，對于那些安全性未知或不合法的來源實行強制關(guān)閉以拒絕訪問。在數(shù)據(jù)處理時保證數(shù)據(jù)的完整性，避免因為不適當操作導(dǎo)致重要數(shù)據(jù)的損壞或丟失。
4 總結(jié)
大數(shù)據(jù)與云計算的結(jié)合為數(shù)據(jù)處理打開了新的世界，在以后必然會越來越多地應(yīng)用于社會的各個領(lǐng)域。我們應(yīng)該不斷加深對大數(shù)據(jù)與云計算的理解，結(jié)合實際，開發(fā)出更加先進的數(shù)據(jù)處理平臺。
參考文獻
[1]宮夏屹等.大數(shù)據(jù)平臺技術(shù)綜述[J].系統(tǒng)仿真學(xué)報，2014，26（3）：489-496.
[2]商娟葉與張麗敏.云計算平臺在高校的開發(fā)與應(yīng)用研究[J].電子設(shè)計工程，2012，20（10）：140-142.
[3]楊宏杰.試論大數(shù)據(jù)和云計算平臺應(yīng)用[J].電子技術(shù)與軟件工程，2014（23）：214-214.
>> 大數(shù)據(jù)處理平臺比較研究 三維激光掃描點云數(shù)據(jù)處理及建模研究 基于云計算的大數(shù)據(jù)處理技術(shù)探討 關(guān)于云計算大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)中分析與應(yīng)用淺析 云計算大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)中分析與應(yīng)用 基于云計算的大數(shù)據(jù)處理與分析綜述 用大數(shù)據(jù)武裝”云”：基于云計算的大數(shù)據(jù)處理技術(shù) 基于Spark的大數(shù)據(jù)處理平臺的搭建與研究 基于復(fù)雜網(wǎng)絡(luò)的電信大數(shù)據(jù)處理研究 基于LabVIEW的大數(shù)據(jù)處理技術(shù)研究 對大數(shù)據(jù)處理技術(shù)的分析研究 大數(shù)據(jù)處理的算法與應(yīng)用實踐 視頻大數(shù)據(jù)處理的設(shè)計與應(yīng)用 基于云計算的醫(yī)療大數(shù)據(jù)系統(tǒng)架構(gòu)研究 云計算與氣象數(shù)據(jù)處理探討 云計算環(huán)境下大數(shù)據(jù)處理對電子商務(wù)發(fā)展的作用 試論云計算技術(shù)下的大數(shù)據(jù)處理系統(tǒng) 大數(shù)據(jù)時代數(shù)據(jù)處理技術(shù)對審計的影響研究 基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺方案設(shè)計研究 用大數(shù)據(jù)處理思路保護數(shù)據(jù) 常見問題解答 當前所在位置：l.2013.06.
[2]何京翔.為云計算和大數(shù)據(jù)重塑數(shù)據(jù)中心[EB/OL].http：///upload/2014-06/14060211 339145.pdf. 2014.06.
[3][4]楊威，劉彥宏.高校智慧校園建設(shè)中的關(guān)鍵問題與對策[J].中國教育信息化，2013（23）.
[5]湖南青果軟件有限公司.山西師大數(shù)字校園建設(shè)方案[D].2011.11.
[6][7]楊陟卓，楊威，王賽.網(wǎng)絡(luò)工程設(shè)計與系統(tǒng)集成（第3版）[M].北京：人民郵電出版社，2014.9.
[9]Zhizhuo Yang， Heyan Huang. Chinese Word Sense Disambiguation based on Context Expansion[C].Proceedings of COLING-2012.
關(guān)鍵詞：大數(shù)據(jù)；云計算；圖書館；信息資源建設(shè)
1 大數(shù)據(jù)
1.1 "大數(shù)據(jù)"的含義和分類 大數(shù)據(jù)之所以被稱為大數(shù)據(jù)首先因為它的數(shù)據(jù)是海量的，而且目前隨著科技發(fā)展，隨著人們對互聯(lián)網(wǎng)的依賴程度不斷提高，這個海量的數(shù)據(jù)正在超速增長。其次，大數(shù)據(jù)是海量的數(shù)據(jù)被整理納入大數(shù)據(jù)倉庫里，然后對其進行分析挖掘，再利用有價值的結(jié)論進行下一步行動的決策[1]。
大數(shù)據(jù)從數(shù)據(jù)內(nèi)容結(jié)構(gòu)上可分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)即行數(shù)據(jù)，存儲在數(shù)據(jù)庫里，可以用二維表結(jié)構(gòu)來邏輯表達實現(xiàn)的數(shù)據(jù)，在形式上有諸如文字、數(shù)字、符號，能夠用統(tǒng)一的形式加以標識。非結(jié)構(gòu)化數(shù)據(jù)包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像、音頻和視頻信息等等，這些內(nèi)容無法用簡單的邏輯表達實現(xiàn)，分析起來也需要特別的硬軟件。半結(jié)構(gòu)化數(shù)據(jù)，就是介于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)之間的數(shù)據(jù)，它一般是自描述的，數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起，沒有明顯的區(qū)分。
1.2 圖書館的"大數(shù)據(jù)" 圖書館的大數(shù)據(jù)首先包括書目數(shù)據(jù)。這些數(shù)據(jù)一般屬于圖書館穩(wěn)定的結(jié)構(gòu)化數(shù)據(jù)，目前這些數(shù)據(jù)的使用多用SQL工具分析。對于結(jié)構(gòu)化的數(shù)據(jù)，小規(guī)模的數(shù)據(jù)，目前的分析工具足可以用了。對這些數(shù)字化書目數(shù)據(jù)做分析可以反映出一個圖書館館藏的級別、服務(wù)的對象、服務(wù)的傾向和服務(wù)的質(zhì)量。
圖書館的大數(shù)據(jù)雖然以結(jié)構(gòu)化數(shù)據(jù)為主，但隨著圖書館新服務(wù)的開展，圖書館與讀者的互動信息，以及讀者面對圖書館的各種信息行為都會被記錄，這些信息將成為圖書館大數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)。這些動態(tài)的非結(jié)構(gòu)化數(shù)據(jù)可以來自圖書館業(yè)務(wù)內(nèi)容，也可以來自讀者服務(wù)體驗。
2 云計算
2.1 云計算的概念 云計算是并行計算（Parallel Computing）、分布式計算（Distributed Computing）和網(wǎng)格計算（Grid Computing）以及Internet 結(jié)合起來的新的網(wǎng)絡(luò)資源提供模式。云計算是以虛擬化技術(shù)為基礎(chǔ)，以網(wǎng)絡(luò)為載體，以提供基礎(chǔ)架構(gòu)、軟件、平臺等服務(wù)為形式，整合大規(guī)?？蓴U展的計算、數(shù)據(jù)、存儲、應(yīng)用等分布式計算資源，進行協(xié)同工作的超級計算模式[2]。它不僅是資源的簡單匯集，而且為我們提供了一種管理機制，讓整個體系作為一個虛擬的資源池對外提供服務(wù)，并賦予開發(fā)者透明獲取資源、使用資源的自由。
2.2 云計算的特點
2.2.1超強的計算能力 云計算由成千上萬臺服務(wù)器組成的集群能賦予用戶前所未有的能力。用戶可以擁有超大的存儲和管理空間，以及超強的計算能力。
2.2.2海量的存儲空間 云計算為數(shù)據(jù)的存儲提供了廣闊的空間，它是將大量的服務(wù)器集群共同組合在一起，形成巨大的空間，所有的數(shù)據(jù)通過云計算中心運算處理后返回給用戶。
2.2.3可靠的安全保障 云計算使用了數(shù)據(jù)多副本容錯、計算節(jié)點同構(gòu)可互換等措施來保障服務(wù)，存儲在云里的數(shù)據(jù)資源丟失或硬件崩潰都不會受到影響，云計算技術(shù)存儲數(shù)據(jù)安全可靠。
2.2.4便利的資源共享 由于是將大量的信息匯聚成一個整體，對于同一資源可以供多方共同使用，從而避免了資源不必要的重復(fù)，進而提高了信息資源的共享程度。同時，云計算可以針對不同應(yīng)用即時應(yīng)對，規(guī)?？梢詣討B(tài)伸縮，云計算下的資源可以根據(jù)應(yīng)用和用戶規(guī)模增長的需要隨時進行動態(tài)擴展和配置。
2.2.5良好的系統(tǒng)兼容 對于不同的操作系統(tǒng)，不同的數(shù)據(jù)格式，不同的數(shù)據(jù)庫之間的數(shù)據(jù)，云計算可以通過一站式檢索不同系統(tǒng)中的相同信息，系統(tǒng)之間可以無縫連接和訪問。
3現(xiàn)階段圖書館信息資源建設(shè)面臨的問題
圖書館的數(shù)字資源包括圖書館引進或自建的，擁有磁、光介質(zhì)或網(wǎng)絡(luò)使用權(quán)的數(shù)字形態(tài)的文獻資源。根據(jù)數(shù)字資源的種類可分為：電子書、電子刊、二次文獻數(shù)據(jù)庫和其他數(shù)據(jù)庫。根據(jù)數(shù)字資源的存在形式可分為：在線資源和本地鏡像資源。根據(jù)數(shù)字資源的來源可分為：購買的數(shù)據(jù)庫、自建數(shù)據(jù)庫、試用數(shù)據(jù)庫和免費數(shù)據(jù)庫[3]?，F(xiàn)階段圖書館都是各自為政，在建設(shè)的過程中存在著很多問題。
3.1 數(shù)字資源重復(fù)建設(shè)問題 目前，館與館之間數(shù)字資源的建設(shè)都是相互獨立的，在建設(shè)過程中都是按照學(xué)校經(jīng)費多少和專業(yè)的需求進行資源建設(shè)，一般都不會考慮其他館的建設(shè)情況，只埋頭建設(shè)自己的數(shù)字資源。這樣勢必造成了大量的人力、財力的浪費，從宏觀的角度看不利于高校圖書館的發(fā)展。
3.2 存儲及檢索技術(shù)問題 隨著數(shù)字圖書館的發(fā)展，圖書館的數(shù)字資源海量增加，而其數(shù)據(jù)管理、備份、存儲設(shè)備能力都十分有限。同時，數(shù)字資源的圖片檢索技術(shù)、多語言檢索、不同數(shù)據(jù)標準之間的數(shù)據(jù)交換、人機交互技術(shù)、數(shù)字圖書館所需的軟件和工具等都還有待于技術(shù)上的進一步發(fā)展[4]。
3.3 信息資源共享問題 目前，圖書館資源的共享往往局限在一些對口的、接口相同的數(shù)據(jù)資源上。由于數(shù)字圖書館平臺技術(shù)不統(tǒng)一，各館間有的數(shù)據(jù)無法相通，這樣就談不上共享。
4 云計算在未來圖書館信息資源建設(shè)中的應(yīng)用
圖書館信息資源建設(shè)的最終目的是為了滿足用戶的需求，提高服務(wù)質(zhì)量。云計算的出現(xiàn)使分布在互聯(lián)網(wǎng)中各個圖書館的資源和服務(wù)整合成為一個整體，使其服務(wù)的時間、空間、服務(wù)方式等有了無限擴大完善的可能。分析云計算的特點和它所提供的服務(wù)形式，我們可以看出，云計算的模式也適用于圖書館的數(shù)字信息資源建設(shè)。
4.1 云計算可提供圖書館海量信息資源數(shù)據(jù)存儲的能力和提升數(shù)據(jù)安全。
圖書館的基本功能之一就是存儲資源。隨著時代的發(fā)展和科技的進步，各種信息資源呈爆炸性的增長。目前圖書館通過增加存儲能力來滿足日益增長的資源空間已經(jīng)力不從心。云計算采用分布式存儲的方式存儲數(shù)據(jù)，數(shù)據(jù)不再存儲在本地硬盤，而是通過網(wǎng)絡(luò)存儲在云計算系統(tǒng)中，可以容納海量數(shù)據(jù)，并且不斷更新和增加，為數(shù)字圖書館不斷增加的電子數(shù)據(jù)提供海量的存儲空間。同時，云計算采用冗余存儲的方式來保證存儲數(shù)據(jù)的可靠性，即為同一份數(shù)據(jù)存儲多個副本。在數(shù)據(jù)管理方面，云計算使資源更加高速、高效地存取，使數(shù)據(jù)的操作頻率遠大于更新頻率[5]。
4.2 云計算可實現(xiàn)圖書館的數(shù)字信息資源整合以及共建共享 云計算的一個核心內(nèi)容就是對"存儲內(nèi)容"的整合與應(yīng)用。云計算技術(shù)為數(shù)字資源的整合鋪平了道路，它不僅為實現(xiàn)多種資源的全面共享創(chuàng)造了統(tǒng)一的信息資源平臺，而且屏蔽了信息資源的不同格式，解決了各類數(shù)據(jù)庫的數(shù)據(jù)標準化和接口問題?；谠朴嬎愕臄?shù)字圖書館將異構(gòu)分布環(huán)境下不同來源的海量數(shù)據(jù)資源進行統(tǒng)一整合，可以極大地提高信息資源的利用率，實現(xiàn)數(shù)字信息資源的共建共享[6]。
4.3 云計算可提高圖書館信息資源的利用率和信息服務(wù)的能力 云計算通過對各種資源、格式使用統(tǒng)一的管理平臺，共享應(yīng)用和數(shù)據(jù)，實現(xiàn)更大的網(wǎng)絡(luò)效益。圖書館的電子資源將存儲在"云"里無數(shù)服務(wù)器中，而不是存儲在單獨的某臺計算機中。利用云計算整合跨數(shù)據(jù)庫、跨地區(qū)數(shù)據(jù)能力，實現(xiàn)對各類型數(shù)據(jù)庫的云整合，形成各類型信息資源服務(wù)云，提高信息資源的利用效率。同時，利用云計算，用戶可以在圖書館任意一個角落隨時隨地使用已有的"云"中的資源與計算服務(wù)，這樣簡化和壓縮了圖書館信息組織、信息服務(wù)以及信息獲取的過程，提高了圖書館信息資源的利用效率和社會價值。
5 數(shù)字圖書館使用云服務(wù)需注意的問題
5.1 數(shù)據(jù)安全性與保密性 圖書館中哪些數(shù)據(jù)置于云端，哪些數(shù)據(jù)需放在本地是圖書館需研究考慮的問題。圖書館書目信息、讀者個人信息、電子資源數(shù)據(jù)庫等信息資源需進行梳理，然后再研究確定如何存放。關(guān)于圖書館讀者信息等個人隱私方面信息，更多是政策層面的問題。
5.2 信息資源共享中的版權(quán)問題 "云"模式的數(shù)字圖書館之間通過有關(guān)協(xié)議共享彼此的信息資源，在提高信息資源共享的同時，可能因為版權(quán)問題而引發(fā)糾紛。隨著數(shù)據(jù)挖掘、系統(tǒng)共享、信息共享技術(shù)的不斷開發(fā)，置于公共云端的數(shù)字資源有可能成為信息資源共享使用中的對象而產(chǎn)生版權(quán)問題。所以，云計算環(huán)境下信息資源中的問題，既要保障信息資源的共享性，又要達到內(nèi)容不受侵犯等知識產(chǎn)權(quán)問題，值得關(guān)注[7]。
5.3 網(wǎng)絡(luò)質(zhì)量問題 搭建數(shù)字圖書館的云計算服務(wù)平臺時，需要考慮到網(wǎng)絡(luò)通信能力的好壞。由于用戶的訪問和應(yīng)用都取決于圖書館的云端服務(wù)，網(wǎng)絡(luò)的高帶寬和流暢性至關(guān)重要。云計算是客戶端性能最小化、在云計算網(wǎng)絡(luò)中完成的高效信息處理，這對云計算集群服務(wù)器的性能有較高的要求，同時，網(wǎng)絡(luò)中通信設(shè)施也需要高性能，才能保證將云計算的服務(wù)高質(zhì)量地傳給需要的用戶。
6結(jié)論
"大數(shù)據(jù)"是高校圖書館未來發(fā)展無法逃避的發(fā)展趨勢。云計算模式的出現(xiàn)，給數(shù)字圖書館的發(fā)展提供了更多的技術(shù)和服務(wù)支持，把云計算運用到圖書館中，不僅可以提高資源的利用率，節(jié)約圖書館的資源，也可以給云計算帶來一個新的應(yīng)用領(lǐng)域。以信息服務(wù)工作為己任的高校圖書館，如何以"大數(shù)據(jù)"的思維重新認識高校圖書館，如何利用云計算技術(shù)將已有的數(shù)據(jù)資源進行有序組織、深入挖掘與開發(fā)，如何進一步推動數(shù)字圖書館的發(fā)展，成為高校圖書館未來發(fā)展的關(guān)鍵。
參考文獻：
[1]郝志剛，大數(shù)據(jù)、云計算與圖書館[J].新世紀圖書館，2014（6）：36-39.
[2]朱勇，淺談云計算與圖書館數(shù)據(jù)中心[J].科技情報開發(fā)與經(jīng)濟，2010（24）：72-74.
[3]于健，云計算與圖書館未來數(shù)字資源建設(shè)[J].情報探索，2012（6）：63-65.
[4]盧曉娟，云計算與未來圖書館數(shù)字信息資源建設(shè)[J].四川圖書館學(xué)報，2009（2）：23-24.
[5]蔡惠霞，淺議云計算與圖書館信息資源建設(shè)[J].內(nèi)蒙古科技與經(jīng)濟，2012（14）：36-37，39.
【關(guān)鍵詞】大數(shù)據(jù) 云計算 消防工作
近年來，隨著計算機互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，人類進入全新信息時代，而大數(shù)據(jù)、云計算掀起了信息技術(shù)領(lǐng)域繼互聯(lián)網(wǎng)之后的又一場新的科技革命。如何利用現(xiàn)代社會先進的網(wǎng)絡(luò)技術(shù)、通訊技術(shù)以及云計算技術(shù)應(yīng)用到現(xiàn)實消防工作中來，是新時期消防工作的切入點和突破口。
1 大數(shù)據(jù)的概念
大數(shù)據(jù)，或稱巨量數(shù)據(jù)、海量數(shù)據(jù)等，當下人們使用大數(shù)據(jù)這一詞語來形容信息爆炸和海量的數(shù)據(jù)處理，并將信息技術(shù)應(yīng)用當更多數(shù)據(jù)的處理之中，形成更廣泛的信息交流、共享以及使用。其基本特性為：數(shù)據(jù)體量巨大、類型繁多、價值密度低、處理速度快。大數(shù)據(jù)中蘊含了豐富而有價值的信息，就我們消防部隊而言，如我們對社會單位消防設(shè)施實施監(jiān)控，某個階段發(fā)生異常，計算機能夠自動進行預(yù)警；道路監(jiān)控產(chǎn)生大量錄像，如果有消防車需要指引，就具有實際價值，等等。Google首席執(zhí)行官施密特首次提出云計算的概念：云計算將計算任務(wù)分布在大量計算機構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和各種軟件服務(wù)。
2 大數(shù)據(jù)在消防工作中的應(yīng)用探索
在消防工作中，人員、場所、物品、水源時刻產(chǎn)生大量有用數(shù)據(jù)，以“物聯(lián)網(wǎng)”技術(shù)進行采集，以“消防云端”進行匯總分析，并通過終端，分級分類為滅火救援、監(jiān)督檢查等工作提供信息支撐，指導(dǎo)工作開展，實現(xiàn)數(shù)據(jù)流、業(yè)務(wù)流、管理流高度融合，是消防工作的發(fā)展方向。
（1）建設(shè)消防云計算平臺。海量數(shù)據(jù)的采集應(yīng)用是大數(shù)據(jù)的首要前提，整合現(xiàn)有數(shù)據(jù)資源，并依托警用地理信息系統(tǒng)、語音圖像綜合集成系統(tǒng)建設(shè)縱向貫通、橫向集成、互聯(lián)互通、高度共享、適應(yīng)實戰(zhàn)需求的信息指揮中心，推進扁平化指揮、網(wǎng)格化動態(tài)管理，提升指揮調(diào)度和應(yīng)急處置效能。通過開展大數(shù)據(jù)系統(tǒng)建設(shè)，打通業(yè)務(wù)工作與信息化應(yīng)用、基層實戰(zhàn)與機關(guān)決策之間的關(guān)節(jié)，實現(xiàn)數(shù)據(jù)流、業(yè)務(wù)流、管理流高度融合，使海量基礎(chǔ)數(shù)據(jù)源源不斷地匯聚到大數(shù)據(jù)平臺，利用計算技術(shù)加工成有價值的信息，從而形成基礎(chǔ)信息化與滅火救援實戰(zhàn)化相輔相成、相互促進的良性機制，保障大數(shù)據(jù)服務(wù)基層實戰(zhàn)作用有效發(fā)揮。
（2）實現(xiàn)火災(zāi)防控的自動化。大數(shù)據(jù)系統(tǒng)與公共聚集場所、化危品生產(chǎn)儲運等重點單位的監(jiān)控系統(tǒng)以及支隊自動報警監(jiān)控系統(tǒng)聯(lián)網(wǎng)，對重點單位、人員密集場所消防控制室、消防設(shè)施實施遠程監(jiān)控，同消防安全重點單位和派出所列管單位戶籍化信息、消防安全評估結(jié)果、單位建筑信息、地下工程數(shù)據(jù)等一并實時導(dǎo)入警務(wù)云消防GIS平臺，在地圖上直觀展現(xiàn)各類單位概況、消防設(shè)施、建筑總體情況及城市地下、空中管網(wǎng)工程情況，實現(xiàn)對重點單位有效的動態(tài)監(jiān)管，為火災(zāi)防控、滅火救人、火因調(diào)查等工作提供信息依據(jù)。
（3）實現(xiàn)指揮調(diào)度的可視化?；诖髷?shù)據(jù)、大比例尺PGIS地圖、視頻監(jiān)控等技術(shù)手段，將受災(zāi)報警地點全方位定位在消防GIS地圖上，使報警定位更精確；“一鍵式調(diào)度”將警情語音數(shù)據(jù)以廣播發(fā)送到中隊、指揮員、聯(lián)動單位，并同時調(diào)出相關(guān)預(yù)案、語音導(dǎo)航、交通監(jiān)控引導(dǎo)等信息，在PGIS上加載消防營區(qū)視頻、道路監(jiān)控、車載GPS、無線圖傳等技術(shù)方式，全方位、多角度將整個滅火救援行動，以音視頻形式展現(xiàn)在地圖統(tǒng)一展示平臺上，實現(xiàn)警情信息更精準、輔助決策更有力、作戰(zhàn)全程更直觀。
（4）實現(xiàn)部隊管理的智能化。通過大數(shù)據(jù)分析和計算數(shù)據(jù)交換，對滅火救援警情、基礎(chǔ)數(shù)據(jù)、火災(zāi)隱患線索開展分析研判，自動生成統(tǒng)計報表、分析圖形，實現(xiàn)對治安形勢的預(yù)警預(yù)測和基層工作的動態(tài)掌握；同時還可在不同的地點、使用不同的終端設(shè)備管理查詢部隊管理訓(xùn)練情況，促進部隊正規(guī)化管理。
3 大數(shù)據(jù)在消防應(yīng)用中亟待解決的問題
通過大數(shù)據(jù)、云計算技術(shù)，有效利用各類數(shù)據(jù)資源，創(chuàng)新實戰(zhàn)化應(yīng)急體系、拓展城市消防管理監(jiān)控系統(tǒng)，促進部隊正規(guī)化管理，實現(xiàn)監(jiān)督管理動態(tài)化、統(tǒng)計分析直觀化、滅火救援可視化、社會服務(wù)便民化和部隊管理科技化。
（1）數(shù)據(jù)利用不足。注重數(shù)據(jù)保護，保護數(shù)據(jù)安全，為大數(shù)據(jù)時代的消防工作提供可靠網(wǎng)絡(luò)環(huán)境，降低數(shù)據(jù)存儲的安全風險。構(gòu)建全方位、縱深化、專業(yè)化的安全體系，包括安全基礎(chǔ)設(shè)施平臺、安全應(yīng)用支撐平臺和安全網(wǎng)絡(luò)防護平臺，用大數(shù)據(jù)分析的方法去發(fā)現(xiàn)一些潛在的威脅，通過需求分析、風險評估、風險處理、策略評估等各種技術(shù)手段建立信息安全管理體系，建立更高的安全防范。
（2）大數(shù)據(jù)意識不強。培養(yǎng)數(shù)據(jù)意識和數(shù)據(jù)素養(yǎng)，為大數(shù)據(jù)時代的消防工作提供思想保障。隨著信息技術(shù)的飛速發(fā)展，具備良好數(shù)據(jù)意識和數(shù)據(jù)素養(yǎng)，建立用數(shù)據(jù)決策的理念，是消防部門做好大數(shù)據(jù)時代消防工作的關(guān)鍵。要把大數(shù)據(jù)專業(yè)知識列入教育培訓(xùn)，普及大數(shù)據(jù)知識，宣傳相關(guān)知識。
（3）系統(tǒng)資源整合度低。加強數(shù)據(jù)整合，實現(xiàn)數(shù)據(jù)互聯(lián)互通和充分共享，為大數(shù)據(jù)時代的消防工作提供技術(shù)平臺。應(yīng)對大數(shù)據(jù)時代消防工作的需要，進行部門間數(shù)據(jù)統(tǒng)籌規(guī)劃，建立應(yīng)用系統(tǒng)之間的統(tǒng)一的技術(shù)和數(shù)據(jù)標準，建立數(shù)據(jù)自動傳遞、有效的關(guān)聯(lián)和共享，消除數(shù)據(jù)孤島，建設(shè)統(tǒng)一技術(shù)平臺。
（4）信息技術(shù)人才缺乏。加強人才隊伍建設(shè)，為大數(shù)據(jù)時代的消防工作提供優(yōu)質(zhì)智力支撐。大數(shù)據(jù)是一個綜合性課題，需要不同層級的人才，開發(fā)和培養(yǎng)一支大數(shù)據(jù)人才隊伍，不斷提高采集、挖掘、分析大數(shù)據(jù)的能力和水平。
4 結(jié)語
運用大數(shù)據(jù)、消防云技術(shù)，有效破解當前消防工作中有限人力資源與繁重消防任務(wù)之間的突出矛盾、單一的消防主體與多元消防客體之間的突出矛盾、粗放的管理方式與民眾消防需求之間的突出矛盾、傳統(tǒng)的評價模式與現(xiàn)實消防需要之間的突出矛盾，必將為消防工作跨越發(fā)展插上翅膀，助力消防部隊戰(zhàn)斗力實現(xiàn)新騰飛。
參考文獻：
[1]李強.淺析大數(shù)據(jù)在消防領(lǐng)域中的應(yīng)用[J].通訊世界，2014（19）.
關(guān)鍵詞：大數(shù)據(jù)技術(shù)；電力生產(chǎn)管理；應(yīng)用前景
引言
智能電網(wǎng)技術(shù)發(fā)展速度加快，電力企業(yè)開始高度重視信息化建設(shè)。電力生產(chǎn)、營銷以及服務(wù)過程中會產(chǎn)生較多信息數(shù)據(jù)，且不同業(yè)務(wù)系統(tǒng)積累的歷史業(yè)務(wù)數(shù)據(jù)比較多。企業(yè)花費大量時間和精力分析、運維并管理數(shù)據(jù)，但是數(shù)據(jù)信息量非常龐大，分析處理結(jié)果無法支撐企業(yè)生產(chǎn)與決策，造成該結(jié)果的主要因素如下。一是通過傳統(tǒng)方法分析和處理數(shù)據(jù)無法實現(xiàn)高效提煉與應(yīng)用，從內(nèi)部提取高價值的數(shù)據(jù)信息，無法全面性提升企業(yè)管理與決策水平。二是電力企業(yè)比較重視業(yè)務(wù)流程處理，建立管理信息系統(tǒng)不僅無法滿足企業(yè)生產(chǎn)、營銷以及決策的數(shù)據(jù)支持，也無法實現(xiàn)電力企業(yè)的長久發(fā)展。通過大數(shù)據(jù)技術(shù)，處理電力企業(yè)發(fā)展期間業(yè)務(wù)數(shù)據(jù)增長所致的潛在性問題，采用關(guān)鍵性技術(shù)有助于提升智能電網(wǎng)數(shù)據(jù)處理能力。
1電力大數(shù)據(jù)概述
1.1電力大數(shù)據(jù)內(nèi)涵
現(xiàn)階段，云計算技術(shù)和基礎(chǔ)設(shè)備層快速發(fā)展，形成龐大的數(shù)據(jù)平臺，即電力大數(shù)據(jù)平臺。利用云計算服務(wù)訪問層，結(jié)合應(yīng)用軟件能夠為供電系統(tǒng)內(nèi)部提供分層管理條件。電力大數(shù)據(jù)的通用性較強，大部分電力企業(yè)規(guī)劃管理大數(shù)據(jù)時可以獲得顯著應(yīng)用效果?，F(xiàn)階段，大數(shù)據(jù)規(guī)劃主要應(yīng)用分布式計算技術(shù)，確保數(shù)據(jù)查詢、存儲與處理，順利完成各項任務(wù)。在建立電力大數(shù)據(jù)平臺時，涉及到分析框架、調(diào)度框架以及存儲框架。在調(diào)度框架內(nèi)部涉及到序列傳輸工具、數(shù)據(jù)信息存儲庫、日志收集系統(tǒng)以及分布鎖設(shè)備。高度關(guān)注數(shù)據(jù)組織與調(diào)度可以確保數(shù)據(jù)信息效率性與準確性，為存儲系統(tǒng)和訪問系統(tǒng)提供基礎(chǔ)前提。
1.2智能電網(wǎng)關(guān)聯(lián)性
智能電網(wǎng)與云計算和大數(shù)據(jù)技術(shù)分不開，其可以優(yōu)化整合計算機技術(shù)、信息技術(shù)以及通信技術(shù)，協(xié)調(diào)配合輸配電設(shè)施，有助于提升電網(wǎng)經(jīng)濟性、效率性及安全性，消除環(huán)境因素所致不良供電影響，建設(shè)新型電網(wǎng)架構(gòu)。云計算技術(shù)和大數(shù)據(jù)技術(shù)通過網(wǎng)絡(luò)技術(shù)快速發(fā)展，可以形成新型一體化技術(shù)，包含信息采集、監(jiān)測與控制。建立大數(shù)據(jù)框架時應(yīng)當發(fā)揮出云計算功能。云計算存儲管理和數(shù)據(jù)分析功能強大，可以為大數(shù)據(jù)業(yè)務(wù)開展提供科學(xué)路徑，云計算技術(shù)是大數(shù)據(jù)的實現(xiàn)前提?；诳傮w角度分析，智能電網(wǎng)、大數(shù)據(jù)以及云計算技術(shù)具備相輔相成的關(guān)系，可以提升其他技術(shù)性能與優(yōu)勢。
2大數(shù)據(jù)信息技術(shù)應(yīng)用內(nèi)容
2.1云計算技術(shù)應(yīng)用
云計算技術(shù)已經(jīng)成為成熟型技術(shù)，最具有代表性的就是阿里巴巴的阿里云，其屬于高強度云計算工具。在電力系統(tǒng)中，云計算技術(shù)的作用價值顯著。當前所應(yīng)用的電力數(shù)據(jù)系統(tǒng)屬于PC端系統(tǒng)的改良結(jié)果，只能存儲和管理數(shù)據(jù)信息，無法精準分析數(shù)據(jù)信息。由于電力系統(tǒng)數(shù)據(jù)量比較大，服務(wù)器存儲小，極易產(chǎn)生數(shù)據(jù)丟失問題。當硬盤容量不足時，管理員會刪除部分信息數(shù)據(jù)，從而影響數(shù)據(jù)完整性，對整體分析的危害非常大。應(yīng)用云計算技術(shù)之后，能夠快速整理和分析電力電網(wǎng)數(shù)據(jù)信息，在電網(wǎng)規(guī)劃設(shè)計時可以提供高效決策支持，使資源損耗降到最低。云計算技術(shù)的信息存儲與分析功能強大，可以將日常采集數(shù)據(jù)存儲到云端，在調(diào)用數(shù)據(jù)時，只需向服務(wù)器發(fā)送數(shù)據(jù)獲取請求，服務(wù)端可以將數(shù)據(jù)發(fā)送至終端設(shè)備，便捷性比較高，同時可以減少資金與成本的支出。圖1為云計算技術(shù)在電力生產(chǎn)管理中的應(yīng)用表現(xiàn)。云端存儲技術(shù)可以維護數(shù)據(jù)安全性，且電網(wǎng)數(shù)據(jù)涉及產(chǎn)業(yè)龐大，當數(shù)據(jù)信息非法竊取和泄漏后，云端數(shù)據(jù)信息可靠性高。
2.2電力監(jiān)測系統(tǒng)應(yīng)用
我國電力點分布區(qū)域比較大，無法確保每個網(wǎng)點的專人看管與維護。當某個網(wǎng)點發(fā)生故障問題時，電力大數(shù)據(jù)中心會顯示出報警信息，同時顯示出故障發(fā)生地點與時間。在未來發(fā)展中，可以向附近網(wǎng)點檢修人員指派任務(wù)，整個過程為自動化方式，可以及時響應(yīng)和反饋。技術(shù)人員接收到檢修指令之后可以在短時間內(nèi)排查和恢復(fù)電力故障，引入大數(shù)據(jù)技術(shù)后可以優(yōu)化整個所有電力數(shù)據(jù)，同時實現(xiàn)平臺分發(fā)。
3大數(shù)據(jù)技術(shù)在電力生產(chǎn)管理中的應(yīng)用
3.1集成管理技術(shù)
在電力生產(chǎn)管理中應(yīng)用集成管理技術(shù)時需要合并多個應(yīng)用系統(tǒng)的數(shù)據(jù)信息，建立多功能企業(yè)應(yīng)用過程。集成管理是將不同來源、格式以及特征數(shù)據(jù)在邏輯與存儲介質(zhì)上集中，實現(xiàn)系統(tǒng)存儲系列高度集成，數(shù)據(jù)集合穩(wěn)定性高，同時可以為系統(tǒng)提供數(shù)據(jù)共享依據(jù)。電力大數(shù)據(jù)集成管理技術(shù)涉及到其他層面技術(shù)，如數(shù)據(jù)融合集成技術(shù)和關(guān)系型數(shù)據(jù)庫技術(shù)。大數(shù)據(jù)處理必須抽取和集成數(shù)據(jù)源數(shù)據(jù)，提取實體和關(guān)系，全面加強數(shù)據(jù)質(zhì)量。在存儲管理中必須高度重視NoSQL數(shù)據(jù)庫技術(shù)，該項技術(shù)屬于分布式數(shù)據(jù)存儲，可以簡化數(shù)據(jù)存儲方式與流程，其靈活性和可擴展性較強，可以存儲海量數(shù)據(jù)信息。
3.2數(shù)據(jù)倉庫關(guān)鍵技術(shù)
在智能電網(wǎng)大數(shù)據(jù)技術(shù)中，數(shù)據(jù)倉庫技術(shù)屬于關(guān)鍵性技術(shù)。在數(shù)據(jù)分布層，智能電網(wǎng)具備海量性和分散性特點，因此數(shù)據(jù)處理難度比較大。在處理電網(wǎng)數(shù)據(jù)時，首先應(yīng)當簡化數(shù)據(jù)處理步驟，注重收集、抽取以及轉(zhuǎn)換數(shù)據(jù)信息。需要注意的是，電力企業(yè)在收集數(shù)據(jù)信息時必須合理應(yīng)用數(shù)據(jù)倉庫技術(shù)。在應(yīng)用數(shù)據(jù)倉庫關(guān)鍵技術(shù)時，涉及到多個技術(shù)類型。其中數(shù)據(jù)抽取技術(shù)遵循實際工作需求，在海量數(shù)據(jù)源中抽取數(shù)據(jù)信息，全面加強數(shù)據(jù)信息關(guān)聯(lián)性，注重應(yīng)用數(shù)據(jù)轉(zhuǎn)換技術(shù)可以轉(zhuǎn)變抽取數(shù)據(jù)，將其作為電網(wǎng)直接應(yīng)用數(shù)據(jù)，實時處理錯誤數(shù)據(jù)，維護數(shù)據(jù)信息準確性，在應(yīng)用數(shù)據(jù)加載技術(shù)時需要在數(shù)據(jù)源系統(tǒng)中存儲數(shù)據(jù)信息。
3.3數(shù)據(jù)分析技術(shù)
在電力大數(shù)據(jù)關(guān)鍵性技術(shù)中，數(shù)據(jù)分析技術(shù)被廣泛應(yīng)用到智能電網(wǎng)系統(tǒng)中。通過應(yīng)用大數(shù)據(jù)分析技術(shù)可以從電力系統(tǒng)海量數(shù)據(jù)中找尋出潛在模態(tài)與規(guī)律，為決策人員提供參考依據(jù)。電力大數(shù)據(jù)技術(shù)屬于傳統(tǒng)數(shù)據(jù)挖掘技術(shù)的發(fā)展。由于大數(shù)據(jù)具備高速增長和海量存儲特點，并且涉及到結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)類型，因此應(yīng)用大數(shù)據(jù)技術(shù)分析不同結(jié)構(gòu)數(shù)據(jù)信息可以獲得準確分析結(jié)果，將其作為電力生產(chǎn)管理依據(jù)。
3.4數(shù)據(jù)展現(xiàn)技術(shù)
數(shù)據(jù)展現(xiàn)技術(shù)涉及到可視化技術(shù)和空間信息流展示技術(shù)，對其進行應(yīng)用可以提升電力大數(shù)據(jù)技術(shù)的應(yīng)用質(zhì)量。在電網(wǎng)參數(shù)和地理信息系統(tǒng)結(jié)合下，通過空氣信息流展示技術(shù)可以充分為電網(wǎng)管理人員提供便利，全面了解和掌握電力設(shè)備運行狀態(tài)，同時為決策提供地理信息依據(jù)。
3.5數(shù)據(jù)處理技術(shù)
在智能電網(wǎng)中，大數(shù)據(jù)處理技術(shù)可以高效處理數(shù)據(jù)信息，區(qū)分不同數(shù)據(jù)信息，涉及到分庫、分區(qū)以及分表等區(qū)分方法。對于分庫來說，遵循現(xiàn)有要求，可以將多次應(yīng)用數(shù)據(jù)輸入到不同數(shù)據(jù)庫中，全面提升數(shù)據(jù)利用效率。對于分區(qū)來說，可以將通表數(shù)據(jù)載入到不同文件資料中，使大型數(shù)據(jù)表壓力降低，全面加快數(shù)據(jù)訪問速度，維護通表順暢度。對于分表來說，遵循數(shù)據(jù)處理要求，可以制定多元化數(shù)據(jù)表，使單表壓力降低。通過建設(shè)并行式和縱列式數(shù)據(jù)庫能夠確保數(shù)據(jù)加載效果，方便數(shù)據(jù)查詢，提供較高便利性。
4大數(shù)據(jù)技術(shù)電力生產(chǎn)管理
4.1大數(shù)據(jù)技術(shù)保障電網(wǎng)發(fā)展及安全生產(chǎn)
大數(shù)據(jù)技術(shù)發(fā)展過程會影響整個電力產(chǎn)業(yè)發(fā)展。電力行業(yè)中蘊藏大量數(shù)據(jù)資源，數(shù)據(jù)信息價值需求比較高。國外在電力領(lǐng)域中開始研究相關(guān)數(shù)據(jù)信息，采用智能化和科學(xué)化電力解決方案，建立智能停電管理系統(tǒng)，對企業(yè)停電方案進行優(yōu)化，同時為電力企業(yè)建立智能電網(wǎng)評估系統(tǒng)和投資優(yōu)化決策系統(tǒng)。智能感知電網(wǎng)實時運行狀態(tài)，可以幫助監(jiān)督管理人員做出科學(xué)決策，同時完善電網(wǎng)狀態(tài)智能感知系統(tǒng)和報警系統(tǒng)等。
4.2電力行業(yè)大數(shù)據(jù)分析研究
大數(shù)據(jù)潛在價值主要是物聯(lián)網(wǎng)和智能電網(wǎng)高度發(fā)展的成果。通過分析電網(wǎng)運行趨勢，聯(lián)合同型號設(shè)備壽命曲線對設(shè)備健康狀態(tài)進行判斷，以此判斷大修時機與項目，實現(xiàn)經(jīng)濟性平衡，設(shè)備可用性高。在建設(shè)智能電網(wǎng)時，充分發(fā)揮大數(shù)據(jù)技術(shù)的價值。通過大數(shù)據(jù)傳輸與存儲技術(shù)能夠記錄電力生產(chǎn)、傳輸以及消費數(shù)據(jù)，通過數(shù)據(jù)壓縮技術(shù)可以實現(xiàn)海量數(shù)據(jù)的最小化傳輸，減少空間占用量，將電力數(shù)據(jù)轉(zhuǎn)變?yōu)槁曇艋驁D像等，成為直觀化數(shù)據(jù)。聯(lián)合人機交互技術(shù)，能夠科學(xué)分析和處理電力數(shù)據(jù)。
4.3大數(shù)據(jù)技術(shù)支撐能源行業(yè)優(yōu)化轉(zhuǎn)型
風電、太陽能以及微網(wǎng)分布式能源接入與前端用戶用電行為關(guān)系密切。由于儲能系統(tǒng)成本低且效率高，將其應(yīng)用到配電網(wǎng)中，能夠發(fā)揮出大數(shù)據(jù)技術(shù)支撐作用，確保能源合理分配。
1 應(yīng)用型本科院校圖書館的特點
新建應(yīng)用型本科院校大都是在原來高職高專院校的基礎(chǔ)上于2000年前后升格為本科院校的，其專業(yè)建設(shè)學(xué)科建設(shè)等方面較新，注重在學(xué)術(shù)、工程基礎(chǔ)上的強調(diào)技術(shù)和應(yīng)用。圖書館作為現(xiàn)代高校的科研、教學(xué)、圖書館三大塊之一，得到較好的發(fā)展和建設(shè)。但在資金方面存在不足狀態(tài)，館舍、圖書、電子資源建設(shè)和其發(fā)展速度相對滯后。在另一方面，現(xiàn)今的情況是相關(guān)資源增加了，尤其是電子資源適應(yīng)新的環(huán)境增加更顯著，互聯(lián)網(wǎng)得到較好的運用，故圖書館的借閱量了出現(xiàn)下滑之勢。尤其是隨著信息技術(shù)，物聯(lián)網(wǎng)，大數(shù)據(jù)，云計算技術(shù)的發(fā)展下，如何跟上信息技術(shù)發(fā)展地方本科院校圖書館成為研究實踐的重要內(nèi)容。互聯(lián)網(wǎng)的出現(xiàn)呈現(xiàn)取代傳統(tǒng)廣播電視報刊傳統(tǒng)的作用之勢，如何在“互聯(lián)網(wǎng)+”的環(huán)境下發(fā)展應(yīng)用型本科院校圖書館建設(shè)，值得研究?！?調(diào)查結(jié)果表明2010年起，國民對數(shù)字閱讀方式的接觸率持續(xù)上漲，2010年為32.8%，2011年為38.6%，而2012年為40.3%[1]。
傳統(tǒng)的圖書館的功能主要體現(xiàn)為“藏、借、閱、管”，而由于網(wǎng)絡(luò)、無線網(wǎng)、移動終端的應(yīng)用，現(xiàn)今圖書館管理模式發(fā)生相應(yīng)變化，追求在任何地點、任何時間舒適地使用圖書資源。高校圖書館的發(fā)展確立了以用戶為中心"以數(shù)據(jù)為根本"以圖書館為樞紐的大數(shù)據(jù)研究理念[2]。
2 大數(shù)據(jù)及其相關(guān)技術(shù)
2.1 大數(shù)據(jù)
大數(shù)據(jù)是信息技術(shù)繼PC，互聯(lián)網(wǎng)，WEB1.0，移動通信，WEB2.0之后的第五次浪潮，2012年被認為大數(shù)據(jù)的起始分水嶺年。圖靈獎獲得者Jim Gray提出的“新摩爾定律”：“每18個月全球新增信息量是計算機有史以來全部信息量的總和”，已經(jīng)得到驗證。大數(shù)據(jù)的信息量大，應(yīng)當是達到PB級以上。而對于大數(shù)據(jù)的定義，比較典型的描述是由NSF（美國國家科學(xué)基金會）提出的：大數(shù)據(jù)是指“由科學(xué)儀器、傳感設(shè)備、互聯(lián)網(wǎng)交易、電子郵件、音視頻軟件、網(wǎng)絡(luò)點擊流等多種數(shù)據(jù)源生成的大規(guī)模、多元化、復(fù)雜、長期的分布式數(shù)據(jù)集”。大數(shù)據(jù)的特點主要有4V，如圖1所示：即Volume（大量），在2011年，全球的數(shù)據(jù)總量就達到1.8ZB，而到了2020年，全球數(shù)據(jù)總量將增長50倍。Variety（多樣），結(jié)構(gòu)性數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)、非結(jié)構(gòu)數(shù)據(jù)。Velocity（高速），是指大量實時數(shù)據(jù)流的快速收集、創(chuàng)建、分析、處理、傳送的過程。Value（價值），量大但密度很低，需要從數(shù)據(jù)中提煉出有價值的數(shù)據(jù)和信息?，F(xiàn)今新的計算方法，機器學(xué)習(xí)一直在提高著數(shù)據(jù)的質(zhì)量和大數(shù)據(jù)的價值[3]。
大數(shù)據(jù)技術(shù)涉及大數(shù)據(jù)采集，大數(shù)據(jù)存儲與管理，大數(shù)據(jù)計算模式與系統(tǒng)，大數(shù)據(jù)分析與挖掘和大數(shù)據(jù)隱私與安全等方面，大數(shù)據(jù)應(yīng)當理解為數(shù)據(jù)采集、數(shù)據(jù)存取、數(shù)據(jù)處理、數(shù)據(jù)挖掘等相關(guān)技術(shù)的融合。云計算技術(shù)可以說是處理海量數(shù)據(jù)最為低成本和高效率解決方案，通過云計算技術(shù)，可以把海量分散的數(shù)據(jù)從手機端、電腦端及其他智能終端均傳送至云平臺，然后再通過一個大規(guī)模的分布式系統(tǒng)加以高效分析和計算，提煉出富有價值的數(shù)據(jù)和信息。
（1）大數(shù)據(jù)的存儲技術(shù)采用冗余存儲模式。比較有名的分布式存儲技術(shù)是Google的GFS和Hadoop的HDFS，其中，HDFS是GFS的開源實現(xiàn)。為了達到方便管理數(shù)據(jù)的目的，大數(shù)據(jù)不再采用傳統(tǒng)的單表數(shù)據(jù)存儲結(jié)構(gòu)，而是采用由多維表組成的按列存儲的分布式實時數(shù)據(jù)管理系統(tǒng)來組織和管理數(shù)據(jù)，比較有代表性的是Google的Big Table和Hadoop的HBase，其中，Big Table基于GFS，HBase基于HDFS。
Hadoop 是一個由Apache基金會開發(fā)的，用于處理龐大數(shù)據(jù)集的分布式系統(tǒng)架構(gòu)，其特點是高吞吐量、高容錯性、硬件成本低廉、開源等，可以存儲巨量數(shù)據(jù)，并通過MapReduce對巨量數(shù)據(jù)進行計算。
（2）大數(shù)據(jù)計算模式。根據(jù)大數(shù)據(jù)的特征和計算特征，大數(shù)據(jù)計算模式常用的有流式計算、批處理計算、迭代計算、圖形計算等。其中的MapReduce就是批處理計算模式，它是一種分而治之的細化計算，然后將計算結(jié)果匯總的計算方式。
（3）數(shù)據(jù)挖掘計算。目前關(guān)鍵的大數(shù)據(jù)分析和挖掘技術(shù)是云計算技術(shù)和可視化技術(shù)。
（4）分布式數(shù)據(jù)庫的使用是大數(shù)據(jù)發(fā)展的必然。
2.2 大數(shù)據(jù)來源
大數(shù)據(jù)主要有下列來源：文本文件、音頻視頻文件、網(wǎng)頁及日志文件、移動設(shè)備數(shù)據(jù)、社交媒體文件。由于互聯(lián)網(wǎng)相關(guān)技術(shù)的發(fā)展，網(wǎng)上信息，各種網(wǎng)站網(wǎng)頁信息的應(yīng)用，及其相關(guān)基礎(chǔ)設(shè)施的應(yīng)用，促進了大數(shù)據(jù)的發(fā)展。Web2.0下人們以微博，F(xiàn)acebook等交互?a生大量的數(shù)據(jù)，F(xiàn)acebook每天產(chǎn)生500TB的數(shù)據(jù)，而波音737橫穿美國產(chǎn)生240TB的數(shù)據(jù)。2004年，世界進入Web2.0時代，F(xiàn)acebook，Twitter等社交工具的涌現(xiàn)。物聯(lián)網(wǎng)，移動終端的不受地域限制的應(yīng)用催生了各種活鮮的數(shù)據(jù)。云技術(shù)的發(fā)展為大數(shù)據(jù)的存儲、管理、訪問提供了技術(shù)保證，云計算能從大數(shù)據(jù)中挖掘出有用的信息，兩者天然結(jié)合、相互促進。針對云計算中的基礎(chǔ)設(shè)施即服務(wù)（IaaS）、軟件即服務(wù)（SaaS）、平臺即服務(wù)（PasS）的不同特點，對不同服務(wù)需求者提供不同的服務(wù)模式。
應(yīng)用型本科院校在圖書館投入不足，而應(yīng)用云技術(shù)平臺，用戶就可在任何地方任何時候方便地通過圖書館、或聯(lián)盟圖書館的相關(guān)權(quán)限就可以服務(wù)相關(guān)資源相關(guān)數(shù)據(jù)，大大降低對本地圖書館軟硬件資源的要求，及其相關(guān)維護費用。
從大數(shù)據(jù)的采集來說，大數(shù)據(jù)的采集利用數(shù)據(jù)庫的方式從FRID，傳感器采集數(shù)據(jù)。大數(shù)據(jù)包括結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
2.3 相關(guān)技術(shù)
大數(shù)據(jù)的關(guān)鍵技術(shù)主要包括：大數(shù)據(jù)獲取，大數(shù)據(jù)預(yù)處理，大數(shù)據(jù)存儲，大數(shù)據(jù)分析，大數(shù)據(jù)檢索，大數(shù)據(jù)展現(xiàn)與應(yīng)用。具體有云計算，物聯(lián)網(wǎng)技術(shù)，移動計算技術(shù)。
云計算技術(shù)的虛擬技術(shù)，海量分布儲存技術(shù)，并行編程模式，云技術(shù)平臺管理技術(shù)。云計算技術(shù)，可以把海量分散的數(shù)據(jù)從手機端、電腦端及其他智能終端均傳送至云平臺，然后再通過一個大規(guī)模的分布式系統(tǒng)加以高效分析和計算，提煉出富有價值的數(shù)據(jù)和信息。
物聯(lián)網(wǎng)技術(shù)主要包括FRID技術(shù)，近場通信技術(shù)，傳感器網(wǎng)絡(luò)技術(shù)和無線通信技術(shù)。移動計算關(guān)鍵技術(shù)如下：移動計算通信協(xié)議，情景感知，移?蛹撲慊肪常?無縫遷移技術(shù)。
大數(shù)據(jù)的分析、計算和儲存開展研究，從大數(shù)據(jù)中找到大的價值。
大數(shù)據(jù)的解決方案必須依靠云計算技術(shù)，得依靠云計算平臺的分布式文件系統(tǒng)、分布式運算模式和分布式數(shù)據(jù)庫管理技術(shù)。
以 Google 等為代表的一些大的數(shù)據(jù)處理公司通過橫向的分布式文件存儲、分布式數(shù)據(jù)處理和分布式的數(shù)據(jù)分析技術(shù)很好的解決了由于數(shù)據(jù)爆炸所產(chǎn)生的各種問題。Google公司大數(shù)據(jù)處理的三大關(guān)鍵技術(shù)為：Google 文件系統(tǒng) GFS（式文件管理系統(tǒng)）、MapReduce和Bigtable。
3 發(fā)展展望
現(xiàn)今圖書館的發(fā)展將發(fā)展到數(shù)字圖書館，再發(fā)展到智慧圖書館。只有這樣才能實現(xiàn)知識個性化需求的定制化服務(wù)的要求，實現(xiàn)信息、知識的互聯(lián)共享。另一方面，基于大數(shù)據(jù)技術(shù)，通過數(shù)據(jù)挖掘，可視化分析，分析、挖掘用戶的借閱記錄，形成有參考價值的信息，對讀者可以提供個性化服務(wù)，讀者能得到更準確有效的信息，促進圖書館及其服務(wù)效益的進步。
隨著云計算技術(shù)的不斷完善，為了促進大數(shù)據(jù)處理系統(tǒng)的功能多樣化，云計算技術(shù)在大數(shù)據(jù)處理系統(tǒng)上得到了廣泛的應(yīng)用。本文重點研究了在多元因素的影響下的數(shù)據(jù)模型對大數(shù)據(jù)處理的影響，并據(jù)此提出了一種基于融合思想，采用了混合架構(gòu)以及分散處理的云計算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的整體部署策略。
【關(guān)鍵詞】云計算 大數(shù)據(jù)處理 融合處理
1 引言
隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，以及智能設(shè)備的普及，當前的數(shù)據(jù)增長速度已經(jīng)呈現(xiàn)爆炸式增長，大數(shù)據(jù)時代已經(jīng)來臨。目前專家對大數(shù)據(jù)處理系統(tǒng)方面的研究主要是基于云環(huán)境下的分布式部署以及網(wǎng)絡(luò)架構(gòu)的融合和動態(tài)實時數(shù)據(jù)處理這三個方面。同時也取得了一定的研究成果，對于當前的云計算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的發(fā)展提供了很多理論和實踐基礎(chǔ)。
2 基于融合思想的大數(shù)據(jù)處理方案分析
云計算技術(shù)模式下，人機交互和數(shù)據(jù)處理以及網(wǎng)絡(luò)邏輯處理技術(shù)等都相對交融，處于深度融合狀態(tài)。因此基于融合思想的大數(shù)據(jù)處理方案就是以融合思想為核心，將云計算技術(shù)模式下的各種分散的網(wǎng)絡(luò)資源進行協(xié)同組織，然后再進行融合，從而充分發(fā)揮分散狀態(tài)下的資源優(yōu)勢，形成一種整體性的比較優(yōu)勢，因此這種融合式的大數(shù)據(jù)處理方案的應(yīng)用前景十分廣闊。
在云計算技術(shù)模式下，大數(shù)據(jù)處理研究更多的著力點放在了大數(shù)據(jù)處理系統(tǒng)的構(gòu)建、分散資源的協(xié)同以及相關(guān)的輔助技術(shù)等。從宏觀角度來看，可以氛圍內(nèi)混合處理和混合管理兩個方面。其中混合管理的核心就是研究各種無線以及有線的處理機制和數(shù)據(jù)共享、資源共享機制的管理，同時還包括了分散數(shù)據(jù)管理機制和協(xié)同機制管理等。而混合處理的研究核心則是著力于系統(tǒng)運行模型和相關(guān)輔助技術(shù)上。
3 大數(shù)據(jù)處理系統(tǒng)的應(yīng)用和處理系統(tǒng)分析
3.1 大數(shù)據(jù)處理系統(tǒng)的應(yīng)用
大數(shù)據(jù)處理系統(tǒng)的應(yīng)用主要包括三個方面：
（1）基于融合式架構(gòu)的應(yīng)用。這實際上就是一種客戶機/服務(wù)器架構(gòu)模式，其中服務(wù)器主要負責應(yīng)用系統(tǒng)的管理和控制以及相關(guān)應(yīng)用的邏輯處理和數(shù)據(jù)調(diào)度等。而客戶端則是專門進行人機交互，當用戶想要執(zhí)行數(shù)據(jù)處理分析人物時，通過客戶機向服務(wù)器發(fā)送請求，然后有服務(wù)器完成并返回給客戶端。這個融合式架構(gòu)相對簡單，且容易維護，但是服務(wù)器功能有著極高的依賴，這也往往成為數(shù)據(jù)處理系統(tǒng)應(yīng)用的瓶頸。
（2）分散式架構(gòu)。這種架構(gòu)的特點就是協(xié)同控制的節(jié)點都是平等地位，并且和處理系統(tǒng)有關(guān)的控制和管理模塊都是分散在各個客戶端上。客戶端擁有一定的自治屬性，因此具有通用性和靈活性和可擴展性等諸多優(yōu)勢。但是由于數(shù)據(jù)采用分布存儲和分布操作，這樣在維護方面就變得較為困難，而且節(jié)點之間的實時同步和用戶動態(tài)注冊的應(yīng)用也難以實現(xiàn)。
（3）混合式結(jié)構(gòu)。這種結(jié)構(gòu)擁有前兩兩種結(jié)構(gòu)有點，通過服務(wù)器實現(xiàn)數(shù)據(jù)信息的統(tǒng)一維護，而客戶端一方面實現(xiàn)信息傳輸功能，同時也能夠和用戶在某些應(yīng)用方面進行充分的交互，因此能夠有效減輕服務(wù)器端的壓力，這樣也能夠消除服務(wù)器端的瓶頸。提升系統(tǒng)的魯棒性和靈活性。
3.2 云計算技術(shù)下的大數(shù)據(jù)處理系統(tǒng)具體分析
3.2.1 系統(tǒng)架構(gòu)
云計算技術(shù)環(huán)境下的大數(shù)據(jù)處理平臺的節(jié)點主要體現(xiàn)下面幾個特點：其一是節(jié)點分散性；其二是數(shù)據(jù)處理動態(tài)性；其三是數(shù)據(jù)來源混構(gòu)性。
這個處理平臺架構(gòu)采用了融合式的調(diào)度執(zhí)行層和任務(wù)融合調(diào)度管理，并根據(jù)處理規(guī)則和不同的參數(shù)來調(diào)整處理引擎的數(shù)據(jù)和算法組合以及計算資源。對大數(shù)據(jù)資源的數(shù)據(jù)交互和任務(wù)分工工作進行了有效融合。同時在管理層，也對業(yè)務(wù)數(shù)據(jù)進行分布式存儲，提升了容錯處理能力。
3.2.2 系統(tǒng)處理流程
系統(tǒng)處理流程主要是對分散狀態(tài)數(shù)據(jù)進行處理，其關(guān)鍵就是對分散的數(shù)據(jù)進行提取，因此首先給其他應(yīng)用提供數(shù)據(jù)接口。然后數(shù)據(jù)管理部分要融合數(shù)據(jù)資源，并在一定容忍度的基礎(chǔ)下，對不同的數(shù)據(jù)處理機制進行比較，進而優(yōu)勢融合。最后數(shù)據(jù)處理中心則是對數(shù)據(jù)進行集中處理，然后統(tǒng)一分配數(shù)據(jù)資源，從而在數(shù)據(jù)中心實現(xiàn)數(shù)據(jù)處理的融合。
3.2.3 處理系統(tǒng)的部署
某信息產(chǎn)業(yè)園的大數(shù)據(jù)處理系統(tǒng)的部署是根據(jù)信息企業(yè)集群的需求，然后對現(xiàn)有分散數(shù)據(jù)資源進行挖掘，比如企業(yè)內(nèi)部的ERP和SCM系統(tǒng)中的數(shù)據(jù)，通過對這些數(shù)據(jù)進行深度挖掘從而為該企業(yè)提供戰(zhàn)略發(fā)展資源。圖1就顯示了這個部署圖。
從部署圖可以看出，在這家企業(yè)中，ERP和SCM和CRM是其數(shù)據(jù)源，然后經(jīng)過服務(wù)器處理之后，分布到n個數(shù)據(jù)庫，然后進行合并進入到大數(shù)據(jù)管理模塊，最終能夠?qū)崿F(xiàn)數(shù)據(jù)查詢和數(shù)據(jù)決策服務(wù)。
4 結(jié)語
總而言之，目前采用融合式思想，在云計算技術(shù)條件下，對大數(shù)據(jù)處理系統(tǒng)進行部署的研究相對較少，特別是當前的信息產(chǎn)業(yè)，由于其自身的解決方案并不能夠?qū)崿F(xiàn)大數(shù)據(jù)條件的比較優(yōu)勢，所以本文提出的融合式的大數(shù)據(jù)處理技術(shù)，有效的提升了數(shù)據(jù)利用深度，拓展了大數(shù)據(jù)處理系統(tǒng)的應(yīng)用范圍。
參考文獻
[1]于戈，谷峪，鮑玉斌，王志剛.云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].計算機學(xué)報，2011（10）.
[2]程苗基于云計算的Web數(shù)據(jù)挖掘[J].計算機科學(xué)，2011（S1）.
【關(guān)鍵詞】大數(shù)據(jù)；計算機軟件技術(shù)；應(yīng)用
1引言
大數(shù)據(jù)是指將一定時期內(nèi)的數(shù)據(jù)進行收集、整合、得出規(guī)律，并在此基礎(chǔ)上進行決策，而這個工作對于技術(shù)的要求過高，很難依靠人力完成，必須借助計算機技術(shù)來完成。隨著科技的進步，計算機技術(shù)在各個領(lǐng)域得到了廣泛的應(yīng)用，為企業(yè)或者國家進行大數(shù)據(jù)分析提供了便利，對經(jīng)濟發(fā)展起到了一定的積極作用。但是，在我國現(xiàn)階段的計算機軟件技術(shù)在大數(shù)據(jù)中的應(yīng)用水平依舊低于國際水平，這就需要相關(guān)工作人員增強對計算機軟件技術(shù)的研發(fā)，提升計算機軟件技術(shù)在大數(shù)據(jù)中應(yīng)用的水平，更好的滿足各行各業(yè)的發(fā)展需求。
2大數(shù)據(jù)環(huán)境下計算機軟件技術(shù)的幾種類型
2.1虛擬化技術(shù)
虛擬化技術(shù)主要是依托資源虛擬管理實現(xiàn)的，通過對大數(shù)據(jù)內(nèi)部資源配置進行優(yōu)化，增強信息數(shù)據(jù)的處理效率和用戶使用的便捷性，是計算機軟件技術(shù)中一項重要技術(shù)，得到了社會各界的廣泛關(guān)注。隨著虛擬化技術(shù)的發(fā)展，虛擬現(xiàn)實技術(shù)產(chǎn)業(yè)應(yīng)用而生，并呈現(xiàn)出良好的發(fā)展狀態(tài)。將虛擬化技術(shù)應(yīng)用到大數(shù)據(jù)中，不僅能夠?qū)崿F(xiàn)虛擬技術(shù)自身的優(yōu)化創(chuàng)新，還能夠?qū)崿F(xiàn)虛擬化技術(shù)的良性發(fā)展。
2.2云儲存技術(shù)
隨著技術(shù)的發(fā)展，云存儲技術(shù)在各個領(lǐng)域得到了廣泛的應(yīng)用。云存儲技術(shù)是由大量的儲存系統(tǒng)單元形成的有機整體，在將一系列功能進行有效整合的基礎(chǔ)上實現(xiàn)信息資源儲存，構(gòu)建成人們所需要的網(wǎng)絡(luò)數(shù)據(jù)庫。在大數(shù)據(jù)環(huán)境下，應(yīng)用云儲存技術(shù)能夠?qū)⒑Ａ康男畔?shù)據(jù)進行整理分類，為人們提供便捷的信息服務(wù)。
2.3數(shù)據(jù)采集與傳輸技術(shù)
在大數(shù)據(jù)環(huán)境下，計算機軟件技術(shù)的應(yīng)用能夠?qū)崿F(xiàn)對數(shù)據(jù)的采集和處理。計算機能夠依托相應(yīng)的軟件和硬件裝置實現(xiàn)數(shù)據(jù)的采集、處理、分類，并通過科學(xué)的操作將數(shù)據(jù)流進行歸納整理，在規(guī)范的傳輸原則基礎(chǔ)上，將數(shù)據(jù)傳輸至全網(wǎng)。
3大數(shù)據(jù)環(huán)境下計算機軟件技術(shù)的應(yīng)用現(xiàn)狀
在大數(shù)據(jù)環(huán)境下，相關(guān)的計算機技術(shù)研發(fā)人員也圍繞著計算機軟件技術(shù)在大數(shù)據(jù)信息庫的應(yīng)用進行了技術(shù)深度研究，在這個過程中，計算機軟件技術(shù)在各個領(lǐng)域中得到了廣泛的應(yīng)用，為各個領(lǐng)域的發(fā)展帶來新的發(fā)展方向。在計算機軟件技術(shù)在大數(shù)據(jù)信息庫的應(yīng)用過程中，則需要相關(guān)工作人員具備強大的洞察力、決策力、執(zhí)行力，為其應(yīng)用提供有效的保障。但是，盡管我國現(xiàn)階段計算機軟件技術(shù)水平不斷的提升，卻仍然存在著很多問題，影響到了計算機軟件技術(shù)在大數(shù)據(jù)信息庫應(yīng)用的效果，如缺乏專業(yè)人才、核心技術(shù)研究不足等問題，這就需要對國內(nèi)的計算機軟件技術(shù)進行革新和完善，更好的迎接大數(shù)據(jù)時代的挑戰(zhàn)。
4大數(shù)據(jù)環(huán)境下計算機軟件技術(shù)的應(yīng)用對策
4.1增強計算機人才的培養(yǎng)力度，重視核心技術(shù)的研發(fā)
在現(xiàn)階段國內(nèi)計算機研發(fā)領(lǐng)域中，存在這人才匱乏的問題，影響了計算機軟件技術(shù)在大數(shù)據(jù)信息庫中的應(yīng)用。因此，國家就要重視高校計算機技術(shù)專業(yè)的發(fā)展，為其提供資金支持和培養(yǎng)項目，不斷的增強計算機人才的創(chuàng)新能力，使其成為市場需求的專業(yè)技術(shù)人員。另外，國家更要重視計算機核心技術(shù)的研發(fā)，提供必要的資金支持，優(yōu)化軟件技術(shù)測評體系，在最大程度上保證信息數(shù)據(jù)的安全性，為計算機軟件技術(shù)開發(fā)創(chuàng)造良好的發(fā)展環(huán)境。
4.2計算機軟件技術(shù)在商業(yè)領(lǐng)域中的應(yīng)用
隨著科技的發(fā)展，計算機軟件技術(shù)的應(yīng)用領(lǐng)域越來越廣闊，在商業(yè)領(lǐng)域中也得到了廣泛的應(yīng)用。計算機軟件技術(shù)在商業(yè)領(lǐng)域的應(yīng)用主要是通過建立信息實時共享平臺，有效的掌握客戶信息，為客戶提供針對性的服務(wù)，不斷的增強企業(yè)的市場競爭力。因此，為有效的增強計算機軟件開發(fā)技術(shù)在商業(yè)領(lǐng)域中的應(yīng)用效果，企業(yè)需要借助網(wǎng)絡(luò)平臺對消費者各方面的信息進行采集分析，從中提煉出大量有價值的信息，有效的掌握消費者的需求，為其提供個性化的服務(wù)，增強企業(yè)的市場競爭力，實現(xiàn)企業(yè)的可持續(xù)發(fā)展。
4.3計算機軟件技術(shù)在教育領(lǐng)域中的應(yīng)用
隨著大數(shù)據(jù)時代的到來，教育信息化的發(fā)展趨勢越來越明顯，而在其中計算機軟件技術(shù)起到了關(guān)鍵的作用。教師借助信息技術(shù)輔助教學(xué)，在很大程度上突破了傳統(tǒng)教學(xué)模式的限制，通過網(wǎng)絡(luò)渠道為學(xué)生提供了大量的學(xué)習(xí)資源，有效的推動了教育的發(fā)展。因此，教師就要善于利用計算機軟件對學(xué)生的測驗情況進行數(shù)據(jù)分析，為學(xué)生提供針對性的教學(xué)服務(wù)。
5結(jié)語