如何通過JAVA程式提交yarn的MapReduce計算任務

由於專案需求,需要通過JAVA程式提交Yarn的MapReduce的計算任務。 與一般的通過Jar包提交MapReduce任務不同,通過程式提交MapReduce任務需要有點小變動,詳見以下代碼。   以下為MapReduce主程式,有幾點需要提一下:   1、在程式中,我將檔讀入格式設定為WholeFileInputFormat,即不對檔進行切分。   2、為了控制reduce的處理...

雲存儲對雲計算環境的貢獻

雲存儲首先涉及到的是個人資訊安全性的問題,諸如在美國和歐盟都有資料保護法律,如美國的HIPPAA法案,歐盟的DPD法案。 法案必須堅持保護資料中心的安全性以及合法性。 當有合理健全的法律進行保護的時候,雲存儲的巨大優勢便顯現出來。     雲存儲可以快速的將本地資訊備份到雲端,然後用不同的終端設備訪問,這樣分享就變的更加容易,類似YouTube視頻這樣,人們也將利用雲存儲去分享更多...

雲計算基礎架構【圖】

雲計算不僅是技術,更是服務模式的創新。 雲計算之所以能夠為使用者帶來更高的效率、靈活性和可擴充性,是基於對整個IT領域的變革,其技術和應用涉及硬體系統、軟體系統、應用系統、運維管理、服務模式等各個方面。   IaaS(基礎架構即服務)作為雲計算的三大部分之一,將基礎架構進行雲化,從而更好的為應用系統的上線、部署和運維提供支撐,提升效率,降低TCO。 同時,由於IaaS包含各種類型的硬體和軟體系...

惠普桌面虛擬化:邁向「雲」端的強動力

智慧化決定是目前消費電子領域的主流趨勢,所有的產品只要能通電,基本上就都可以跟智慧扯上關係。 不說手機,電視這些主流產品,就連冰箱,洗衣機,空氣淨化器這些家居產品現在也都跟智慧扯上了關係,一起組成了智慧家居這個嶄新的概念。   要想實現智慧,單單依靠內置智慧的作業系統顯然是不夠的。 對於智慧傢俱體系中的產品來說,其核心還在於對互聯網的應用。 單獨的智慧設備不能算是真正意義上的智慧設備,只有實現...

雲思創想Morion D3雲終端新品發佈:千元桌面雲宣導者

自2006年Google首次提出「雲計算」概念以來,雲計算正風起雲湧席捲各行各業。 桌面雲作為雲計算在桌面領域的技術延伸也迎來了巨大的發展浪潮。 國內桌面雲的領導廠商雲思創想科技(北京)有限公司日前宣佈,Morion D3桌面雲終端已全新上市。 該產品搭載雲思創想最新自主研發的桌面雲協定,在桌面流暢性、高清視頻播放、USB外設相容以及穩定性和實用性等方面提供了最佳的使用體驗。   桌面雲是傳統...

存儲架構 企業如何實施混合雲部署?

隨著伺服器虛擬化的廣泛應用,雲計算技術已經成為效用計算的下一個發展方向,在雲計算時代,我們能夠像使用電力資源一樣消費計算資源,並且按需付費。 雲存儲的應用則脫胎于Amazon的S3服務(Simple Storage Service),而且很快就被其他服務運營商所效仿。 然而,較差的性能以及出於對安全問題的擔憂始終籠罩著雲存儲,讓它的眾多優點黯然失色,同時也阻礙了這項技術進入主流的...

如何在廣域網路上實現私有雲計算

Stephen Smoot是《私有雲計算:整合、虛擬化和麵向服務基礎架構》的作者之一,本站與他就在廣域網路上實現私有雲計算的問題進行了交流,我們詢問了Smoot:如何看待私有雲計算與公共雲計算的關係, 如何改進WAN以更好地支援私有雲計算等問題。 本篇Q&A將介紹這些相關問題及回答。   您對私有雲計算的定義是什麼,您是如何看待它與公共雲計算的區別...

ChinaGrid二期即將啟動 力推雲服務

8月22日,第六屆ChinaGrid 2011學術年會在大連理工大學成功舉辦。 在本次大會上,ZOL記者有幸見到清華大學鄭緯民教授,從中瞭解到ChinaGrid從發展初期到現在的一些基本情況。     回顧過去數年來ChinaGrid一期的工作,鄭緯民教授向ZOL記者表示,可以簡要歸納為三方面:   &nb...

博科通過開放式虛擬化計算來釋放雲能力

2011年9月1日, 基於架構的資料中心網路解決方案的領先供應商博科(納斯達克代碼:BRCD)今天宣佈,憑藉新的博科虛擬計算模組, Brocade® CloudPlex™架構取得長足進步。 這些捆綁式解決方案包括集成的、經過測試和驗證的多廠商伺服器、虛擬化、網路和存儲資源。 體現合作夥伴緊密協作的新型解決方案於今天正式面市,並與包括戴爾、EMC、富士...

五大雲管理解決方案概覽

對企業使用者而言,如何實現傳統基礎設施和「雲」基礎設施的混合管理,是一個必須面對的問題。 目前,雲管理市場彙集各路豪傑,其中不乏大型IT廠商的身影,也有頗具創新能力的新興公司。   隨著雲計算在企業環境的逐步落地,各廠商針對雲管理的產品和解決方案也層出不窮。 據IDC研究預計,到2015年全球雲管理軟體市場規模將達到25億美元。 今天,市面上的雲管理軟體和解決方...

關於Ubuntu的企業雲(UEC)

所謂「雲」是指完成某種計算任務的伺服器網路,該網路根據任務的即時需求能夠自動擴展和收縮,具有彈性,以便最大限度地節省計算資源(包括能源)和提高系統的安全可靠性。 準確地說,這裡的伺服器多半是指虛擬的伺服器(虛擬機器)。 說實在的,雲(的機制)很複雜,一般人不好對付。 怎麼辦呢?     當今,企業家(或CIO)都很重視雲計算。 但是,...

雲計算的商業模式須找到新的「落地點」

通過分析和觀察,我們發現目前的雲計算大都是個人計算的業務模式,針對企業計算我們能看到的就是資料中心(即IaaS/IDC),這也是基於IT資源的一種商業模式。 但是公司資訊化本質上需要解決的是應用複雜度的問題,一種基於應用驅動的雲計算模式。 在說明現在的雲計算不能滿足公司資訊化需求之前,我們先來看看我們鼓吹的SaaS/PaaS/IaaS是怎麼黯然失色的。   ...

JAVA雲計算——兩種方法

最近,人們在思考如何使用JAVA來實現雲計算,我看到了兩種趨勢性的方法。 它們存在交叉重疊處而並非互相排斥,但總體而言它們在專案方面有著非常不同的表現:     重面向UI(Heavy UI oriented)     這種類型的應用或框架通常提供基於UI的主控台、管理有用、外掛程式等,這為管理雲中的...

用 Linux 和 Apache Hadoop 進行雲計算

IBM®、Google、VMWare 和 Amazon 等公司已經開始提供雲計算產品和戰略。 本文講解如何使用 Apache Hadoop 構建一個 MapReduce 框架以建立 Hadoop 集群,以及如何創建在 Hadoop 上運行的示例 MapReduce 應用程式。 還將討論如何在雲上設置耗費時間/磁片的...

連接到雲,第3部分: 雲治理和安全性--保護 HybridCloud 應用程式的安全

本文是關於構建混合雲應用程式、考察雲計算的治理和安全性系列文章的第 3 部分,同時也是最後一部分。 本文通過考察如何向 Amazon Simple Queue Service (SQS) 添加存取控制策略擴展了第 2 部分的 HybridCloud 應用程式。 詳細瞭解 HybridCloud 應用程式如何向雲服務驗證自己...

連接到雲,第1部分: 在應用程式中使用雲--充分利用混合模型

探究雲計算以及 Amazon、Google、Microsoft® 及 SalesForce.com 這幾家主要供應商所提供的各種雲平臺。 在這個由三個部分組成的系列文章的第 1 部分中,我們會給出一個典型的使用 JMS 佇列的企業應用程式示例,並研究在雲中結合使用此 JMS 基礎設施的一部分時將會涉及到哪些內容。 ...

JAVA 開發 2.0: 通過 CouchDB 和 Groovy 的 RESTClient 實現 REST

在過去數年中,開源世界的創新發展將 JAVA™ 開發人員的生產力提升了一個層次。 免費的工具、框架和解決方案彌補了曾經一度匱乏的空缺。 其中,被一些人認為是 Web 2.0 資料庫的 Apache CouchDB 是非常有潛力的。 全面掌握 CouchDB 並不困難,使用它就像使用 Web 瀏覽器一樣簡單。 本期 JAVA 開...

cProc雲處理平臺(含資料立方和JobKeeper)產品介紹

請下載:temp_13020600067827.pdfcProc雲處理平台產品優勢   即時性:平臺在高效率並行分散式軟體的支撐下,可以即時完成資料計算和分析工作,如資料計算、資料查詢、和統計分析等。 資料計算不會出現資料堆積現象,各類分析和查詢工作基本都在秒級完成,具有前所未有的高效性。   高可靠性:基於對雲計算可靠性深厚的研究積累,徹底解決了當前分散式計...

人力資源管理已進入全面雲應用時代

近期,參加了由全球領先的人力資源網站HROOT主辦的2013年人力資源巡展再次感受到了這股人力資源管理的強力雲風暴。 其中令筆者印象最為深刻的就是中國本土最為專業的人力資源外包服務提供企業,國內人力資源管理行業的領軍企業——易才集團的創始人、董事長兼總裁李浩提出的「以互聯網整合專業技術」這一理念, 並強勢推出行業首朵薪酬雲-易得薪以及ITAS等全面覆蓋招聘、薪酬管理到績效管理等各個...

【視頻】如何利用試算表API 作為雲計算中的資料庫

谷歌開發工程師Jeffrey Scudder對他的GData Python Client Library作一個演示,如何將Google Spreadsheets試算表產品作為雲計算應用中的資料庫 。 更多谷歌試算表的資料請參見:HTTP://code.google.com/apis/spreadsheets

總頁數: 432 1 .... 158 159 160 161 162 .... 432 Go to: 前往

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.