大資料資源

標籤：async   自動   任務   軟體庫   生態系統   parse   reduce   birt   ural   

當前，整個互連網正在從IT時代向DT時代演化，大資料技術也正在助力企業和公眾敲開DT世界大門。當今“大資料”一詞的重點其實已經不僅在於資料規模的定義，它更代表著資訊技術發展進入了一個新的時代，代表著爆炸性的資料資訊給傳統的計算技術和資訊技術帶來的技術挑戰和困難，代表著大資料處理所需的新的技術和方法，也代表著大資料分析和應用所帶來的新發明、新服務和新的發展機遇。　　為了協助大家更好深入瞭解大資料，雲棲社區組織翻譯了GitHub Awesome Big Data資源，供大家參考。本資源類型主要包括：大資料架構、論文等實用資源集合。\資源清單：關聯式資料庫管理系統(RDBMS)　　MySQL：世界最流行的開來源資料庫;　　PostgreSQL：世界最先進的開來源資料庫;　　Oracle 資料庫：對象-關係型資料庫管理系統。架構  Apache Hadoop：分散式處理架構，結合了 MapReduce(平行處理)、YARN(作業調度)和HDFS(Distributed File System);　　Tigon：高輸送量即時資料流處理架構。分布式編程  AddThis Hydra ：最初在AddThis上開發的分布式資料處理和儲存系統;　　AMPLab SIMR：用在Hadoop MapReduce v1上運行Spark;　　Apache Beam：為統一的模型以及一套用於定義和執行資料處理工作流程的特定SDK語言;　　Apache Crunch：一個簡單的Java API，用於執行在普通的MapReduce實現時比較單調的串連、資料彙總等任務;　　Apache DataFu：由LinkedIn開發的針對Hadoop and 和Pig的使用者定義的函數集合;　　Apache Flink：具有高效能的執行時間和Bot最佳化;　　Apache Gora：記憶體中的資料模型和持久性架構;　　Apache Hama：BSP(整體同步並行)計算架構;　　Apache MapReduce ：在叢集上使用並行、分布式演算法處理大資料集的編程模型;　　Apache Pig ：Hadoop中，用於處理資料分析程式的進階查詢語言;　　Apache REEF ：用來簡化和統一低層大資料系統的保留性評估執行架構;　　Apache S4 ：S4中流處理與實現的架構;　　Apache Spark ：記憶體叢集計算架構;　　Apache Spark Streaming ：流處理架構，同時是Spark的一部分;　　Apache Storm ：Twitter流處理架構，也可用於YARN;　　Apache Samza ：基於Kafka和YARN的流處理架構;　　Apache Tez ：基於YARN，用於執行任務中的複雜DAG(有向非循環圖);　　Apache Twill ：基於YARN的抽象概念，用於減少開發分布式應用程式的複雜度;　　Cascalog：資料處理和查詢庫;　　Cheetah ：在MapReduce之上的高效能、自訂資料倉儲;　　Concurrent Cascading ：在Hadoop上的資料管理/分析架構;　　Damballa Parkour ：用於Clojure的MapReduce庫;　　Datasalt Pangool ：可選擇的MapReduce範例;　　DataTorrent StrAM ：為即時引擎，用於以儘可能暢通的方式、最小的開支和對效能最小的影響，實現分布式、非同步、即時的記憶體大資料計算;　　Facebook Corona ：為Hadoop做最佳化處理，從而消除單點故障;　　Facebook Peregrine ：MapReduce架構;　　Facebook Scuba ：分布式記憶體資料存放區;　　Google Dataflow ：建立資料管道，以協助其分析架構;　　Netflix PigPen ：為MapReduce，用於編譯成Apache Pig;　　Nokia Disco ：由Nokia開發的MapReduc擷取、轉換和分析資料;　　Google MapReduce ：MapReduce架構;　　Google MillWheel ：容錯流處理架構;　　JAQL ：用於處理結構化、半結構化和非結構化資料工作的宣告式程式設計語言;　　Kite ：為一組庫、工具、執行個體和文檔集，用於使在Hadoop的生態系統上建立系統更加容易;　　Metamarkets Druid ：用於大資料集的即時e架構;　　Onyx ：分布式雲端運算;　　Pinterest Pinlater ：非同步任務執行系統;　　Pydoop ：用於Hadoop的Python MapReduce和HDFS API;　　Rackerlabs Blueflood ：多租戶分布式測度處理系統;　　Stratosphere ：通用叢集計算架構;　　Streamdrill ：用於計算基於不同時間視窗的事件流的活動，並找到最活躍的一個;　　Tuktu ：便於使用的用於分批處理和StreamCompute的平台，通過Scala、 Akka和Play所建;　　Twitter Scalding：基於Cascading，用於Map Reduce工作的Scala庫;　　Twitter Summingbird ：在Twitter上使用Scalding和Storm串流MapReduce;　　Twitter TSAR ：Twitter上的時間序列彙總器。Distributed File System　　Apache HDFS：在多台機器上儲存大型檔案的方式;　　BeeGFS：以前是FhGFS，並行Distributed File System;　　Ceph Filesystem：設計的軟體儲存平台;　　Disco DDFS：Distributed File System;　　Facebook Haystack：Object Storage Service系統;　　Google Colossus：Distributed File System(GFS2);　　Google GFS：Distributed File System;　　Google Megastore：可擴充的、高度可用的儲存;　　GridGain：相容GGFS、Hadoop記憶體的檔案系統;　　Lustre file system：高效能Distributed File System;　　Quantcast File System QFS：開源Distributed File System;　　Red Hat GlusterFS：向外擴充的附網儲存(Network-attached Storage)檔案系統;　　Seaweed-FS：簡單的、高度可擴充的Distributed File System;　　Alluxio：以可靠的儲存速率在跨叢集架構上檔案分享權限設定;　　Tahoe-LAFS：分布式雲端儲存系統;檔案資料模型　　Actian Versant：商用的物件導向資料庫管理系統;　　Crate Data：是一個開源的大規模可擴充的資料存放區，需要零管理員模式;　　Facebook Apollo：Facebook的Paxos演算法，類似於NoSQL資料庫;　　jumboDB：基於Hadoop的面向文檔的資料存放區;　　LinkedIn Espresso：可橫向擴充的面向文檔的NoSQL資料存放區;　　MarkLogic：模式不可知的企業版NoSQL資料庫技術;　　MongoDB：面向文檔的資料庫系統;　　RavenDB：一個事務性的，開來源文件資料庫;　　RethinkDB：支援串連查詢和群組依據等查詢的文檔型資料庫。Key Map 資料模型　　注意：業記憶體在一些術語混亂，有兩個不同的東西都叫做“列式資料庫”。這裡列出的有一些是圍繞“key-map”資料模型而建的分布式、持續型資料庫，其中所有的資料都有(可能綜合了)鍵，並與映射中的鍵-值對相關聯。在一些系統中，多個這樣的值對應可以與鍵相關聯，並且這些映射被稱為“列族”(具有映射值的鍵被稱為“列”)。　　另一組也可稱為“列式資料庫”的技術因其儲存資料的方式而有別於前一組，它在磁碟上或在儲存空間中——而不是以傳統方式，即所有既定鍵的索引值都相鄰著、逐行儲存。這些系統也彼此相鄰來儲存所有列值，但是要得到給定列的所有值卻不需要以前那麼繁複的工作。　　前一組在這裡被稱為“key map資料模型”，這兩者和Key-value 資料模型之間的界限是相當模糊的。後者對資料模型有更多的儲存格式，可在列式資料庫中列出。若想瞭解更多關於這兩種模型的區分，可閱讀Daniel Abadi的部落格：Distinguishing two major types of Column Stores。　　Apache Accumulo：內建在Hadoop上的分布式鍵/值儲存;　　Apache Cassandra：由BigTable授權，面向列的分布式資料存放區;　　Apache HBase：由BigTable授權，面向列的分布式資料存放區;　　Facebook HydraBase：Facebook所開發的HBase的衍化品;　　Google BigTable：面向列的分布式資料存放區;　　Google Cloud Datastore：為完全管理型的無模式資料庫，用於儲存在BigTable上非關係型資料;　　Hypertable：由BigTable授權，面向列的分布式資料存放區;　　InfiniDB：通過MySQL的介面訪問，並使用大規模平行處理進行並行查詢;　　Tephra：用於HBase處理;　　Twitter Manhattan：Twitter的即時、多租戶分散式資料庫。鍵-值資料模型　　Aerospike：支援NoSQL的快閃記憶體最佳化，資料存放區在記憶體。開源，“‘C‘(不是Java或Erlang)中的伺服器代碼可精確地調整從而避免環境切換和記憶體拷貝”。　　Amazon DynamoDB：分布式鍵/值儲存，Dynamo論文的實現;　　Edis：為替代Redis的協議相容的伺服器;　　ElephantDB：專門研究Hadoop中資料匯出的分散式資料庫;　　EventStore：分布式時間序列資料庫;　　GridDB：適用於儲存在時間序列中的感應器資料;　　LinkedIn Krati：簡單的持久性資料存放區，擁有低延遲和高輸送量;　　Linkedin Voldemort：分布式鍵/值儲存系統;　　Oracle NoSQL Database：Oracle公司開發的分布式索引值資料庫;　　Redis：記憶體中的索引值資料存放區;　　Riak：分散式資料存放區;　　Storehaus：Twitter開發的非同步KVStore for Redis的庫;　　Tarantool：一個高效的NoSQL資料庫和Lua應用伺服器;　　TiKV：由Google Spanner和HBase授權，Rust提供支援人員的分布式索引值資料庫;　　TreodeDB：可複製、共用的鍵-值儲存，能提供多行原子寫入。圖形資料模型　　Apache Giraph：基於Hadoop的Pregel實現;　　Apache Spark Bagel：可實現Pregel，為Spark的一部分;　　ArangoDB：多層模型分散式資料庫;　　DGraph：一個可擴充的、分布式、低時延、高輸送量的圖形資料庫，旨在為Google生產水平規模和輸送量提供足夠的低延遲，用於TB級的結構化資料的即時使用者查詢;　　Facebook TAO：TAO是facebook廣泛用來儲存和服務於社交圖形的分布式資料存放區;　　GCHQ Gaffer：GCHQ中的Gaffer是一個易於儲存大規模圖形的架構，其中節點和邊緣都有統計資料;　　Google Cayley：開源圖形資料庫;　　Google Pregel ：圖形處理架構;　　GraphLab PowerGraph：核心C ++ GraphLab API和建立在GraphLab API之上的高效能機器學習和資料採礦工具包的集合;　　GraphX：Spark中的彈性分布式圖形系統;　　Gremlin：圖形追蹤語言;　　Infovore：以RDF為中心的Map / Reduce架構;　　Intel GraphBuilder：在Hadoop上構建大規模圖形的工具;　　MapGraph：用於在GPU上大規模並行圖形處理;　　Neo4j：完全用Java寫入的圖形資料庫;　　OrientDB：文檔和圖形資料庫;　　Phoebus：大型圖形處理架構;　　Titan：建於Cassandra的分布式圖形資料庫;　　Twitter FlockDB：分布式圖形資料庫。NewSQL資料庫　　Actian Ingres：由商業支援，開源的SQL關聯式資料庫管理系統;　　Amazon RedShift：基於PostgreSQL的資料倉儲服務;　　BayesDB：面向統計數值的SQL資料庫;　　CitusDB：通過分區和複製橫向擴充PostgreSQL;　　Cockroach：可擴充、地址可複製、交易型的資料庫;　　Datomic：旨在產生可擴充、靈活的智能應用的分散式資料庫;　　FoundationDB：由F1授意的分散式資料庫;　　Google F1：建立在Spanner上的分布式SQL資料庫;　　Google Spanner：全球性的分布式半關係型資料庫;　　H-Store：是一個實驗性主存並行資料庫管理系統，用於聯機交易處理(OLTP)應用的最佳化;　　Haeinsa：基於Percolator，HBase的線性可擴充多行多表交易庫;　　HandlerSocket：MySQL/MariaDB的NoSQL外掛程式;　　InfiniSQL：無限可擴充的RDBMS;　　MemSQL：記憶體中的SQL資料庫，其中有最佳化的快閃記憶體列儲存;　　NuoDB：SQL / ACID相容的分散式資料庫;　　Oracle TimesTen in-Memory Database：記憶體中具有持久性和可恢複性的關係型資料庫管理系統;　　Pivotal GemFire XD：記憶體中低延時的分布式SQL資料存放區，可為記憶體列表資料提供SQL介面，在HDFS中較持久化;　　SAP HANA：是在記憶體中面向列的關係型資料庫管理系統;　　SenseiDB：分布式即時半結構化的資料庫;　　Sky：用於行為資料的靈活、高效能分析的資料庫;　　SymmetricDS：用於檔案和資料庫同步的開源軟體;　　Map-D：為GPU記憶體資料庫，也為大資料分析和可視化平台;　　TiDB：TiDB是分布式SQL資料庫，基於GoogleF1的設計構想;　　VoltDB：自稱為最快的記憶體資料庫。列式資料庫　　注意：請在鍵-值資料模型 閱讀相關注釋。　　Columnar Storage：解釋什麼是列儲存以及何時會需要用到它;　　Actian Vector：面向列的AnalyticDB;　　C-Store：面向列的DBMS;　　MonetDB：列儲存資料庫;　　Parquet：Hadoop的列儲存格式;　　Pivotal Greenplum：專門設計的、專用的分析資料倉庫，類似於傳統的基於行的工具，提供了一個列式工具;　　Vertica：用來管理大規模、快速增長的大量資料，當用於資料倉儲時，能夠提供非常快的查詢效能;　　Google BigQuery ：Google的雲產品，由其在Dremel的創始工作提供支援;　　Amazon Redshift ：亞馬遜的雲產品，它也是基於柱狀資料存放區後端。時間序列資料庫　　Cube：使用MongoDB來儲存時間序列資料;　　Axibase Time Series Database：在HBase之上的分布式時間序列資料庫，它包括內建的Rule Engine、資料預測和可視化;　　Heroic：基於Cassandra和Elasticsearch的可擴充的時間序列資料庫;　　InfluxDB：分布式時間序列資料庫;　　Kairosdb：類似於OpenTSDB但會考慮到Cassandra;　　OpenTSDB：在HBase上的分布式時間序列資料庫;　　Prometheus：一種時間序列資料庫和服務監測系統;　　Newts：一種基於Apache Cassandra的時間序列資料庫。類SQL處理　　Actian SQL for Hadoop：高效能互動SQL，可訪問所有的Hadoop資料;　　Apache Drill：由Dremel授意的互動式分析架構;　　Apache HCatalog：Hadoop的表格和儲存管理層;　　Apache Hive：Hadoop的類SQL資料倉儲系統;　　Apache Optiq：一種架構，可允許高效的查詢翻譯，其中包括異構性及聯合性資料的查詢;　　Apache Phoenix：Apache Phoenix 是 HBase 的 SQL 驅動;　　Cloudera Impala：由Dremel授意的互動式分析架構;　　Concurrent Lingual：Cascading中的類SQL查詢語言;　　Datasalt Splout SQL：用於大資料集的完整的SQL查詢工具;　　Facebook PrestoDB：分布式SQL查詢工具;　　Google BigQuery：互動式分析架構，Dremel的實現;　　Pivotal HAWQ：Hadoop的類SQL的資料倉儲系統;　　RainstorDB：用於儲存大規模PB級結構化和半結構化資料的資料庫;　　Spark Catalyst：用於Spark和Shark的查詢最佳化架構;　　SparkSQL：使用Spark操作結構化資料;　　Splice Machine：一個全功能的Hadoop上的SQL RDBMS，並帶有ACID事務;　　Stinger：用於Hive的互動式查詢;　　Tajo：Hadoop的分布式資料倉儲系統;　　Trafodion：為企業級的SQL-on-HBase針對大資料的事務或業務工作負載的解決方案。資料攝取　　Amazon Kinesis：大規模資料流的即時處理;　　Apache Chukwa：資料擷取系統;　　Apache Flume：管理大量日誌資料的服務;　　Apache Kafka：分布式發布-訂閱訊息系統;　　Apache Sqoop：在Hadoop和結構化的資料存放區區之間傳送資料的工具;　　Cloudera Morphlines：協助 Solr、HBase和HDFS完成ETL的架構;　　Facebook Scribe：流日誌資料彙總器;　　Fluentd：採集事件和日誌的工具;　　Google Photon：即時串連多個資料流的分散式運算機系統，具有高可擴充性和低延遲性;　　Heka：開源流處理軟體系統;　　HIHO：用Hadoop串連不同資料來源的架構;　　Kestrel：分布式訊息佇列系統;　　LinkedIn Databus：對資料庫更改捕獲的事件流;　　LinkedIn Kamikaze：壓縮已分類整型數組的程式包;　　LinkedIn White Elephant：日誌彙總器和儀表板;　　Logstash：用於管理事件和日誌的工具;　　Netflix Suro：像基於Chukwa 的Storm和Samza一樣的日誌彙總器;　　Pinterest Secor：是實現Kafka日誌持久性的服務;　　Linkedin Gobblin：LinkedIn的通用資料攝取架構;　　Skizze：是一種資料存放區略圖，使用機率性資料結構來處理計數、略圖等相關的問題;　　StreamSets Data Collector：連續大資料擷取的基礎設施，可簡單地使用IDE。服務編程　　Akka Toolkit：JVM中分布性、容錯事件驅動應用程式的已耗用時間;　　Apache Avro：資料序列化系統;　　Apache Curator：Apache ZooKeeper的Java庫;　　Apache Karaf：在任何OSGi架構之上啟動並執行OSGi已耗用時間;　　Apache Thrift：構建二進位協議的架構;　　Apache Zookeeper：流程管理集中式服務;　　Google Chubby：一種松耦合分布式系統鎖服務;　　Linkedin Norbert：叢集管理器;　　OpenMPI：訊息傳遞架構;　　Serf：服務發現和協調的分散化解決方案;　　Spotify Luigi：一種構建批次工作的複雜管道的Python包，它能夠處理依賴性解析、工作流程管理、可視化、故障處理、命令列一體化等等問題;　　Spring XD：資料攝取、即時分析、批量處理和資料匯出的分布式、可擴充系統;　　Twitter Elephant Bird：LZO壓縮資料的工作庫;　　Twitter Finagle：JVM的非同步網路堆棧。調度　　Apache Aurora：在Apache Mesos之上啟動並執行服務發送器;　　Apache Falcon：資料管理架構;　　Apache Oozie：工作流程作業發送器;　　Chronos：分布式容錯調度;　　Linkedin Azkaban：批處理工作流程作業調度;　　Schedoscope：Hadoop作業敏捷調度的Scala DSL;　　Sparrow：調度平台;　　Airflow：一個以編程方式編寫、調度和監控工作流程的平台。機器學習　　Apache Mahout：Hadoop的機器學習庫;　　brain：JavaScript中的神經網路;　　Cloudera Oryx：即時大規模機器學習;　　Concurrent Pattern：Cascading的機器學習庫;　　convnetjs：Javascript中的機器學習，在瀏覽器中訓練卷積神經網路(或普通網路);　　Decider：Ruby中靈活、可擴充的機器學習;　　ENCOG：支援多種先進演算法的機器學習架構，同時支援類的標準化和處理資料;　　etcML：機器學習文本分類;　　Etsy Conjecture：Scalding中可擴充的機器學習;　　Google Sibyl：Google中的大規模機器學習系統;　　GraphLab Create：Python的Machine Learning Platform for AI，包括ML工具包、資料工程和部署工具的廣泛集合;　　H2O：Hadoop統計性的機器學習和數學已耗用時間;　　MLbase：用於BDAS堆棧的分布式機器學習庫;　　MLPNeuralNet：針對iOS和Mac OS X的快速多層感知神經網路程式庫;　　MonkeyLearn：使文本挖掘更為容易，從文本中提取分類資料;　　nupic：智能計算的Numenta平台，它是一個啟發大腦的機器智力平台，基於皮質學習演算法的精準的生物神經網路;　　PredictionIO：建於Hadoop、Mahout和Cascading上的機器學習伺服器;　　SAMOA：分布式流媒體機器學習架構;　　scikit-learn：scikit-learn為Python中的機器學習;　　Spark MLlib：Spark中一些常用的機器學習(ML)功能的實現;　　Vowpal Wabbit：微軟和雅虎發起的學習系統;　　WEKA：機器學習軟體套件;　　BidMach：CPU和加速GPU的機器學習庫。基準測試　　Apache Hadoop Benchmarking：測試Hadoop效能的微基準;　　Berkeley SWIM Benchmark：現實大資料工作負載基準測試;　　Intel HiBench：Hadoop基準測試套件;　　PUMA Benchmarking：MapReduce應用的基準測試套件;　　Yahoo Gridmix3：雅虎工程師團隊的Hadoop叢集基準測試。安全性　　Apache Knox Gateway：Hadoop叢集安全訪問的單點;　　Apache Sentry：儲存在Hadoop的資料安全模組。系統部署　　Apache Ambari：Hadoop管理的運作架構;　　Apache Bigtop：Hadoop生態系統的部署架構;　　Apache Helix：叢集管理架構;　　Apache Mesos：叢集管理器;　　Apache Slider：一種YARN應用，用來部署YARN中現有的分布式應用程式;　　Apache Whirr：運行雲端服務的庫集;　　Apache YARN：叢集管理器;　　Brooklyn：用於簡化應用程式部署和管理的庫;　　Buildoop：基於Groovy語言，和Apache BigTop類似;　　Cloudera HUE：和Hadoop進行互動的Web應用程式;　　Facebook Prism：多資料中心複製系統;　　Google Borg：作業調度和監控系統;　　Google Omega：作業調度和監控系統;　　Hortonworks HOYA：可在YARN上部署HBase叢集的應用;　　Marathon：用於長期運行服務的Mesos架構。應用程式　　Adobe spindle：使用Scala、Spark和Parquet處理的下一代web分析;　　Apache Kiji：基於HBase，即時採集和分析資料的架構;　　Apache Nutch：開源網路爬蟲;　　Apache OODT：用於NASA科學檔案中資料的捕獲、處理和共用;　　Apache Tika：內容分析工具包;　　Argus：時間序列監測和警示平台;　　Countly：基於Node.js和MongoDB，開源的手機和網路分析平台;　　Domino：運行、規劃、共用和部署模型——沒有任何基礎設施;　　Eclipse BIRT：基於Eclipse的報告系統;　　Eventhub：開源的事件分析平台;　　Hermes：建於Kafka上的非同步訊息代理;　　HIPI Library：在Hadoop‘s MapReduce上執行影像處理任務的API;　　Hunk：Hadoop的Splunk分析;　　Imhotep：大規模分析平台;　　MADlib：RDBMS的用於資料分析的資料處理庫;　　Kylin：來自eBay的開源分布式分析工具;　　PivotalR：Pivotal HD / HAWQ和PostgreSQL中的R;　　Qubole：為自動縮放Hadoop叢集，內建的資料連線器;　　Sense：用於資料科學和大資料分析的雲平台;　　SnappyData：用於即時運營分析的分布式記憶體資料存放區，提供建立在Spark單一整合叢集中的資料流分析、OLTP(聯機交易處理)和OLAP(線上分析處理);　　Snowplow：企業級網路和事件分析，由Hadoop、Kinesis、Redshift 和Postgres提供支援人員;　　SparkR：Spark的R前端;　　Splunk：用於機器產生的資料的分析;　　Sumo Logic：雲端式的分析儀，用於分析機器產生的資料;　　Talend：用於YARN、Hadoop、HBASE、Hive、HCatalog和Pig的統一開源環境;　　Warp：利用大資料(OS X app)的執行個體查詢工具。搜尋引擎與架構　　Apache Lucene：搜尋引擎庫;　　Apache Solr：用於Apache Lucene的搜尋平台;　　Elasticsearch：基於Apache Lucene的搜尋和分析引擎;　　Enigma.io：為免費增值的健壯性web應用，用於探索、篩選、分析、搜尋和匯出來自網路的大規模資料集;　　Facebook Unicorn：社交圖形搜尋平台;　　Google Caffeine：連續索引系統;　　Google Percolator：連續索引系統;　　TeraGoogle：大型搜尋索引;　　HBase Coprocessor：為Percolator的實現，HBase的一部分;　　Lily HBase Indexer：快速、輕鬆地搜尋儲存在HBase的任何內容;　　LinkedIn Bobo：完全由Java編寫的分面搜尋的實現，為Apache Lucene的延伸;　　LinkedIn Cleo：為一個一個靈活的軟體庫，使得局部、無序、即時預輸入的搜尋實現了快速發展;　　LinkedIn Galene：LinkedIn搜尋結構描述;　　LinkedIn Zoie：是用Java編寫的即時搜尋/索引系統;　　Sphinx Search Server：全文檢索搜尋引擎MySQL的分支和演化　　Amazon RDS：亞馬遜雲的MySQL資料庫;　　Drizzle：MySQL的6.0的演化;　　Google Cloud SQL：Google雲的MySQL資料庫;　　MariaDB：MySQL的增強版嵌入式替代品;　　MySQL Cluster：使用NDB叢集儲存引擎的MySQL實現;　　Percona Server：MySQL的增強版嵌入式替代品;　　ProxySQL：MySQL的高效能代理;　　TokuDB：用於MySQL和 MariaDB的儲存引擎;　　WebScaleSQL：運行MySQL時面臨類似挑戰的幾家公司，它們的工程師之間的合作。PostgreSQL的分支和演化　　Yahoo Everest - multi-peta-byte database / MPP derived by PostgreSQL.　　HadoopDB：MapReduce和DBMS的混合體;　　IBM Netezza：高效能資料倉庫裝置;　　Postgres-XL：基於PostgreSQL，可擴充的開來源資料庫叢集;　　RecDB：完全建立在PostgreSQL內部的開源Recommendation Engine;　　Stado：開源MPP資料庫系統，只針對資料倉儲和資料集市的應用程式;　　Yahoo Everest：PostgreSQL可以推導多位元組P位元資料庫/MPP。Memcached的分支和演化　　Facebook McDipper：快閃記憶體的鍵/值緩衝;　　Facebook Memcached：Memcache的分支;　　Twemproxy：Memcached和Redis的快速、輕型代理;　　Twitter Fatcache：快閃記憶體的鍵/值緩衝;　　Twitter Twemcache：Memcache的分支。嵌入式資料庫　　Actian PSQL：Pervasive Software公司開發的ACID相容的DBMS，在應用程式中嵌入了最佳化;　　BerkeleyDB：為鍵/值資料提供一個高效能的嵌入式資料庫的一個軟體庫;　　HanoiDB：Erlang LSM BTree儲存;　　LevelDB：Google寫的一個快速鍵-值存放庫，它提供了從字串鍵到字串值的有序映射;　　LMDB：Symas開發的超快、超緊湊的鍵-值嵌入的式資料存放區;　　RocksDB：基於性LevelDB，用於快速儲存的嵌入式持久性鍵-值儲存。　　商業智慧　　BIME Analytics：商業智慧雲平台;　　Chartio：精益業務智能平台，用於可視化和探索資料;　　datapine：雲端式的自助服務商業智慧工具;　　Jaspersoft：功能強大的商業智慧套件;　　Jedox Palo：定製的商業智慧平台;　　Microsoft：商業智慧軟體和平台;　　Microstrategy：商業智慧、移動智能和網路應用軟體平台;　　Pentaho：商業智慧平台;　　Qlik：商業智慧和分析平台;　　Saiku：開源的分析平台;　　SpagoBI：開源商業智慧平台;　　Tableau：商業智慧平台;　　Zoomdata：大資料分析;　　Jethrodata：互動式大資料分析。資料視覺效果　　Airpal：用於PrestoDB的網頁UI;　　Arbor：利用網路工作者和jQuery的圖形可視化庫;　　Banana：對儲存在Kibana中Solr. Port的日誌和時戳資料進行可視化;　　Bokeh：一個功能強大的Python互動式可視化庫，它針對要展示的現代web瀏覽器，旨在為D3.js風格的新奇的圖形提供優雅簡潔的設計，同時在大規模資料或流資料集中，通過高效能互動性來表達這種能力;　　C3：基於D3可重複使用的圖表庫;　　CartoDB：開源或免費增值的虛擬機器主機，用於帶有強大的前端編輯功能和API的地理空間資料庫;　　chartd：只帶Img標籤的反應靈敏、相容Retina的圖表;　　Chart.js：開源的HTML5圖表視覺效果;　　Chartist.js：另一個開源HTML5圖表視覺效果;　　Crossfilter：JavaScript庫，用於在瀏覽器中探索多元大資料集，用Dc.js和D3.js.效果很好;　　Cubism：用於時間序列可視化的JavaScript庫;　　Cytoscape：用於可視化複雜網路的JavaScript庫;　　DC.js：維度圖表，和Crossfilter一起使用，通過D3.js呈現出來，它比較擅長連通圖/附加的中繼資料，從而徘徊在D3的事件附近;　　D3：操作檔案的JavaScript庫;　　D3.compose：從可重複使用的圖表和組件構成複雜的、資料驅動的可視化;　　D3Plus：一組相當強大的可重用的圖表，還有D3.js的樣式;　　Echarts：百度企業情境圖表;　　Envisionjs：動態HTML5可視化;　　FnordMetric：寫SQL查詢，返回SVG圖表，而不是表;　　Freeboard：針對IOT和其他Web混搭的開源即時儀錶盤構建;　　Gephi：屢獲殊榮的開源平台，可視化和操縱大型圖形和網路連接，有點像Photoshop，但是針對於圖表，適用於Windows和Mac OS X;　　Google Charts：簡單的圖表API;　　Grafana：石墨儀表板前端、編輯器和圖形組合器;　　Graphite：可擴充的即時圖表;　　Highcharts：簡單而靈活的圖表API;　　IPython：為互動式計算提供豐富的架構;　　Kibana：可視化日誌和時間標記資料;　　Matplotlib：Python繪圖;　　Metricsgraphic.js：建立在D3之上的庫，針對時間序列資料進行最佳化;　　NVD3：d3.js的圖表組件;　　Peity：漸進式SVG橫條圖，折線和餅圖;　　Plot.ly：便於使用的Web服務，它允許快速建立從熱圖到長條圖等複雜的圖表，使用圖表Plotly的線上試算表上傳資料進行建立和設計;　　Plotly.js：支援plotly的開源JavaScript圖形庫;　　Recline：簡單但功能強大的庫，純粹利用JavaScript和HTML構建資料應用;　　Redash：查詢和可視化資料的開源平台;　　Shiny：針對R的Web應用程式架構;　　Sigma.js：JavaScript庫，專門用於圖形繪製;　　Vega：一個可視化文法;　　Zeppelin：一個筆記本式的協作資料分析;　　Zing Charts：用於大資料的JavaScript圖表庫。物聯網和感應器　　TempoIQ：雲端式的感應器分析;　　2lemetry：物聯網平台;　　Pubnub：資料流網路;　　ThingWorx：ThingWorx 是讓企業快速建立和運行互聯應用程式平台;　　IFTTT：IFTTT 是一個被稱為 “網路自動化神器” 的創新型互連網服務，它的全稱是 If this then that，意思是“如果這樣，那麼就那樣”;　　Evrythng：Evrythng則是一款真正意義上的福士物聯網平台，使得身邊的很多產品變得智能化。文章推薦　　NoSQL Comparison(NoSQL 比較)- Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs Neo4j vs Hypertable vs Elasticsearch vs Accumulo vs VoltDB vs Scalaris comparison;　　Big Data Benchmark(大資料基準)- Redshift, Hive, Shark, Impala and Stiger/Tez的基準;　　The big data successor of the spreadsheet(試算表的大資料繼承者) - 試算表的繼承者應該是大資料。論文　　2015 - 2016　　2015 - Facebook - One Trillion Edges: Graph Processing at Facebook-Scale.(一兆邊：Facebook規模的影像處理)　　2013 - 2014　　2014 - Stanford - Mining of Massive Datasets.(海量資料集挖掘)　　2013 - AMPLab - Presto: Distributed Machine Learning and Graph Processing with Sparse Matrices. (Presto： 疏鬆陣列的分布式機器學習和影像處理)　　2013 - AMPLab - MLbase: A Distributed Machine-learning System. (MLbase：分布式機器學習系統)　　2013 - AMPLab - Shark: SQL and Rich Analytics at Scale. (Shark: 大規模的SQL 和豐富的分析)　　2013 - AMPLab - GraphX: A Resilient Distributed Graph System on Spark. (GraphX:基於Spark的彈性分布式圖計算系統)　　2013 - Google - HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm. (HyperLogLog實踐:一個藝術形態的基數估算演算法)　　2013 - Microsoft - Scalable Progressive Analytics on Big Data in the Cloud.(雲端大資料的可擴充性漸進分析)　　2013 - Metamarkets - Druid: A Real-time Analytical Data Store. (Druid：即時分析資料儲存)　　2013 - Google - Online, Asynchronous Schema Change in F1.(F1中線上、非同步模式的轉變)　　2013 - Google - F1: A Distributed SQL Database That Scales. (F1: 分布式SQL資料庫)　　2013 - Google - MillWheel: Fault-Tolerant Stream Processing at Internet Scale.(MillWheel: 互連網規模下的容錯流處理)　　2013 - Facebook - Scuba: Diving into Data at Facebook. (Scuba: 深入Facebook的資料世界)　　2013 - Facebook - Unicorn: A System for Searching the Social Graph. (Unicorn: 一種搜尋社交圖的系統)　　2013 - Facebook - Scaling Memcache at Facebook. (Facebook 對 Memcache 伸縮性的增強)　　2011 - 2012　　2012 - Twitter - The Unified Logging Infrastructure for Data Analytics at Twitter. (Twitter資料分析的統一日誌基礎結構)　　2012 - AMPLab –Blink and It’s Done: Interactive Queries on Very Large Data. (Blink及其完成：超大規模資料的互動式查詢)　　2012 - AMPLab –Fast and Interactive Analytics over Hadoop Data with Spark. (Spark上 Hadoop資料的快速互動式分析)　　2012 - AMPLab –Shark: Fast Data Analysis Using Coarse-grained Distributed Memory. (Shark：使用粗粒度的分布式記憶體快速資料分析)　　2012 - Microsoft –Paxos Replicated State Machines as the Basis of a High-Performance Data Store. (Paxos的複製狀態機器——高效能資料儲存的基礎)　　2012 - Microsoft –Paxos Made Parallel. (Paxos演算法實現並行)　　2012 - AMPLab – BlinkDB：BlinkDB: Queries with Bounded Errors and Bounded Response Times on Very Large Data.(超大規模資料中有限誤差與有界回應時間的查詢)　　2012 - Google –Processing a trillion cells per mouse click.(每次點擊處理一兆個儲存格)　　2012 - Google –Spanner: Google’s Globally-Distributed Database.(Spanner：Google的全球分散式資料庫)　　2011 - AMPLab –Scarlett: Coping with Skewed Popularity Content in MapReduce Clusters.(Scarlett：應對MapReduce叢集中的偏向性內容)　　2011 - AMPLab –Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center.(Mesos：資料中心中細粒度資源共用的平台)　　2011 - Google –Megastore: Providing Scalable, Highly Available Storage for Interactive Services.(Megastore：為互動式服務提供可擴充，高度可用的儲存)　　2001 - 2010　　2010 - Facebook - Finding a needle in Haystack: Facebook’s photo storage.(探究Haystack中的細微之處： Facebook圖片儲存)　　2010 - AMPLab - Spark: Cluster Computing with Working Sets.(Spark:工作群組上的叢集計算)　　2010 - Google - Storage Architecture and Challenges.(儲存架構與挑戰)　　2010 - Google - Pregel: A System for Large-Scale Graph Processing.(Pregel: 一種大型圖形處理系統)　　2010 - Google - Large-scale Incremental Processing Using Distributed Transactions and Noti?cations base of Percolator and Caffeine.(使用基於Percolator 和 Caffeine平台分散式交易和通知的大規模增量處理)　　2010 - Google - Dremel: Interactive Analysis of Web-Scale Datasets.(Dremel: Web規模資料集的互動分析)　　2010 - Yahoo - S4: Distributed Stream Computing Platform.(S4:分布式StreamCompute平台)　　2009 - HadoopDB：An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads.(混合MapReduce和DBMS技術用於分析工作負載的的架構)　　2008 - AMPLab - Chukwa: A large-scale monitoring system.(Chukwa: 大型監控系統)　　2007 - Amazon - Dynamo: Amazon’s Highly Available Key-value Store.(Dynamo: 亞馬遜的高可用的關鍵價值儲存)　　2006 - Google - The Chubby lock service for loosely-coupled distributed systems.(面向鬆散耦合的分布式系統的鎖服務)　　2006 - Google - Bigtable: A Distributed Storage System for Structured Data.(Bigtable: 結構化資料的分布式儲存系統)　　2004 - Google - MapReduce: Simplied Data Processing on Large Clusters.(MapReduce: 大型叢集上簡化資料處理)　　2003 - Google - The Google File System.(Google檔案系統)

來自為知筆記(Wiz)

大資料資源