Big Data

import java.math.BigInteger;import java.math.BigDecimal;import java.util.Scanner;public class Main {/** * @param args */public static void main(String[] args) {// TODO Auto-generated method stub Scanner input = new Scanner(System.in); int

由於大數的階乘的結果比較大，長整型是不能儲存的下的，為了能實現這個功能，使用按位進行相乘，將沒位的結果分開存放，最後輸出，不過運算的速度有點慢，算2000！得好長時間，呵呵。思路如下：24x5= 24 x 5 ------ 20 10 ------ 120代碼如下：import java.util.List;import java.util.ArrayList;class BigFactorial{public static void main(String args[]

ORACLE中如果表資料量很大（M級或更大），update某個欄位是很慢的（如我的HIS項目中更新歷史商務程序表，160萬條記錄，用CURSOR來更新，1000條COMMIT一次，花了4天也沒更新完），後來嘗試過的改進辦法有：1.把表上的LOGGING取消2.把表上的INDEX取消但是依然很慢，無奈下找到這個：http://asktom.oracle.com/pls/asktom/f?p=100:11:0::::P11_QUESTION_ID:6407993912330在這個主題問答裡，ORA官

[Oracle][PARTITION]大資料量分區技術一、Oracle分區簡介 ORACLE的分區是一種處理超大型表、索引等的技術。分區是一種“分而治之”的技術，通過將大表和索引分成可以管理的小塊，從而避免了對每個表作為一個大的、單獨的對象進行管理，為大量資料提供了可伸縮的效能。分區通過將操作分配給更小的儲存單元，減少了需要進行管理操作的時間，並通過增強平行處理提高了效能，通過屏蔽故障資料的分區，還增加了可用性。二、Oracle分區優缺點 優點：

本文由larrylgq編寫，轉載請註明出處：http://blog.csdn.net/larrylgq/article/details/7399237作者:呂桂強郵箱：larry.lv.word@gmail.com 當我們的資料大到一定的程度，無法通過RDBMS來處理時一般的做法是使用RPC/http+索引伺服器+資料庫來實現通常的做法是：使用cron等定期到資料庫拉取資料，傳輸到索引伺服器，索引伺服器會建立到排索引，而業務機通過RPC/http來訪問索引伺服器，直接進行關鍵字模糊比對消耗是驚人

 首先，定義兩個整型的數組： int fac[1000];//暫且先設定是1000位，我稱之為“結果數組”int add[1000];//我稱之為“進位元組” 現在具體說明兩個數組的作用： 1.fac[1000]比如說，一個數5的階乘是120，那麼我就用這個數組儲存它： fac[0]=0 fac[1]=2 fac[2]=1現在明白了數組fac的作用了吧。用這樣的數組我們可以放階乘後結果是1000位的數。 2.在介紹add[1000]之前，我介紹一下演算法的思想，就以6！為例：

大體現在： 1、要查詢的表的資料量很大；2、要返回的結果的資料量很大； 複雜體現在：1、要關聯多個大資料量表的資料進行查詢2、查詢條件也很複雜。 例如：天翼閱讀 有一個 使用者畫像組的功能。要求根據使用者的行為，將使用者篩選到不同的使用者組。使用者表：大約1000萬資料使用者訂購消費資料：可能上億資料使用者登陸情況資料：也可能上億資料使用者閱讀電子書量資料：可能上億使用者閱讀電子書內容資料：上億 要統計上述使用者行為3個月內的資料，比如消費資料訂購量大於30，小於50，消費金額大魚100，小於3

  思路：從簡單的排序談到BitMap演算法，再談到資料去重問題，談到大資料量處理利器：布隆過濾器。情景1：對無重複的資料進行排序@給定資料（2，4，1，12，9，7，6）如何對它排序？     方法1：基本的排序方法包括冒泡，快排等。     方法2：使用BitMap演算法     方法1就不介紹了，方法2中所謂的BitMap是一個位元組，跟平時使用的數組的唯一差別在於操作的是位。首先是開闢2個位元組大小的位元組，長度為16（該長度由上述資料中最大的數字12決定的）    

有網友問雲端運算，大資料，資料庫，資料倉儲之間是什麼關係,在這裡我就我的理解簡單解釋一下:首先簡單的看一下雲端運算與大資料的概念.1)雲端運算:雲端運算本質上是一種計算資源集中分布和充分共用的效用計算模式,其中集中是為了計算資源的集約化管理,分布是便於擴充計算能力.集中分布式是針對雲端服務供應商的,充分共用是針對使用者,在雲端運算中,雖然對於每個雲使用者來說都擁有一台超級電腦,但本質上,這些使用者是充分共用了雲端服務商所提供的計算服務.而效用計算更多的是一種商業模式,就是使用者按所需服務來付費.

int batchMax = 100;//以一百條一次，也可以自由設定int curLoc =0;ArrayList personList = null;//分批處理while(true){#region 進行分批if(curLoc + batchMax>arrPersonId.Count){personList = arrPersonId.GetRange(curLoc,arrPersonId.Count - curLoc);curLoc =

Entity Framework的開發領導Srikanth Mandadi稱這個包含兩部分內容的文章為“解決Entity Framework中的大資料模型問題”，但很明顯它的含義為“使用一些技巧”來解決這些問題。該文章首先談到了無論對任何應用來說，期望的實體數量在50到100之間。超出這個範圍會導致編輯器無法使用。Entity

1. LibFM項目首頁：http://www.libfm.org/2. Svdfeature項目首頁：http://apex.sjtu.edu.cn/apex_wiki/svdfeature3. Libsvm和Liblinearlibsvm項目首頁：http://www.csie.ntu.edu.tw/~cjlin/libsvm/liblinear項目首頁：http://www.csie.ntu.edu.tw/~cjlin/liblinear/初次使用必讀：practical

最近剛看了新的一期《程式員》雜誌的一篇大資料的文章，總結的特別好，為了方便我去尋找所有將裡面的內容再次精簡後寫下來。在這篇文章裡主要是幾個方面：資料轉送、資料存放區、資料計算、資料展現、資料開發平台、資料應用市場我之前對資料的總結在：資料存放區、資料管理、資料計算 資料轉送包括：即時同步、批量同步。一般常用方式採用時間軸。資料存放區包括：核心級分布式儲存、使用者級分布式檔案儲存體、業務級資料存放區。前兩個類別其實很好理解，最後一個是有分類的，包括：列式資料庫儲存、文檔資料庫儲存、K/V型資料庫儲

最近遇到一個資料量大引起的問題， 目前資料量大約8M條資料。以後還將以每天近萬的資料增加。 因此考慮MsSqlServer的分區表特性。原先的表設計相當於表名為UserEventId(bigint)，UserId(nvarchar(250)), EventId(nvarchar(250))， column1, column2, column3.此表相當於一張系統所有業務的索引表， 記錄了某使用者在此系統中所有的業務行為。應用場合：每當該使用者在該系統中發生一筆業務，

先就題目意思做簡單介紹,題中要求在給定的兩個數a,b(a,b<=10^100)之間[a,b]計算有多少個斐波那契(Fibonacci)數,注意這裡約定:f1 := 1 f2 := 2 fn := fn-1 + fn-2 (n >= 3)

#include<stdio.h>#include<stdlib.h>#include<string.h>int dp[11000],A[5100];int main( ){ int N,M,i,j,k,max; while(scanf("%d%d",&N,&M)!=EOF) { k=0;max=0; memset(dp,0,sizeof(dp)); for(i=1;i<=N;i++) scanf("%d",&A[i])

目前大資料存放區有兩種方案可供選擇：行儲存和列儲存。業界對兩種儲存方案有很多爭持，集中焦點是:誰能夠更有效地處理海量資料，且兼顧安全、可靠、完整性。從目前發展情況看，關聯式資料庫已經不適應這種巨大的儲存量和計算要求，基本是淘汰出局。在已知的幾種大資料處理軟體中，Hadoop的HBase採用列儲存，MongoDB是文檔型的行儲存，Lexst是二進位型的行儲存。在這裡，我不討論這些軟體的技術和優缺點，只圍繞機械磁碟的物理特質，分析行儲存和列儲存的儲存特點，以及由此產生的一些問題和解決辦法。一．結構布

 1 class uint128    2 {    3 public:    4         unsigned long long h;    5         unsigned long long l;    6      7         uint128(){h=0;l=0;}    8      9         void operator+= (unsigned long long l1)   10         {   11                 unsigne

用.net製作排序、分頁解決資料大的問題一、概述： Datagrid在web應用程式中經常用到，但是Datagrid控制項本身提拱的排序，分頁功能對於有著大量記錄的表來說，按它的做法是不現實的，如一個表有20萬記錄，按Datagrid本身的排序和分頁的原理，必須把所有的記錄全部取回，再進行分頁，這對伺服器的記憶體及響應的速度是一個挑戰。本論文提供了這樣一個解決方案，就是只從資料庫中取回你所需要的且合格記錄，這樣回應時間會大大的提高，記憶體開銷也可減少。 二、實現的功能：