JDBC를 사용 하 여 대형 데이터를 신속 하 게 처리 하는 방법

인턴, 2.04 백만 레코드가 있는 테이블 레코드는 인터넷에서 가져온 것입니다 때문에 처리에 약간 덜 이상적인 단어와 같은 있다 일부 단어 혼합 특수 문자, 문장 부호, 또는 어떤 단어는 단순히 문장 등등. 이 프로그램 불만족이 낱말을, 수정된 없음에 수정할 수 있습니다 작성 직접 삭제 수정 하는 데 필요한.

[java] & http://www.aliyun.com/zixun/aggregation/37954.html "> nbsp; 보기에 대 한 plaincopy (int 나 = 0; 난 < 205; i + +)                           {Sql 문자열 = ' 선택 * Cat_keyword 'ID 제한 주문'에서 + i * 10001 + ', 10000; 최고 문자열 = "선택 * Cat_keyword에서 어디 id > = Cat_keyword ID 제한 순서에서에서 (선택 ID" + i * 10001 + ", 1)도 1                  0000 ";                  Rs=stmt.executequery (최고);              Go.filt (RS); } 

첫 번째 SQL 문의 효율성은 분명 그 두 번째 보다 적습니다.

최고 문자열 = "선택 * Cat_keyword에서 어디 id > = Cat_keyword ID 제한 순서에서에서 (선택 ID" + i * 10001 + ", 1)도 1000 0 ";

이 SQL 문의 경우에는 오프셋 특히 큰, 200多万条 기록, 중앙에 늦게,이 오프셋은 매우 큰, 후반에 최적화 된 SQL 문을 사용 하 여 지 고 있기 때문에 특히 유용 느린.

또한, 제한 값은 매우 우아하고, 난 1000,10000,70000,100000, 시도 하 고 마침내 발견의 시간 제한 걸릴 10000은 빠른 데이터, 컴퓨터 및 데이터베이스 메모리 할당의 크기는 특정 관계 또한 그것은 특정 상황에 따라 상세히에서 토론 될 수 있다. 나 여기 주의 필요로 하는 점은 언급 하 고 최적화할 수 있습니다.

JDBC를 사용 하고자 하는 또 다른 솔루션은 내가 정말 하 고 싶은 말

우선이 프로그램의 건설에 대 한 몇 가지 말씀 드리죠, 삭제 하 고 다른 테이블 방법에 삽입 하는 단어를 수정 하는 필요의 구현

[Java] 보기 plaincopy //will cat_garbage 테이블 공공 무효 삽입 (에 잘못 된 단어를 찾을 결과 집합   RS) throw SQLException {연결 챔피언 = null; 문 stmt = null; 시도 없음 conn=good.getconnection (); Stmt conn.createstatement (Resultset.type_scroll_ = 구분 안 함, resultset.concur_updatable ); 문자열 쿼리 = "선택 *에서 cat_ 쓰레기 어디 id = ' "+rs.getint (이 하" id") +" "; 결과 집합 rst=stmt.executequery (쿼리); 만약 (! rst.next ()) 없음 s q l 1 문자열 = "cat_garbage (Id, cid, 삽입 이름, 키워드) 값 (' "+rs.getint (이 하" id") +" ',' "+rs.getint ("CID") +" ',' "+rs.getstring ("name") +" ',' "+ rs.getstring ("키워드") + "')"; STMT.EXECUTEUPD 먹은 (s q l 1);}} & nbsp ; catch (sqlexception | classnotfoundexception | Ioexception e) {E.printstacktrace ( );} 마지막으로 없음; 경우 (stmt! = null) Stmt.close (); 경우 (챔피언! = & N Bsp; null) conn.close (); & nbs P; }}

그리고 단어를 수정 하는 방법

[Java] 보기 plaincopy 공공 무효 수정 (rs 결과 집합, 문자열 str, 문자열 등록) throw SQLException 없음