깊은 학습 AI 멀리 갈 수

라고 깊은 연구, 제프리 힌 튼을 언급 해야 합니다.


, 제프리 힌 튼


제프리 힌 튼 깊은에서 선도적인 인물 이다 (깊은 학습) 학습 하 고 기계 학습과 인공 지능의 분야에서 세계의 뛰어난 연구자 중 하나입니다.


제프리 힌 튼은 박사 디에서 실험 심리학 영국 http://www.aliyun.com/zixun/aggregation/13592.html에서 > 캠브리지 대학, 나중에 인공 지능, 박사 학위를 받은 그는 또한 런던의 대학에서 개츠비 신경 과학 부문의 창립 이사입니다. 그는 학습, 메모리, 인식, 및 기호 처리, 신경 네트워크를 사용 하 여 세계를 공부 하 고이 분야에서 200 개 이상의 출판물을 했다.

현대 과학, 그리고 기계에 크고, 복잡 한 데이터 식별 기능을 수행 하는 방법의 최첨단 분야에서 기계 학습을 포함,이 분야에서 선도적인 연구에
제프리 힌 튼의 구글 보다 더 큰 단계 앞으로 신경망 학습 및 음성에 게 있었습니다.


II, 제프리 힌 튼 및 깊은
를 학습

깊이에 대 한 간략 한 소개 공부


깊이 학습의 개념은 2006 년에 제프리 힌 튼 등 먼저 제안 했다. 기계 학습, 이미지, 사운드 등의 데이터와 텍스트를 해석 하는 인간 두뇌의 메커니즘을 흉내 내는 인간 두뇌의 신경 네트워크를 시뮬레이션 하는 그 동기에에서 새로운 분야 이다. 깊은 학습 자율된 학습의 종류 이다입니다.


깊이 학습의 개념은 인공 신경 네트워크의 연구에서 파생 됩니다. 다중 계층 퍼셉트론 여러 숨겨진 레이어 구조를 학습 하는 깊은입니다. 깊이 학습 데이터의 분산된 기능 표현을 발견 낮은 수준의 기능을 결합 하 여 기능 또는 특성 클래스의 보다 추상적인 고급 표현을 형성 한다.


깊이 학습 알고리즘에 따라 자신감도 네트워크 (DBN) 두고 앞으로 잖 아 욕심 계층 교육는 깊은 구조 관련 최적화의 문제를 해결 하기 위해 희망 하 고 상태로 앞으로 다층 자동 인코더의 깊은 구조. 또한, LeCun에 의해 제안 된 회선 신경 네트워크 훈련 성능을 향상 시키기 위해 매개 변수 개수를 줄이기 위해 공간 상대적 관계를 사용 하는 첫 번째 진짜 다층 구조 학습 알고리즘입니다.


기본 개념


깊이 (깊이)


입력에서 출력을 생성에 관련 된 계산 흐름 도표에 의해 대표 될 수 있다: 흐름 다이어그램 각 노드는 기본 계산 및 계산된 된 값 (계산된 결과 노드의 자식 노드의 값에 적용 됩니다) 나타냅니다 계산을 나타낼 수 있는 그래프입니다. 계산, 모든 노드 및 가능한 그래프 구조에 수 수 하 고 정의 하는 기능 가족 같은 집합을 고려 하십시오. 입력된 노드가 자식이 없는, 출력 노드는 아버지.


가 흐름 다이어그램의 특별 한 특성은 깊이 (깊이): 하나의 입력을 하나의 출력에서 가장 긴 경로 길이.


전통적인 포워드 신경 네트워크 레이어 (예: 숨겨진된 레이어 플러스 1 출력 계층)의 수와 같은 깊이가지고 여겨질 수 있다. SVMS는 2의 깊이 (하나 해당 커널 출력 또는 기능 공간 하 고는 다른 결과 출력의 선형 혼합에 해당).

문제를 해결 하기 위해 심도 있는 학습을 사용 하는
필요는 다음과 같은 특성이 있다:


의 부족 한 깊이와 문제가 있다.


두뇌 깊은 구조를 하고있다.


인지 프로세스 계층 이며 점차 추상화.


깊이
문제를 일으킬 것입니다.
많은 경우에
, 깊이 2 주어진된 대상 정밀도 있는 모든 함수를 표현 하기 위해 충분 하다. 하지만 가격이 필요한 다이어그램에서 노드 (예: 매개 변수 및 계산의 수)의 수 매우 큰 될 수 있습니다. 이론적인 결과 실제로 입력된 크기 지 수와 함께 성장 하는 데 필요한 노드 수 존재 하는지 확인 합니다.


우리는 요소 분해로 깊이 아키텍처를 고려할 수 있습니다. 대부분의 무작위로 선택 된 기능을 효과적으로 표현할 수 없는, 깊은 또는 얕은 아키텍처에서. 하지만 많은 깊이 아키텍처에 의해 효과적으로 나타낼 수 있는 얕은 아키텍처에서 효율적으로 표현할 수 없습니다. 빡 빡 하 고 깊은 표현의 존재 잠재적인 기능을 나타낼 수 있는 구조 임을 의미 합니다. 아니 구조 경우에, 그것은 것입니다 하지 잘 일반화 될.


뇌가 깊은 아키텍처
는

예를 들어 시각 피 질 잘 공부 하 고 각각의 입력 표현과 (이 병렬 경로의 어떤 수준에서 협회를 무시 하 고 더 복잡 한 이므로) 다른 하나에서 신호 스트림에 포함 된 지역의 시리즈를 보여줍니다. 이 기능 레벨의 각 레이어에 다른 추상화 계층에 입력 나타내고 그들은 낮은 수준의 특징에 따라 정의 하는 계층의 상위 수준에서 더 추상적인 기능을가지고.


두뇌에 식은 긴밀 하 게 분산 하 고 순수한 중간에: 그들은 스파스: 뉴런의 1%를 동시에 활성화 되어. 신경의 많은 수를 감안할 때, 거기 아직도 매우 효율적 (높은 레벨) 표현이입니다.


인지 과정은 계층화 하 고 점차 추상화 된


는 아이디어와 인간의 계층;의 개념


인간 먼저 간단한 개념을 학습 하 고 더 추상적인
를 표현 하기 위해 그들을 사용 하 여

엔지니어 여러 수준의 추상화; 분해 작업

배울
/ 검색 이러한 개념 (아무 반성으로 지식 공학 실패?) )은 매우 좋다. 언어의 표현 개념의 반성 또한 스파스 표현 제안: 모든 가능한 단어/개념의 단지 작은 부분을 특정 입력 (시각적 장면)에 적용할 수 있습니다. [1] [3]

코어는
깊은
를 학습의 생각

네트워크로 학습 구조, 깊은 학습의 핵심 아이디어는 다음과 같습니다:

네트워크의 각 계층에 대 한
① 자율 학습 사전 기차;


②를 사용 하 여 자율 학습 한 계층, 그것의 고위 레벨의 입력으로 훈련 결과 훈련 때마다;


③ 모든 레이어
를 조정 감독 학습

깊은
를 학습의 성공적인 적용

1, 음성 인식

먼저 공동으로 Hintion,
마이크로 소프트 연구원 음성 인식 음향 모델 훈련 RBM과 DBN 소개 하 게 되 고 큰 어휘 음성 인식 시스템, 음성 인식의 오류 비율 30%로 감소에 큰 성공을 달성.


2, 스마트폰 음성 검색


2012, Google의 안 드 로이드 운영 체제 음성 인식의 비약으로, 정확 하 게 깊은 학습 사이의 관계 때문에. 그래서 음성 인식의 성공률은 크게 깊이 학습 신경 네트워크 더 정확한 음성 훈련을 허용 하기 때문에 개선, 특히 시끄러운 환경에서에서 음성 검색 결과 개선 되었습니다. 하룻밤, 많은 해설자는 25%로 떨어졌다 스마트폰 음성 인식 시스템의 오류 비율 음성 검색 안 드 로이드 닭에 대 한 애플의 Siri 보다 똑 똑 라고 생각 합니다.


3, 이미지 인식


지난 6 월, 구글 이상의 1 십억 노드는 네트워크에서 가장 큰 신경 네트워크, 시연 하 고 성공적으로 분류 16% 정확도에 YouTube 동영상을 YouTube 동영상에서 10 백만 고양이 이미지의 이미지를 추출. 이 수, 비록 작은 겉보기 증가 했다 70%로 이전 세대. 그것은 그 유튜브의 시스템을 사용 하 여 깊은 학습 비디오는 많은 일반 사람들이 구별 22000 범주로 분할 하는 것을 주의 될 것입니다. 때 분류는 1000, 시스템 인식 증가 50%의 정확도 속도 감소 되었다. 깊은 학습 없이 Google의 신경 네트워크는 강력.


깊이 연구 멀리 이동 하는 AI를 돕고 있다!