Ai 다니엘의 새 해 요한 계시 록: 미래 자율된 학습에 따라 달라 집니다 자연 언어 처리

지난 봄 축제 희귀 휴가 휴식을 프로그래머 허용 했다 하지만 휴일에 인공 지능 개선 되었습니다, 그리고 우리가 본 페이스 북 AI 감독 얀 LeCun, 홍콩 대학의 과학 및 기술, 컴퓨터 학과 엔지니어링 Yangqiang와 인공 지능의 급증에 대 한 다른 인공 지능 다니엘의 멋진 생각의 감독 Google는 또한 특정 조건에서 인간의 수준을 넘는 인공 지능 게임 시스템의 개발을 보았다. 여기에 다니엘의 인공 지능에서 새 해의 영감 모습이 이다.

Yann LECUN:IBM 진 북은 "밀 짚 부족 과학" 자율된 학습의 미래입니다

페이스 북의 인공 지능 감독 얀 LeCun 및 IEEE 스펙트럼의 리 고메스 했다 인공 지능의 분야 및 추가 학습의 방향에서 현재의 대 광고에 대 한 깊은 학습에 대 한 깊은 이야기 그는 깊은 학습과 뇌 사이의 비유 그것은 겨울에서 인공 지능으로 이어질 수 있는 몇 가지 마법의 기운을 제공 주장 하고있다. 마이크로 크레딧 "기계 마음", 중국어로 대화를 번역 하고있다 그리고 지금 다음과 같이 번역에서 Yann LeCun의 주요 관점의 일부를 추출:

IBM 진정한 북쪽은 "밀 짚 과학"

스펙트럼: 당신은 같다 최선을 하 고 신경 과학 및 생물학에서 작업을. 예를 들어 당신은 회선 네트워크를, 아니라 회선 신경 네트워크를 언급 했다. 당신은 당신의 알고리즘, "신경"에 "단위/개별" (단위)를 언급 했다.

LeCun: 사실 이다입니다. 우리의 모델의 일부 신경 과학에서 영감을 파생 하지만 꽤 몇 가지 신경 과학 관련이 없다, 대신 그들은 이론, 직감과 체험 탐사에서 온. 우리의 모델 되는 두뇌의 모델을 원치 않는 우리 신경 과학의 관련성을 주장지 않습니다. 하지만 같은 시간에 회선 네트워크는 시각 피 질에 대 한 기본적인 지식을 의해 영감을 받아들일 수 있습니다. 어떤 사람들은 직접 신경 과학에 의해 영감을 하지만 그는, 나도 인정는 아주 도움이, 그것을 인정을 거부 합니다. 하지만 난 거기에 위험이 지역에서과 대 광고의 자극 되었기 때문에과 대 광고, 단어를 터치 하지 않도록 주의 것입니다. 재단, 공공, 잠재 고객, 신생 기업, 및 투자자에 대 한 기대 때문에, 그들은 우리는 스포트 라이트에는 믿을 것 이다-우리는 두뇌, 강력한 시스템을 구축 하지만 현실에서 우리는 그 목표 멀리. 이 쉽게 다른 "겨울 주기" 발생할 수 있습니다.

일부 "빨 대-컬트 과학" 있을 것입니다 (화물), "빨 대 사람들의 과학", 아래 당신은 종종 컴퓨터의 모습을 복사 하지만 컴퓨터의 뒤에 원리를 깊이 이해 하지 않는. 또는, 항공, 새의 모양, 그것의 기 털, 그것의 날개, 및에 재현할 것입니다 비행기를 만들 것입니다. 19 세기에 사람들 즐겁게 하 고, 하지만 결과 매우 제한 되어 있었습니다.

이것은 또한 그들은 신경 세포와 시 냅 스 우리가 알고, 그리고 시작 아날로그 신경망의 거 대 한 네트워크는 슈퍼 컴퓨터에는 빨 대의 "과학"의 인공 지능 인공 지능을 육성 하기 위해 기대의 모든 세부 사항을 복제 하려고 인공 지능의 분야에서 진정한. 심각한 연구원 기금 지원 많이 하 고 기본적으로 믿는 것이 많다.

스펙트럼: IBM의 진 북 프로젝트 (IBM의 인간 두뇌 칩, 5.4 십억 실리콘 트랜지스터, 4096 코어, 1 백만 "신경"와 256 백만 "시 냅 스" 통합) "밀 짚 인간 과학"에 속한다 생각 하십니까?

LeCun: 그는 조금 거친 소리. 하지만 IBM 팀이 요구 하는 것은 조금 편 파 하 고 오해의 소지가 생각. 그것의 얼굴, 그들의 발표는 인상적인, 하지만 그들은 실제로 가치를 달성 하지 않습니다. 전에 사실 북쪽, 팀 사용 IBM의 슈퍼 컴퓨터 "마우스 수준 두뇌 시뮬레이션", 하지만 그건 그냥 임의의 신경망을 CPU 사이클을 소비 하는 것 제외 하 고 모든 역할 하지 않았다.

진정한 북쪽 칩의 비극은 그 그것 있 었 유용 하지 너무 가까이 생물학 준수 했다 "급상승 통합 fireneurons" 모델을 사용 하지 경우. 그래서 내 생각에-칩 디자이너-칩을 개발 하는 때, 뭔가 유용한 할 수 다는 것을 반드시 해야 합니다. 경우 회선 네트워크 칩-을 구축 하 고 정확 하 게 어떻게 해야할지-컴퓨팅 장치에 즉시 적용할 수 있습니다. IBM은 잘못 된 것을 만들고 우리가 아무것도 유용 할 그것을 사용할 수 없습니다.

스펙트럼: 다른 예제 있습니까?

LeCun: 근본적으로, EU의 인간 두뇌 프로그램 (인간의 두뇌 프로젝트)의 대부분은 생각에 따라 우리가 더 나은, 신경 기능, 가까이 시뮬레이션 하는 칩을 구축 해야 하 고 칩은 슈퍼 컴퓨터를 구축 하는 데 사용 우리가 몇 가지 학습 규칙, 그것을 사용 하 여 때 Ai는 나타났다. 난 그것은 완전 한 넌센스 이다.

틀림 없이, 나는 유럽 연합의 인간 두뇌 프로그램을 언급 했다, 모두가 프로젝트에 참여. 많은 사람들이 단순히 프로젝트에 관여 하 고 그것은 그들이 거절할 수 없는 자금의 거 대 한 금액을 받기 때문에.

자동된 학습은 미래

스펙트럼: 얼마나 많은 일반적인 의미에서 학습 하는 기계는 아직 발견 될 것?

LeCun: 너무 많은. 우리가 실제 깊은 학습 시스템에서 사용 하는 학습 스타일은 제한 됩니다. 사실, 그것은 "감독 학습"에 역할을 구체적인 연습. 당신은 시스템에 그림을 표시 하 고 그것은 자동차, 그리고 그것은 그것의 매개 변수를 적절 하 게 조정 하 고 말한다 "차" 다음에 그것을 말해. 자와 남자 다음 당신은 그것을 표시. 후 예의 수백, 컴퓨팅 시간 (시스템의 크기)에 따라 몇 주 몇 일 그것은 분명 하다.

하지만 인간과 동물 배울 수 있는 방법은 없습니다. 아기 때, 당신이 하지 당신이 본 모든 개체의 이름은 들었다. 하지만 이러한 개체의 개념을 배울 수 있습니다, 알다시피 세계는 3 차원, 다른 뒤에 개체를 넣으면 당신은 여전히 존재 알고. 이러한 개념은 타고 난, 당신이 그들을 배우고. 우리는 이러한 유형의 연구 "자율" 학습을 부른다.

2000 년대의 한가운데에 우리 중 많은 깊은 르네상스, 학습에 참여 했다 제프 힌 튼, Yoshua Bengio 및-자신을 포함 한이 "깊은 학습 커뮤니티"-라고과 앤드류, 자율된 학습 감독된 학습 대신 사용 하는 아이디어는 상승 하기 시작 했다. 자율된 학습 "사전 교육"을 실시 하는 특정 깊이 네트워크를 수 있습니다. 이 지역에서 진행을 많이 했습니다 하지만 우리가 연습을 적용할 수 있는 마지막 것은 우리가 지난 20 년 전 한 우수한 감독된 학습 (1980).

하지만 연구 관점에서 우리는 언제나 제대로 자율 학습 하는 방법에 관심이. 우리는 이제 실용적인 실험실된 기술, 하지만 문제는 우리가 더 많은 데이터를 수집할 필요가 우리 감독 학습 그것을 이길 수 있습니다. 이것은 업계의 현재 단계에서 왜, 심도 있는 학습의 응용 프로그램은 기본적으로 감독 된다. 하지만 그것은 미래에 그런 식으로 되지 않을 것 이다.

본질적으로, 두뇌는 우리의 AI 학습 시스템 생물 학적 메커니즘 학습의 많은 기본 원칙 결여 즉 자율된 학습에서 우리의 모델 보다 훨씬 낫다.

다음 프 런 티어 항목은 NLP입니다.

스펙트럼: 페이스 북은 최근 얼굴 인식 알고리즘 DeepFace를 발표, 많은 보고서 라고 얼굴 인식 기술의 정확도 사람들. 그 결과 계획 된 데이터베이스에서 실행 하지 않습니다 하지만? 무작위 이미지는 인터넷에서 발생 하는 경우 수 있는 시스템 보고서 같은 성공을 달성?

LeCun: 그것은 특정 시스템은 인 간에 게 보다 화질에 더 민감한입니다. 컴퓨터 시스템에는 다른 얼굴 수염을 통해 많은 다른 사람들의 얼굴 인식에 몇 가지 장점이 있습니다. 하지만 시스템 인간, 인간의 처리 능력을 훨씬 뛰어넘는 컬렉션 매우 큰 집합에 있는 사람을 확인할 수 있습니다.

스펙트럼: 이미지 인식 저쪽에 지역에서 성능을 학습의 깊이 란 무엇입니까, 그것에 관해서 특히 자연 언어와 같은 일반 정보 관련 문제?

LeCun: 페이스 북에서 우리 작업의 큰 부분 여기 집중 된다. 우리가 어떻게 세계를 묘사 하는 법을 배워야 능력, 능력 임시 신호 (언어와 함께), 추론에서 지식을 축적 하 고 현재 깊이 학습 시스템에서 다른 방법으로 정보를 저장 하는 기능으로 깊은 학습의 장점을 결합? 학습 시스템, 스포츠 기술을 학습 처럼 현재 깊이에서 우리는 우리가 자전거를 타고 자신에 의해 배우는 같은 방식으로 그들을 훈련. 배운 기술, 하지만 그것은 사실 메모리 또는 지식을의 큰 거래를 포함 하지 않는 사실.

하지만 다른 당신이 배울 것, 사실을 기억 하는 당신에 게 당신은, 당신은 기억 하 고 뭔가 저장. 페이 스 북, 구글 및 다른 많은 장소, 우리는 신경 네트워크를 구축 하 여 많은 일을 할 하 고 별도 메모리 모듈을 건물 자연 언어 이해 등의 분야에서 사용할 수 있습니다.

우리는 메모리 모듈을 통해 깊은 학습 자연 언어 처리에 감동 하는 결과 달성 하는 데 도움이 있다 보고 시작. 시스템은 깊은 건축의 다단계 계층을 통해 이러한 벡터를 변환 하 고 연결 된 유형의 메모리에 그들을 저장할 단어와 문장, 설명 하기 위해 연속 벡터를 사용 하 여 아이디어를 기반으로 합니다. 이것은 질문 및 답변 및 언어 번역에 대 한 매우 효과적 이다. 이 모델의 예가입니다 스토리지 네트워크 (메모리 네트워크), 최근 페이스 북 과학자 제이슨 웨스턴, Sumit 초 프라와 앙투안 Bordes에 의해 제안 되었다. 구글/깊은 마음 과학자는 또한 "신경 튜링"의 관련된 개념을 제시 (신경 튜링 기계).

스펙트럼: 그래서 당신은 깊은 학습 키 잠금 해제 일반 AI 것을 생각 하지 않아?

LeCun: 그것은 솔루션의 일부가 될 것입니다. 어느 정도까지,이 솔루션은 거 대 하 고 복잡 한 신경 네트워크 처럼 보인다. 하지만 그건 무슨 사람들이 지금까지 본 문학에서에서 다른 많은. 나 이런 것이 들, 당신은 몇 가지 관련 서류를 보고 시작할 수 있습니다. 많은 사람들이 소위 "정기적인 신경 네트워크를" 공부 하 고 (회귀 신경 그물). 이러한 신경망에서 출력 유추 체인을 형성할 수 있도록, 입력으로 다시 먹이입니다. 음성, 오디오, 비디오 및 언어, 같은 시퀀스 신호를 사용할 수 있습니다 그리고 초기 결과 매우 좋다. 깊은 학습의 다음 국경 주제 자연 언어 이해 이다.

스펙트럼: 다 잘만 된다면, 우리가 기대할 수 그들은 지금 할 수 없는 뭔가를 할 기계?

LeCun: 더 나은 음성 인식 시스템, 표시 될 수 있습니다 있지만 방법으로 숨겨져 있습니다. 디지털 동반자 더 나은 질문 / 답변 시스템 있을 것입니다; 그리고 당신은 컴퓨터를 말할 수 있다; 더 완벽 한 될 것입니다, 컴퓨터를 요청할 수 있습니다 그리고 그것 기술 자료에서 해답을 찾을 수; 기계 번역은 더 정확 하 게 될 것입니다; 또한 자동차와 똑 똑 로봇, 자동 운전을 볼 수 있습니다 그리고 자기 운전 자동차 회선 네트워크를 사용 합니다.

컴퓨터에서 일반적인 의미를 얻으려면 어떻게?

스펙트럼: 튜링 테스트 개선 Winograd 스키마 도전 뿐만 아니라 자연 언어와 상식, 뿐만 아니라 현대 사회 작동의 메커니즘의 이해를 포함 한다. 컴퓨터 이러한 과제를 충족 하기 위해 무엇을 할 수 있습니까?

LeCun:이 질문에 키 지식을 표현 하는 방법입니다. "전통적인" 인공 지능에서 사실적 지식은 수동으로 그래픽 (기호 또는 엔터티 및 상호 관계의 세트)의 형태로 입력 됩니다. 하지만 우리 모두는 인공 지능 시스템 수 지식을 자동으로 학습 하 여 알아. 그래서 질문은 "어떻게 배울 수 있는 기계 사실과 관계에 대 한 지식을 표현 하?"

깊은 학습 의심할 여 지 없이 전부는 아니지만, 솔루션의 일부입니다. 기호는 문제가 이다 그것은 의미가 비트의 고 깊은 학습 시스템에서 뿐, 엔터티 데이터의 특성에서 배운 큰 벡터에 의해 대표 된다. 유추를 학습의 이러한 벡터 있도록 하는 기능 학습 때문 이다. 페이스 북 연구원, 토마스 Mikolov, 되어 Bordes, Ronancollobert, 제이슨 웨스턴 벡터를 사용 하 여 단어와 언어를 표현 하려고 리드가 하고있다.

스펙트럼: 인공 지능에 대 한 고전적인 질문 중 하나는 일반적인 의미를 기계를 지 고 있다. 깊이 연구 분야에서이 주제에 당신의 의견은 무엇입니까?

LeCun: 난 예측 자동된 학습을 사용 하 여 몇 가지 일반적인 감각을 얻을 수 있습니다. 예를 들어 저는 수 발생 되거나 삭제 되 고 개체에 대 한 동영상을 많이 시청 하는 기계. 동영상을 표시 하 고 그것을 그것을 훈련 하는 방법입니다: "다음에 일어날? 무슨 그림 잠시 후 있을 것입니다?" 어떻게 세계 될 초, 분, 시간, 또는 하루, 후 예측이 방법으로 기계를 훈련 하 고 그것은 세계의 좋은 사진의 얻을 것 이다. 이렇게 하면 실제 세계의 많은 한계를 이해 하는 기계 "공중으로 던져 개체는 일정 시간 후 무너질 것 이다"와 같은, 또는 "개체 수 없습니다 두 곳에 한 번 에" 또는 "개체 차단 되 고 여전히 존재". 실제 세계의 한계를 이해 하는 것 "간격"를 일련의 이벤트를 포함 하는 이야기 그 후 세계의 상태를 예측 하는 기계 수 있게 된다. Jasonweston, Sumit 초 프라와 앙투안 Bordes "메모리 네트워크" 난 그냥 같은 시스템을 구축 언급 사용 하는.

Yangqiang: 겨울에서 인공 지능으로 이어질 수 있습니다 컴퓨팅 파워와 대용량 데이터에 의존?

교수 Wunda, 바이 수석 과학자, 말했다: "큰 데이터의 조합, 새로운 인공 지능 알고리즘 점점 더 나은, 우리는 전체 사이클을 완료 하는 미래의 인공 지능 가상 원에서 처음으로 수." "실제로, 컴퓨팅 파워 및 계산 비용에가 증가 함께 큰 데이터를 구동 하 고 현재 인공 지능"여름", 하지만 Yangqiang, 인공 지능 및 큰 데이터를 공부 오래 했다, 홍콩 대학의 과학 및 기술, 컴퓨터 공학과의 감독 2015 년에서 겨울 다보스 후 AI 의존의 또 다른 숨겨진된 위험 재고 있다: 겨울 것 멀리 뒤에 여름이 오면?

침착 하 게 분석 하는 인공 지능의 집단 카니발에서 교수 Yangqiang:

인공 지능의 업적 또한 사람과 컴퓨터 사이의 인터페이스를 초점을 맞추고 있다 이제: 음성, 비전, 텍스트. 그러나, 인간의 지능의 높은 발현 도식 추리와 관련 한 이벤트에서 다른 하나의 지식에서 다른 수 있는 협회 이다. 소위 "강한 인공 지능" 능력, 위에으로 "약한 인공 지능"의 많은 중첩의 단일 방향의 많은 수를 얻을 수 있습니다? 요즘 컴퓨터의 학 제 학습 능력이 실현 되 고, 지식의 성전도 입구는 알까지입니다. 주된 이유는 우리의 계산 능력이 아직 충분히 강한 되지 않았습니다 및이 분야에는 아직도 큰 데이터를 완벽 하 게 반영 하는 인간의 마음입니다. 우리의 학습 알고리즘은 인공 지능 기계 작동 하는 "연료"를 제공 하기 위해 수많은 대형 데이터 필요 합니다. "이러한 큰 데이터 준비 비싼 노동과 눈덩이 규모 효과 아닙니다에 의해 제공 될 필요가 있다." 이러한 결함은 박사 Wunda의 "가상 닫힌된 루프"를 시키는 진정한 정보의 도구에서 우리를 방해할 가능성이 큰 차이.

이 간격에 대 한 치명적인 것은 우리가 전에 30 년의 겨울에 휘발유의 부족에 직면 당황: 오늘 우리 앞 아름 다운 테슬라, 하지만 어떻게 잉가 역 찾을 수 없습니다!

IBM의 왓슨, 바이 두의 Minwa 컴퓨팅 플랫폼은 여전히 개선, 하지만 끝 없는 데이터 계산을 지 원하는 공간을 많이 여전히 쉽게 인간의 생각의 대용량 데이터에 대 한 포괄적인 응답을 찾을 수 없고 병목, 도달 하는 여전히 매우 어려운 것이 믿습니다.

그래서, 저희가 교수 Yangqiang의 질문에 대해 생각 하는 좋은 시간에서 뿐만 아니라 깊은 학습의 적용 연구에서: "우리 되지 것입니다는 가장 중요 한 것 들을 무시 하는 인공 지능의 그룹에는 30 년 이상 전 그 인공 지능 겨울 실수로 넘어?"

google:dnn+ 집중 학습 접근 인 간에 게 AI의 복잡 한 작업을 수 있습니다.

구글 DeepMind의 인공 지능에 의존 자율 학습 (보고 비디오 게임의 패턴에 대 한 찾고 다음 컨트롤러 조작, 피드백 점수에 점점 지속적으로 피드백에 그것의 통제를 조정) 49 게임 플레이와 심지어 비트 23 게임에서 인간의 프로. 자연 잡지는 게임의 더 강력한 방법을 발표 한 논문을 발표 하는 Google DeepMind 팀 AI 구현:

DeepMind의 인공 지능 디자인의 핵심은 컴퓨터 데이터에 존재 하는 패턴을 검색 하는 방법. 솔루션은 깊은 신경 네트워크 및 집중 학습의 조합. AI는 게임의 규칙을 몰라 하지만 깊은 신경 네트워크를 사용 하 여 어떤 동작이 가장 높은 점수를 발생할 수 있습니다 알아, 게임의 상태를 이해.

컴퓨팅 파워의 증가 지금 아타리 게임은 해당 데이터의 초당 2 백만 픽셀 처리를 보고 훨씬 더 큰 데이터 세트를 처리 하기 위해 인공 지능을 허용 한다는 사실 때문입니다. 다른 한편으로, 그것은 집중 학습 AI, 훈련을 결합 하는 DeepMind에서 혜택 하 고 높은 차원 감각 입력에 사용 되는 엔드-투-엔드 집중 학습 이다. 체스와 같은 이전 컴퓨터 게임에 비해이 컴퓨터 게임은 혼돈의 현실 세계에 가까운 이다. Demis Hassabis, Google의 스마트 디자이너, 이것은 일련의 인간과 가진 복잡 한 작업을 수행 하는 첫 번째 알고리즘을 말한다.