기계를 공부할 때 통계 뿐만 아니라 의미론이 필요한 이유

딥 러닝은 종종 도메인 전문가의 정확도를 능가하는 정확도로 방대한 노이즈 데이터 세트에서 패턴을 식별할 수 있는 차세대 머신 러닝 도구를 도입했습니다. 차례로 기계가 점점 더 많은 작업에서 인간 또는 심지어 초인적 정확도를 달성함에 따라 우리는 우리 자신을 설명하는 것과 동일한 용어로 기계를 점점 더 많이 설명했습니다. 그러나 기계와 인간 사이의 결정적인 차이점은 우리가 세계에 대해 추론하는 방식입니다. 인간은 높은 수준의 의미론적 추상화를 통해 추론하고, 기계는 통계에 대한 맹목적 고수를 통해 추론합니다.

기계 학습을 인간 학습에 비유할 때의 문제는 인간이 학습할 때 자신이 식별하는 패턴을 기본 개체 및 활동의 고차 의미론적 추상화에 연결한다는 것입니다. 또한, 우리의 배경 지식과 경험은 이러한 패턴에 대해 추론하고 강력한 실행 가능한 지식을 나타낼 가능성이 가장 높은 패턴을 식별하는 데 필요한 컨텍스트를 제공합니다.

반대로 기계는 데이터 더미에서 가장 강력한 신호를 맹목적으로 검색합니다. 이러한 신호의 의미를 이해하기 위한 배경 지식이나 삶의 경험이 부족하기 때문에 딥 러닝 알고리즘은 의미 있는 지표와 가짜 지표를 구별할 수 없습니다. 대신 그들은 의미론이 아닌 통계에 따라 맹목적으로 세상을 부호화할 뿐입니다.

 

공원을 뛰어다니는 개와 사람들의 집을 돌아다니는 집 고양이의 사진 모음을 본 인간은 자신의 삶의 경험을 사용하여 이 특정 맥락에서 사진의 배경이 개나 고양이를 묘사합니다. 반면 기계 학습 알고리즘은 개와 고양이를 구분하는 가장 강력한 신호가 사진이 밝은 야외 사진인지 어두운 실내 사진인지를 인식할 수 있습니다. 기계의 목표가 개를 구별할 때 정확도를 최대화하는 것이고 모든 개 사진이 야외에 있는 경우 이는 실제로 기계가 붙잡을 수 있는 "최상의" 신호입니다.

 

그렇기 때문에 기계가 가짜 패턴을 제거하는 광범위한 반례를 볼 수 있도록 교육 데이터의 다양성이 매우 중요합니다. 실제로 알고리즘이 스스로 탐색하는 데 필요한 시야를 제공하는 대신 눈가리개를 한 알고리즘이 문으로 가는 길을 더 잘 찾을 수 있도록 방을 재배치하는 것입니다.

안타깝게도 모든 딥 러닝 연구원이 어려운 방법을 알고 있기 때문에 모든 데이터 세트가 가능한 모든 스퓨리어스 신호를 상쇄할 만큼 충분한 다양성을 가지고 있는 것은 아닙니다. 균형 잡힌 교육 데이터 세트를 고안하려면 기계가 래치할 수 있는 모든 가능한 패턴을 예상하고 반례를 통해 사전에 수동으로 모두 사전에 취소할 수 있는 창의성이 필요합니다. 하지만 여기서 다시 기계 학습 알고리즘이 데이터 세트의 가장 미묘한 패턴에 깊이 도달할 수 있는 능력은 기계가 찾을 수 있는 모든 가능한 스퓨리어스 신호에 대응하는 것이 거의 불가능하다는 것을 의미합니다.

오늘날의 컴퓨터 비전 알고리즘은 이미지를 개체로 분할하고 개체 수준에서 인식을 수행함으로써 이 문제를 개선하고 있지만 이는 문제를 해결하기보다는 일부 증상을 해결하는 것일 뿐입니다.

기계 학습 알고리즘은 여전히 이미지에 있는 개체의 상호 관계에 대해 추론하는 능력이 크게 부족합니다. 가장 중요한 것은 의미론적 추상화가 아닌 기본 패턴에 의존한다는 것은 이미지 외부의 정보를 사용하여 명확성을 수행하기 위한 우리 자신의 외부 세계 지식이 부족하다는 것을 의미합니다.

야외 개와 실내 고양이의 사진에 대해 훈련된 기계는 개체를 컨텍스트에서 분리할 수 없기 때문에 사자와 같은 야외 고양이를 올바르게 분류하지 못할 가능성이 높습니다. 대조적으로 컨텍스트는 종종 인식 작업에서 중요합니다. 주요 전투 탱크의 사진을 예로 들어 보겠습니다. 모래 사막에서 볼 때 대부분의 사람들은 그것을 탱크로 표시합니다. 그러나 카메라가 축소되어 모래 디저트가 어항을 잡고 있는 어린 아이의 손이 있는 뒤뜰의 모래상자임을 보여주면 인간인 우리는 해당 물체가 장난감 수조임을 인식하기 위해 주변 상황을 사용할 수 있습니다.

오늘날 기계는 장난감 탱크를 들고 있는 아이들의 많은 예를 보여줌으로써 그 차이를 쉽게 가르칠 수 있지만 최종 결과는 규모에 기반한 우리의 추론에 비해 매우 불안정할 것입니다. 충분한 예가 주어지면 기계는 이미지의 어린이와 관련된 패턴과 질감이 실제 탱크에서 장난감 탱크로 개체의 레이블을 변경해야 한다는 기본 컨텍스트를 "학습"할 수 있습니다. 그러나 주변에 사람이 없는 집 앞 진입로에 같은 장난감 탱크가 표시되면 기계는 바로 다시 진짜로 라벨을 붙일 가능성이 높습니다.

반응형

요컨대, 기계에 의해 학습된 패턴은 관찰을 외부 도메인 지식에 연결하고 그들이 보고 있는 것에 대해 적절하게 추론할 수 있게 해주는 고차 추상화가 아니라 입력 데이터의 매우 부서지기 쉬운 표면 수준 관찰 시각적 특성입니다.

본질적으로 그들은 숫자 더미에서 인간이 패턴을 보여주고 그 숫자가 무엇을 나타내는지 또는 결정이 무엇을 포함하는지 이해하지 못한 채 미래의 발생을 표시하도록 요청하는 것과 유사합니다.

이것이 현재의 딥 러닝 시스템이 기묘한 힘에도 불구하고 너무 취약하고 속이기 쉬운 이유 중 하나입니다. 데이터에서 의미보다는 상관관계를 찾습니다.

바로 여기에 오늘날 딥 러닝의 큰 모순이 있습니다. 기계는 대부분의 시간 동안 초인적인 수준으로 작동하지만 가장 예상치 못한 직관에 반하는 방식으로 어느 순간에 극적으로 실패합니다.

이것은 또한 무인 자동차와 같은 기계 학습의 생사를 가르는 응용 프로그램을 매우 무섭게 만드는 것입니다. 어떤 기본 시나리오로 인해 갑자기 실패하여 잠재적으로 치명적인 결과를 초래할 수 있는지 알 수 없습니다.

이 문제를 어떻게 해결해야 할까요?

한 가지 옵션은 도메인 전문가가 각 패턴을 검토하고 승인할 수 있도록 학습한 패턴을 간결하게 설명할 수 있는 기계 학습 시스템을 구축하는 것입니다. 이러한 태그 팀 접근 방식은 기계의 탁월한 패턴 인식과 인간의 도메인 지식을 결합합니다.

반면에 머신 러닝이 많은 영역에서 인간에 비해 그토록 성공적인 이유 중 하나는 인간에게는 가짜 노이즈로 보일 수 있지만 적법한 신호인 미묘하거나 예상치 못한 패턴을 찾아내는 능력입니다. 단순히 인간에 의해 발견되지 않았습니다.

 

이것은 특히 관찰 데이터가 역사적으로 희소하거나 완전히 사용할 수 없는 인구 규모의 인간 행동과 같은 이론 기반 분야의 경우에 해당되며, 이후에 가장 예측 가능한 것으로 밝혀진 모든 신호를 놓치는 이론으로 이어집니다. 인간이 기계가 식별한 패턴을 검토하게 하는 것은 그러한 상황에서 비생산적일 수 있으며, 인간은 그들의 (일반적으로 부정확한) 이론에 맞지 않는 모든 패턴을 폐기합니다.

이 모든 것을 종합하면 지난 5년 동안 기계 학습은 딥 러닝 접근 방식이 컴퓨터 비전과 같이 이전에는 다루기 어려웠던 많은 작업을 돌파하고 점점 더 많은 영역에서 초인적인 정확도를 제공하는 르네상스를 경험했습니다. 그러나 딥 러닝이 무인 자동차 및 의료와 같은 삶과 죽음의 영역에서 응용 프로그램을 발견함에 따라 이러한 솔루션의 극도의 취성 및 극적으로 실패할 수 있는 부분을 알 수 없다는 점은 고유한 문제를 제기합니다. 근본적인 문제는 오늘날의 기계 학습 알고리즘이 데이터의 통계적 패턴이 실제로 당면한 작업과 합법적으로 관련되는지 여부를 전혀 이해하지 않고 맹목적으로 학습한다는 것입니다. 딥 러닝 시스템이 통계가 아닌 의미론의 관점에서 세계에 대해 추론하고 외부 세계 지식과 컨텍스트를 의사 결정 프로세스에 통합할 수 있는 경우에만 우리는 마침내 기계의 취성 및 실패를 일부 제거할 수 있는 기계를 갖게 될 것입니다.