어포던스(Affordance)와 강화학습(Reinforcement Learning)

우리 인간이 의자를 보면, 그 모양이나 색과 상관없이 이 위에 앉을 수 있다는 것을 압니다. 마찬가지로 물 속의 물고기를 보면 그 상황이 어떻든지 얘가 수영할 수 있겠다고 생각이 들죠. 이는 유명한 심리학 개념인 '어포던스(Affordance)'라 합니다. 대충 '행동유도성'으로 설명됩니다.

 

심리학자 깁슨에 의해 유명해진 어포던스는, 지능을 가진 존재가 세상을 볼 때 단순히 물체와 관계들만 가지고 인식하는 것이 아니라, 그 '가능성'까지 본다는 말입니다. 즉 의자는 앉을 수 있는 가능성을 제공(afford)한거고, 물 역시 수영할 수 있는 가능성을 제공(afford)한 것이죠.

 

우리에겐 알파고로 유명한 AI 전문 회사 DeepMind가 이 어포던스를 강화학습(Reinforcement Learning)에 적용하는 연구를 진행하고 있습니다. 평범한 강화학습에서는 보통 모든 가능성을 열어둔 후 시행착오를 통해(trial and error) 학습을 하게 됩니다. 예를 들어 A라는 지점에서 B라는 지점으로 이동하는 로봇이 있다면, 일단 중간의 벽 등 장애물도 갈 수 있다고 생각한 상태에서 시작해서, 막 부딛쳐가면서 못가는 곳이라는 것을 깨닫는 방식이죠.

 

만약 로봇이 이 주변환경의 어포던스를(이 경우엔 통과가 가능한지 여부) 미리 학습해놓을 수 있다면, 꽤나 많은 양의 경우의 수를 제외한 채 학습할 수 있게 됩니다. 즉 배우는 과정이 더욱 효과적이 되며, 다른 환경으로의 일반화에도 유리하게 되죠.

 

실제 딥마인드에서 초기 단계의 연구를 수행하고 있습니다. 아주 간단한 환경에서 단순한 목표를 가지고서이죠. 이러한 연구가 이론적 기반이 되어 언젠가는 복잡한 머신러닝에도 적용될 날이 올 것입니다. 예컨데 물을 따르는 로봇을 만든다면, 어포던스를 학습한 로봇이 더 빨리 주변 환경을 분석해 어떤 물체에 물을 따라야할지(어떤 물체가 물을 받아도 될 가능성이 높은지)를 알게 될 것입니다. 더이상 이를 학습하기 위해 온갖 물체에 물을 엎을 필요는 없게 되겠죠.