김잿빛의 정리 노트

OpenAI의 GPT-3이 엄청난 언플을 통해 대중들에게 꽤나 핫하다. 국내 유명 경제 팟캐스트에서도 소개가 되었으며, 마치 혼자 글을 청산유수처럼 짓는 것처럼 묘사되었다. GPT-3의 비밀을 파헤쳐보자. 문장을 만들어내는 인공지능에는 아래 움짤처럼 보통 인풋으로 키워드가 좀 들어간다. 이를 바탕으로 글을 쓰기 위해서, 머신러닝 모델이 엄청난 양의 데이터를 '학습한' 것을 바탕으로 아웃풋을 낸다. 예를 들어보자. 즉 인풋으로 '로봇공학의 삼원칙 중 제1원칙을 말하라'를 줬을 때, 이에 맞도록 '로봇은 인간에게 해를 가하거나, 혹은 행동을 하지 않음으로써 인간에게 해가 가도록 해서는 안된다'를 말해야 한다. 이를 위해 GPT-3은 엄청난 양의 텍스트를 학습했다. 약 3000억개의 텍스트 토큰이 사용되었다...

구조적으로는 TPU와 GPU는 매우 다릅니다. GPU랑 달리 TPU는 coprecessor라서 스스로 코드를 실행하지는 못합니다. 즉 모든 코드의 실행은 CPU에서 이루어집니다. 사실 구조적으로 더 말하기는 너무 전문적이죠. 현실 상황에서 가장 큰 차이점은 TPU가 GPU보다 더 저렴하고, 전력을 훨씬 적게 쓴다는 점입니다. 구글이 발명한 수많은 것들 중 많은 것은 망했지만, TPU는 성공적인 것으로 보입니다. 그렇다고 GPU를 대체하지는 않겠죠. 왜냐면 TPU는 머신러닝에만 쓸 수 있기 때문입니다. 참고: https://cloud.google.com/blog/products/gcp/an-in-depth-look-at-googles-first-tensor-processing-unit-tpu

Q. 왜 사람들은 데이터 과학자는 죽은 직업이라고 하나요? 회사들이 많이 뽑지 않았었나요? A. (2020. 02. 24) 데이터 과학자(Data Scientist)의 시대가 끝났다고 처음 말을 꺼낸 사람 중 한명으로서, 그렇게 주장하는 이유 10가지를 말씀드릴게요. 1. 데이터 과학자를 뽑는 수는 지난 4년 간 쭉 감소해왔습니다. 상당히 넌센스입니다. 왜냐하면 거의 매년 데이터 관련 직업의 양은 두배씩 늘었기 때문입니다. 2. 지금 가장 핫한 직업은 '머신러닝 엔지니어(machine learning engineer)'입니다. 지난 2년간 그래왔습니다. 3. 현실에서 일하다보면, 실제 적용되는 머신러닝은 모두 데이터에 의존합니다. 데이터를 구하고, 잘 가공하는 일과 거리가 먼 직종인 데이터 과학자를 비싼..

AI가 말이 되는 문장을 만들어 내는 것은 거의 불가능했지만, 최근 NLP(자연어처리)가 활발히 연구되며 조금씩 등장하고 있다. 보통 딥러닝 기술을 활용하는데, 단순히 기존의 수많은 문장 데이터에서 단어나 문장 구조의 사용 및 그 빈도에 대한 통계적 수치를 찾는 방식이다. 그렇다면 AI는 실제 어느정도로 문장을 이해하고 있을까? 사실 이는 일명 'Generalizable AI'를 만드는 과학계의 원대한 목표의 일부분이다. 굳이 한국어로 번역을 하면 '어느 분야에나 적용 가능한(일반화 가능한) 인공지능'이라 할 수 있겠다. 즉, 지능을 가진 우리 사람은 언어를 배우든 노래를 배우든 그림을 그리든 어떤 분야든지 학습이 가능한 것처럼, 지금은 언어를 학습하는 AI, 그림을 그려주는 AI 등으로 구분이 되어 있..

머신러닝 알고리즘에게 뭔갈 가르칠 때는 보통 모든 디테일을 한방에 가르치곤 한다. 예컨데 이미지 식별(image classification)을 가르쳐서 이 이미지가 어떤 종(species)인지 학습시킨다고 하자. 보통은 사진마다 메인쿤 고양이, 포메라니안 강아지 등으로 한방에 가르친다는 것이다. 하지만 우리 인간이 아이들을 가르칠 때는 이와 다르다. 훨씬 넓은 개념부터 학습시키는 것인데, 강아지면 그 종과 상관없이 그냥 강아지로, 고양이는 고양이로 크게 가르친다. 그렇게 아이가 강아지와 고양이를 구별하게 된 이후에야 어떤 종인지를 알게 되는 것이다. 이렇듯 머신러닝에서 난이도가 쉬운 내용부터 단계적으로 가르치는 방법을 '커리큘럼 러닝'이라고 부른다. 90년대부터 등장했던 꽤나 오래된 개념이다. 기존에는 ..

우리 인간이 의자를 보면, 그 모양이나 색과 상관없이 이 위에 앉을 수 있다는 것을 압니다. 마찬가지로 물 속의 물고기를 보면 그 상황이 어떻든지 얘가 수영할 수 있겠다고 생각이 들죠. 이는 유명한 심리학 개념인 '어포던스(Affordance)'라 합니다. 대충 '행동유도성'으로 설명됩니다. 심리학자 깁슨에 의해 유명해진 어포던스는, 지능을 가진 존재가 세상을 볼 때 단순히 물체와 관계들만 가지고 인식하는 것이 아니라, 그 '가능성'까지 본다는 말입니다. 즉 의자는 앉을 수 있는 가능성을 제공(afford)한거고, 물 역시 수영할 수 있는 가능성을 제공(afford)한 것이죠. 우리에겐 알파고로 유명한 AI 전문 회사 DeepMind가 이 어포던스를 강화학습(Reinforcement Learning)에 ..