위클리 NLP

Week 26 - ML 연구에도 네이밍 마케팅이 중요하다? BERT!

회사든 제품이든 아티스트 이름이든, 잘 지은 이름의 영향력은 대단한 것 같습니다. 매일 수천수만 개의 새로운 것이 쏟아 나오는 요즘 세상에 사람들 머릿속에 각인되는 게 그만큼 쉽지 않은데 말이죠. 근데 논문의 이름을 잘 지어서 대박이 난다? 동네 맛집도 아니고 보통 사람들은 평소에는 관심도 없는 NLP 논문을, 그것도 Google AI 연구 팀이

위클리 NLP

Week 25 - NLP의 옵티머스 프라임, Transformer 등장!

반바지를 입고 아이스크림을 들고 있던 아이는 그것을 금방 다 먹었다. 여기서 그것은 무엇을 가리키는 걸까요? 설마 아이가 반바지를... 번역을 하다보면  대명사 때문에 애먹는 경우가 많습니다. 그것이 무엇인지 유추하려면 앞에 있는 "아이스크림"과 뒤에 있는 "먹는다"라는 두 단어를  동시에 고려해야 합니다. 인간은 그냥 주르륵 읽기만 해도

위클리 NLP

Week 24 - 나 대신 아이한테 그림 책 읽어주는 AI가 나올까

요즘은 아이들의 상상력을 자극하기 위해 아예 글이 없는 그림 책이 인기라고 합니다. 아이들이 글보다는 그림에 집중하게 되어 자연스럽게 질문을 던지고 스토리를 같이 만들어 가는 형식이 좀 더 뇌발달에 효과적일 수 있겠죠. 근데 읽어주는 부모 입장에서는 훨씬 고난이도 과제가 아닐까 싶습니다. 텍스트가 없으니 스토리를 직접 지어 내야 하기도 하고, 모든 페이지에

위클리 NLP

Week 23 - NLP의 궁예 등장? 관심법으로 번역을 잘해보자

2020년 봉준호 감독의 기생충이 아카데미를 수상하면서 함께 주목을 받았던 사람이 바로 그의 동시 통역가 샤론 최 씨인데요. 기계번역이 아무리 좋아도 당장은 이런 고퀄리티의 통역가는 대체될 수 없겠구나라고 할 정도로 훌륭한 실력을 선보였습니다. 저는 세 가지 부분에서 그녀의 통역이 굉장했다고 느꼈는데요: (1) 영화 업계 (충무로/할리우드)에서 쓰이는 전문 용어 (jargon)

위클리 NLP

Week 22 - 딥러닝 기계번역 모델 seq2seq 깊게 파보기

지난주에는 최근 몇년 간 기계번역 분야의 비약적인 성장에는 딥러닝 기반의 neural machine translation (NMT)의 seq2seq 모델이 있다는 것을 소개하며 간단히 모델의 구조에 대하여 공부해보았습니다. 그렇다면 seq2seq 모델은 어떤 방법으로 학습이 되는 걸까요? 어떻게 번역된 문장을 생성할까요? 그리고 번역의 퀄리티는 어떻게 평가가 되는 걸까요? 공부하면 할수록 궁금한게 많아집니다. 이 질문들을

위클리 NLP

Week 21 - 기계 번역의 패러다임을 바꾼 seq2seq 모델

저는 세기의 대결 2016년 <알파고 vs. 이세돌>을 인공지능 연구 석사를 시작하던 첫 학기 때 보았습니다. 저에게는 이제 이 새로운 길로 들어가려고 막 시작했던 때라 정말 가슴을  뛰게 하는 뉴스들이었습니다. 바둑 전문가들은 이 대결의 지켜보면서, "알파고는 인간이라면 하지 않을 수를 둔다. 여태까지  정석이라고 알고 있었던 우리의 이론과

위클리 NLP

Week 20 - 구글 번역기는 처음에 어떻게 만들어진걸까?

영어 공부를 열심히 하면서 살던 중 어느 순간 컴퓨터가 번역을 자동으로 해줄 수 있다는 소식을 들었었습니다. 검색 시장으로 세계를 장악하던 G사가 만든 translate라는 제품. 간단한 거부터 해보았습니다. 오, 좀 하네? 그럼 지금 읽고 있었던 영어 지문도 넣어보았습니다. 흠 이건 무슨 소리지. 뭔가 단어 하나하나는 말이 되는 거 같으면서도 전체적으로 뭔

위클리 NLP

Week 19 - 언어 모델을 가지고 트럼프 봇 만들기?!

최근 윤종신 아티스트님이 구글 코리아에서 강연을 했던 것을 들었는데, 그 중 아주 인상 깊은 부분이 있었습니다. 청중 한 분이 “AI가 너무 발전해서 윤종신의 음악의 패턴을 분석해서 ‘윤종신스러운’ 새로운 곡을 쓸 수 있다면 어떠실 것 같아요? 그런 세상이 올까요?” 그러자 윤종신 님은 너무 태연하게, “제가 과거에 했던 행태를 (비슷한 음악 기법)

위클리 NLP

Week 18 - 기억력이 훨 좋은 딥러닝 언어 모델 등장! RNN LM

"시장에 가면~ 바나나도 있고, 닭다리도 있고, 수박도 있고, 아이스크림도 있고~" 이 게임 기억나시는 분 있나요? 정말 옛날에 술자리에서 랜덤 게임을 하면 정말 드문 확률로 이 고전 게임이 시작되기도 했는데... (제가 너무 아재인가요;;) 어쨌든 이 게임의 가장 중요한 포인트는 내 앞사람들이 고른 시장 아이템들을 순서대로 기억해야 한다는 점입니다. 운이

위클리 NLP

Week 17 - 딥러닝이 언어 모델에 필요한 이유

지난 2주 간 인공지능이 우리의 말귀를 알아들으려면 발음 모델 그리고 언어 모델을 학습해야 한다고 공부했습니다. 생각해보면 우리는 정말 많은 단어를 머리 속에 담고 무수히 많은 조합으로 문장을 쓰거나 대화를 합니다. 난생 처음 보는 글을 읽을 때도 (제대로 쓰인 글이라면) 자연스럽게 작가가 하려는 말을 이해할 수 있습니다. 새로운 조합의 단어도, 심지어

위클리 NLP

Week 16 - AI은 어떻게 영어 발음을 나보다 잘 인식할 수 있을까

제 글이 값어치[가버치]를 하고 있나요? 글이 쌓고 [싸코] 쌓여 [싸여] 더 많은 지식이 여러분께 전달되었으면 좋겠네요. 이렇게 우리가 언어를 쓰는 방식은 실제로 발음하는 방식과 다를 때가 많습니다. 모국어의 경우 자연스럽게 위 예시 같은 묵음을 생각하지 않고 발음하게 습관이 되어있지만, 새로 배우는 언어의 경우 쓰여있는 그대로 읽다가 지적을 받을

위클리 NLP

Week 15 - 인공지능은 말을 어떻게 알아 먹는걸까, ASR #1

사람이 많은 카페에서 친구와 같이 얘기를 하다가 잠깐 멈추면 주변이 얼마나 시끄러운지 그제야 깨닫게 되는 때가 종종 있습니다. 천장에서 나오는 음악, 양 옆에서 각자의 대화를 큰소리로 즐겁게 나누는 다른 사람들, 바리스타가 커피를 내리면서 나는 소음 등 정말 내가 어떻게 친구 말을 알아듣고 있었나 싶을 때도 있습니다. 이렇게 우리는 웬만한 소음