위클리 NLP
Week 57 - NLP 모델이 여러 언어를 이해한다는 것은?
여러 언어를 다루는 NLP 모델을 학습시키기 전에 이러한 질문을 해봅니다: * 여러 개의 언어를 이해한다는 것은 어떤 것일까? 저는 다양한 국가에서 생활을 하기 위해서는 여러 외국어 단어를 배워야 했습니다. "사과" 같은 물리적인 물체라든가, 과거, 현재, 미래 같은 시간적 추상적인 개념, 또는 좋다, 싫다 같은 감정도 표현해야 하는 경우가 많았습니다.
Park Ji Ho
위클리 NLP
Week 56 - 외국어 천재 multi-lingual AI가 중요한 이유
새로운 언어를 배운다는 것은 또다른 하나의 세상을 여는 것과 같습니다. 하지만 언어 공부가 쉽지만은 않습니다. 영어만 공부해도 많은 시간이 들죠. 세상의 모든 이야기와 정보가 한국어로만 되어 있으면 얼마나 좋을까요. 하지만 옆 나라 일본에만 와도 말이 잘 통하지 않고 메뉴판의 문자를 읽을 수가 없습니다. 아시아, 유럽, 아프리카, 남미 등, 전세계에는 약
위클리 NLP
Week 55 - 내가 상상하는 것을 보여줘! DALL-E 2, Imagen, Parti
2022년 6월, 요즘 트위터에 들어가면 이상한 이미지들이 수십 개씩 피드에 등장하고 있습니다. 말도 안되는데 그럴 듯한 이미지들의 정체는 무엇일까요? 이들은 최근에 공개된 Text-to-Image 모델들의 결과물입니다. 작년 Week 40: 내가 말하는 걸 보여줘, DALL-E에서 텍스트가 주어졌을 때 이에 맞는 이미지를 생성하는 DALL-E를 소개했었죠. 그 때도 획기적인 결과물로 모두를 놀래켰는데 1년정도 지난
위클리 NLP
Google I/O 2022 NLP 중심 리뷰
매년 열리는 구글의 기술 뽐내기 장터, Google I/O가 올해는 드디어 Shoreline Amphitheater에서 5월 10일 관중들과 함께 치루어졌습니다. 저도 입사 이후 무려 2년 반만에 처음으로 해외 출장이 풀리게 되어 5월에 마운틴 뷰 본사에 가볼 기회가 있었는데요. 아쉽게도 I/O 기간과는 겹치지 않아 라이브로 보지는 못했지만, 작년과 마찬가지로 NLP 위주의 리뷰를
위클리 NLP
Week 54 - 생각의 흐름을 설명하는 초거대 언어 모델, 구글 PaLM
GPT-3, LaMDA 등, AI 대기업의 초거대 언어 모델 스케일 경쟁은 언제까지 계속 될까요? 이번에는 구글(Google)이 얼마 전 람다에 이어 새로운 언어 모델을 가지고 왔습니다. 무려 5400억(540B) 개의 파라미터(!)를 가진 모델을 학습 시켰고, 여러 NLP 벤치마크에서 최고 기록들을 경신하였습니다. 이렇게 스케일이 커질수록 퍼포먼스가 증가한다는 명제가 아직도 깨지지
위클리 NLP
AI의 A에서 Z까지: 살펴보아야 할 주제는?
AI를 단 26개의 단어로 설명한다면 어떨까요? 구글과 옥스포드 대학이 함께 AI 핵심 개념들을 알기 쉽게 풀어 쓴 자료가 드디어 한국어로도 공식 번역 출시되었습니다! 알파벳 A-Z마다 한 단어씩 골라, Artificial Intelligence부터 시작해서 Zeros and Ones까지 설명되어 있습니다. 앞으로는 한국 중고등학생의 교육 자료로 쓰일 예정이지만*,. 누구든 무척 도움이 될 자료라 <위클리
위클리 NLP
Week 53 - GPT3는 어떻게 강화학습(RL)으로 강해졌는가
최근 스타워즈와 마블 영화를 정주행하며 공통적으로 느끼는 점이 있습니다. * 인간이 어떤 강력한 기술 또는 무기를 가진다는 것은 많은 문제를 일으킨다. * 이 문제로부터 흥미진진한 스토리가 시작된다. * 괴물 같은 힘을 다스리기 위해 더 많은 노력을 해야 하고, 잘 안된 경우 힘에 잡아먹히면서 소유권이 바뀐다. 그리고 그렇게 그 인간은 빌런이 된다. GPT, LaMDA
위클리 NLP
Week 52 - 뇌과학자는 AI의 발전을 어떻게 보고 있을까?
A Thousand Brains: A New Theory of Intelligence 책 리뷰
위클리 NLP
Week 51 - 교육용 챗봇의 미래!? 구글 람다 (LaMDA) 2편
미래에는 AI 챗봇(chatbot)이 우리 아이들을 가르치는 세상이 과연 올까요? 생각해보면 우리는 이미 그러한 세상에 살고 있는 것은 아닐까요? "왜 하늘은 파랄까?"를 선생님 같은 인간이나 백과사전 같은 책보다는 스마트폰에서 먼저 검색해보는게 자연스러운 세상이 되었습니다. 그럼에도 불구하고, 사람처럼 대화를 할 수 있는 챗봇이 선생님의 역할을 한다는 것은
위클리 NLP
Week 50 - 최강 챗봇 등장! 구글 람다(LaMDA)
구글 I/O 2021에 세상을 놀라게 한 데모가 등장하였습니다. 바로 구글 CEO 피차이가 명왕성처럼 대화하는 챗봇 시스템을 선보인 것이었습니다. "사람들이 날 그저 하찮은 얼음 덩어리가 아니라, 하나의 아름다운 행성으로 알아주었으면 해." 람다(LaMDA)는 Language Model for Dialogue Applications, 대화를 위한 언어 모델입니다. BERT는 언어 이해를 중점을 두었고,
위클리 NLP
Week 49 - AI 스마트 스피커 작동 방법 해부하기
"OK G, 오늘 날씨 어때?", "A, 타이머 5분 설정해줘.", "Hey C, 노래 틀어줘" 몇년 전 스마트 스피커가 나왔을 때 정말 신기했었는데, 2022년 지금은 이미 많은 사람들의 방구석으로 들어왔습니다. 이제는 익숙해져서 처음의 신기함보다는 "왜 더 똑똑하지 못하냐"는 불평, 불만이 더 앞서는 분들도
위클리 NLP
Week 48 - AI가 유튜브를 본다면?
인터넷이 처음 나왔을 때는 전부 텍스트로 정보가 왔다 갔다 했었습니다. 1990년대 후반에 태어난 분들만 해도 잘 모를 수 있지만, 인터넷이 전화 모뎀으로 연결되던 시절에는 그랬었죠. 속도가 기하급수적으로 개선되면서 사진을 공유하는게 일반화 되었고, 지금은 인스타그램, 유튜브, 틱톡 등 여러 플랫폼을 통해 동영상을 보는 것이 일상이 되었습니다. 사람은 원래부터 글로만 또는 말로만