위클리 NLP

2020-23년에 진행했던 뉴스레터 Archive

Week 55 - 내가 상상하는 것을 보여줘! DALL-E 2, Imagen, Parti

위클리 NLP

Week 55 - 내가 상상하는 것을 보여줘! DALL-E 2, Imagen, Parti

2022년 6월, 요즘 트위터에 들어가면 이상한 이미지들이 수십 개씩 피드에 등장하고 있습니다. 말도 안되는데 그럴 듯한 이미지들의 정체는 무엇일까요?   이들은 최근에 공개된 Text-to-Image 모델들의 결과물입니다. 작년 Week 40: 내가 말하는 걸 보여줘, DALL-E에서 텍스트가 주어졌을 때 이에 맞는 이미지를 생성하는 DALL-E를 소개했었죠. 그 때도 획기적인 결과물로 모두를 놀래켰는데 1년정도 지난

By Park Ji Ho
Google I/O 2022 NLP 중심 리뷰

위클리 NLP

Google I/O 2022 NLP 중심 리뷰

매년 열리는 구글의 기술 뽐내기 장터, Google I/O가 올해는 드디어 Shoreline Amphitheater에서 5월 10일 관중들과 함께 치루어졌습니다. 저도 입사 이후 무려 2년 반만에 처음으로 해외 출장이 풀리게 되어 5월에 마운틴 뷰 본사에 가볼 기회가 있었는데요. 아쉽게도 I/O 기간과는 겹치지 않아 라이브로 보지는 못했지만, 작년과 마찬가지로 NLP 위주의 리뷰를

By Park Ji Ho
Week 54 - 생각의 흐름을 설명하는 초거대 언어 모델, 구글 PaLM

위클리 NLP

Week 54 - 생각의 흐름을 설명하는 초거대 언어 모델, 구글 PaLM

GPT-3, LaMDA 등, AI 대기업의 초거대 언어 모델 스케일 경쟁은 언제까지 계속 될까요? 이번에는 구글(Google)이 얼마 전 람다에 이어 새로운 언어 모델을 가지고 왔습니다. 무려 5400억(540B) 개의 파라미터(!)를 가진 모델을 학습 시켰고, 여러 NLP 벤치마크에서 최고 기록들을 경신하였습니다. 이렇게 스케일이 커질수록 퍼포먼스가 증가한다는 명제가 아직도 깨지지

By Park Ji Ho
AI의 A에서 Z까지: 살펴보아야 할 주제는?

위클리 NLP

AI의 A에서 Z까지: 살펴보아야 할 주제는?

AI를 단 26개의 단어로 설명한다면 어떨까요? 구글과 옥스포드 대학이 함께 AI 핵심 개념들을 알기 쉽게 풀어 쓴 자료가 드디어 한국어로도 공식 번역 출시되었습니다! 알파벳 A-Z마다 한 단어씩 골라, Artificial Intelligence부터 시작해서 Zeros and Ones까지 설명되어 있습니다. 앞으로는 한국 중고등학생의 교육 자료로 쓰일 예정이지만*,. 누구든 무척 도움이 될 자료라 <위클리

By Park Ji Ho
Week 53 - GPT3는 어떻게 강화학습(RL)으로 강해졌는가

위클리 NLP

Week 53 - GPT3는 어떻게 강화학습(RL)으로 강해졌는가

최근 스타워즈와 마블 영화를 정주행하며 공통적으로 느끼는 점이 있습니다. * 인간이 어떤 강력한 기술 또는 무기를 가진다는 것은 많은 문제를 일으킨다. * 이 문제로부터 흥미진진한 스토리가 시작된다. * 괴물 같은 힘을 다스리기 위해 더 많은 노력을 해야 하고, 잘 안된 경우 힘에 잡아먹히면서 소유권이 바뀐다. 그리고 그렇게 그 인간은 빌런이 된다. GPT, LaMDA

By Park Ji Ho
Week 51 - 교육용 챗봇의 미래!? 구글 람다 (LaMDA) 2편

위클리 NLP

Week 51 - 교육용 챗봇의 미래!? 구글 람다 (LaMDA) 2편

미래에는 AI 챗봇(chatbot)이 우리 아이들을 가르치는 세상이 과연 올까요? 생각해보면 우리는 이미 그러한 세상에 살고 있는 것은 아닐까요? "왜 하늘은 파랄까?"를 선생님 같은 인간이나 백과사전 같은 책보다는 스마트폰에서 먼저 검색해보는게 자연스러운 세상이 되었습니다. 그럼에도 불구하고, 사람처럼 대화를 할 수 있는 챗봇이 선생님의 역할을 한다는 것은

By Park Ji Ho
Week 50 - 최강 챗봇 등장! 구글 람다(LaMDA)

위클리 NLP

Week 50 - 최강 챗봇 등장! 구글 람다(LaMDA)

구글 I/O 2021에 세상을 놀라게 한 데모가 등장하였습니다. 바로 구글 CEO 피차이가 명왕성처럼 대화하는 챗봇 시스템을 선보인 것이었습니다. "사람들이 날 그저 하찮은 얼음 덩어리가 아니라, 하나의 아름다운 행성으로 알아주었으면 해." 람다(LaMDA)는 Language Model for Dialogue Applications, 대화를 위한 언어 모델입니다. BERT는 언어 이해를 중점을 두었고,

By Park Ji Ho
Week 48 - AI가 유튜브를 본다면?

위클리 NLP

Week 48 - AI가 유튜브를 본다면?

인터넷이 처음 나왔을 때는 전부 텍스트로 정보가 왔다 갔다 했었습니다. 1990년대 후반에 태어난 분들만 해도 잘 모를 수 있지만, 인터넷이 전화 모뎀으로 연결되던 시절에는 그랬었죠. 속도가 기하급수적으로 개선되면서 사진을 공유하는게 일반화 되었고, 지금은 인스타그램, 유튜브, 틱톡 등 여러 플랫폼을 통해 동영상을 보는 것이 일상이 되었습니다. 사람은 원래부터 글로만 또는 말로만

By Park Ji Ho
Week 47 - BERT와 GPT 같은 기초 모델이 가진 위험 요소는?

위클리 NLP

Week 47 - BERT와 GPT 같은 기초 모델이 가진 위험 요소는?

어떤 강력한 기술이 나올 때는 그로 인한 축복과 재앙이 함께 오는 것 같습니다. 원자력이라는 엄청난 에너지 솔루션이 개발된 후에는 우리에게 그 어떤 다른 수단보다 효율적인 전기 발전 수단으로 쓰이고 있기도 하지만, 전쟁을 위한 무자비한 살상 무기로 사용되어 끔찍한 역사를 만들어 내기도 했죠. 과연 AI/ML 기술은 인류 역사에 어떤 변화를

By Park Ji Ho
Week 46 - 4차산업혁명의 토대가 되고 있는 FOUNDATIONAL MODEL이란?

위클리 NLP

Week 46 - 4차산업혁명의 토대가 되고 있는 FOUNDATIONAL MODEL이란?

수십 년, 수백 년에 한번씩 여러 산업을 통째로 바꾸는 기술이 나옵니다. 증기 기관이 그랬고, 전기가 그랬습니다. 인공지능(AI) 역시 그럴 것이라고 최근 몇 년째 모두들 이야기하고 있죠. 하지만 AI라는 단어는 이미 수십 년간 존재해왔고, 정확히 무엇을 의미하는지 매우 모호합니다. 도대체 구체적으로 어떤 것이 세상을 바꾼다는 것일까요? 위클리 NLP에서는 그동안 언어

By Park Ji Ho