위클리 NLP
ChatGPT가 나온지 얼마도 되지 않아 GPT-4가 발표되었습니다. OpenAI가 움직이는 속도는 참 경이롭습니다. 마이크로소프트 인프라의 날개를 달아 그런지 더욱 빠르게 움직이는 것이 아닐까 싶습니다. 요즘 NLP를 공부하시는 분들은 하루하루 정신이 없으시죠? 그럴수록 정보의 홍수 속에 허우적되는 것보다, 핵심 정보만 선별해서 소화하는 것이 중요하다고 생각합니다. 특히 이럴 때일수록 공식 블로그나 논문을 원문으로
위클리 NLP
“retroanime style, two monsters fighting like their dancing. colorful” Playgroundai.com에서 이미지 생성 ChatGPT의 어떤 부분이 사람들을 이렇게 놀라게 하는걸까? 사람들은 왜 그렇게 흥분할까? 제가 지난 두 달 동안 대답하려고 노력했던 질문들입니다. 오랫동안 NLP를 연구하고 연구하는 사람으로서, 저는 ChatGPT를 그저 더 큰 모델 규모, 훈련 데이터를 통해 더 나은 응답
위클리 NLP
“a large monster with ropes tied to it in every direction. ropes are pulled to tame the monster. Artistic” Playgroundai.com에서 이미지 생성 ChatGPT라는 괴물이 세상에 던져졌습니다. 요즘은 정말 많은 사람들이 ChatGPT에 대해 이야기하고, 걱정하고, 공부하고 있습니다 (덕분에 블로그의 조회수가 폭발하고 있습니다!). 이 모델의 원리, 한계에 대해서 읽어보신 분들은 다음
위클리 NLP
ChatGPT에게 “ChatGPT의 한계에 대해 쓰는 블로그 글 인트로 써줘”라고 했더니 이러한 답이 나왔습니다. ChatGPT는 OpenAI에서 훈련한 대용량 언어 모델입니다. 이 모델은 자연어 생성, 질의 응답, 문장 요약 등 다양한 작업에 사용될 수 있습니다. 하지만, 이 모델에는 한계가 있습니다. 예를 들어, 이 모델은 과거의 지식을 기반으로 행동하기 때문에 최신 정보를
위클리 NLP
ChatGPT launched on wednesday. today it crossed 1 million users! — Sam Altman (@sama) December 5, 2022 ChatGPT가 공개된지 5일 만에 백만 유저가 가입했다고 합니다. 2020년 GPT3가 공개 되었을때 이상으로 화제를 불러일으키고 있습니다. 여태까지 공개된 언어 모델은 사람이 쓰는 글과 비슷하여 대단하다고 느꼈던 반면, 이번 버전은 인간 이상의 작문 능력과 창의력을
위클리 NLP
여러 언어를 다루는 NLP 모델을 학습시키기 전에 이러한 질문을 해봅니다: * 여러 개의 언어를 이해한다는 것은 어떤 것일까? 저는 다양한 국가에서 생활을 하기 위해서는 여러 외국어 단어를 배워야 했습니다. "사과" 같은 물리적인 물체라든가, 과거, 현재, 미래 같은 시간적 추상적인 개념, 또는 좋다, 싫다 같은 감정도 표현해야 하는 경우가 많았습니다.
위클리 NLP
새로운 언어를 배운다는 것은 또다른 하나의 세상을 여는 것과 같습니다. 하지만 언어 공부가 쉽지만은 않습니다. 영어만 공부해도 많은 시간이 들죠. 세상의 모든 이야기와 정보가 한국어로만 되어 있으면 얼마나 좋을까요. 하지만 옆 나라 일본에만 와도 말이 잘 통하지 않고 메뉴판의 문자를 읽을 수가 없습니다. 아시아, 유럽, 아프리카, 남미 등, 전세계에는 약
위클리 NLP
2022년 6월, 요즘 트위터에 들어가면 이상한 이미지들이 수십 개씩 피드에 등장하고 있습니다. 말도 안되는데 그럴 듯한 이미지들의 정체는 무엇일까요? 이들은 최근에 공개된 Text-to-Image 모델들의 결과물입니다. 작년 Week 40: 내가 말하는 걸 보여줘, DALL-E에서 텍스트가 주어졌을 때 이에 맞는 이미지를 생성하는 DALL-E를 소개했었죠. 그 때도 획기적인 결과물로 모두를 놀래켰는데 1년정도 지난
위클리 NLP
매년 열리는 구글의 기술 뽐내기 장터, Google I/O가 올해는 드디어 Shoreline Amphitheater에서 5월 10일 관중들과 함께 치루어졌습니다. 저도 입사 이후 무려 2년 반만에 처음으로 해외 출장이 풀리게 되어 5월에 마운틴 뷰 본사에 가볼 기회가 있었는데요. 아쉽게도 I/O 기간과는 겹치지 않아 라이브로 보지는 못했지만, 작년과 마찬가지로 NLP 위주의 리뷰를
위클리 NLP
GPT-3, LaMDA 등, AI 대기업의 초거대 언어 모델 스케일 경쟁은 언제까지 계속 될까요? 이번에는 구글(Google)이 얼마 전 람다에 이어 새로운 언어 모델을 가지고 왔습니다. 무려 5400억(540B) 개의 파라미터(!)를 가진 모델을 학습 시켰고, 여러 NLP 벤치마크에서 최고 기록들을 경신하였습니다. 이렇게 스케일이 커질수록 퍼포먼스가 증가한다는 명제가 아직도 깨지지
위클리 NLP
AI를 단 26개의 단어로 설명한다면 어떨까요? 구글과 옥스포드 대학이 함께 AI 핵심 개념들을 알기 쉽게 풀어 쓴 자료가 드디어 한국어로도 공식 번역 출시되었습니다! 알파벳 A-Z마다 한 단어씩 골라, Artificial Intelligence부터 시작해서 Zeros and Ones까지 설명되어 있습니다. 앞으로는 한국 중고등학생의 교육 자료로 쓰일 예정이지만*,. 누구든 무척 도움이 될 자료라 <위클리
위클리 NLP
최근 스타워즈와 마블 영화를 정주행하며 공통적으로 느끼는 점이 있습니다. * 인간이 어떤 강력한 기술 또는 무기를 가진다는 것은 많은 문제를 일으킨다. * 이 문제로부터 흥미진진한 스토리가 시작된다. * 괴물 같은 힘을 다스리기 위해 더 많은 노력을 해야 하고, 잘 안된 경우 힘에 잡아먹히면서 소유권이 바뀐다. 그리고 그렇게 그 인간은 빌런이 된다. GPT, LaMDA