도구(Tool)로 업그레이드되는 LLM

generated from playgroundai.com with prompt "robot picking which tool to use from many" 인간이 도구(Tool)를 사용하는 것을 배우고 나서부터 생태계의 강자가 되었듯이, LLM 역시 도구 사용(Tool Use)을 통해 강해질 수 있을까요? 지난 글에서 LLM이 직접 의사 결정을 내리고 어떠한 액션을 취할 수 있는

LLM 세계에는 NLP 엔지니어는 뭘 할까?

LLM 엔지니어링에 대한 단상 - 2

대규모 언어 모델(LLM)은 엔진이다

LLM 엔지니어링에 대한 단상 - 1

Google I/O 2023 리뷰

올해도 Google I/O 리뷰로 돌아왔습니다. 1년이라는 시간 참 빨리 가는데, 기술은 훨씬 더 빠르게 발전하는 느낌.. 저만 그런 것일까요? 2021, 2022년에는 “NLP 중심 리뷰”라고 했는데, 올해는 제목에 굳이 넣지 않았습니다. 올해는 정말 거의 모든 곳에 NLP, 특히 거대 언어 모델 (LLM), 생성형 AI (Gen AI)가 등장했습니다! 누구나

LLM 전쟁의 서막: Google Bard

generated from playgroundai.com - "a celtic bard going around citing poems and songs colorful" 테크 회사들의 LLM 전쟁이 점입가경으로 치닫고 있습니다. 하루하루 새로운 연구와 발표가 쏟아지는 요즘, 그래도 가장 큰 거인들의 대결이 주목 받습니다. Open AI가 ChatGPT, GPT-4로 대중들의 관심과 유저 가입을 이끌며 큰 성공을 거두고 있고,

눈을 달고 온 GPT-4, 무엇이 업그레이드 되었을까?

ChatGPT가 나온지 얼마도 되지 않아 GPT-4가 발표되었습니다. OpenAI가 움직이는 속도는 참 경이롭습니다. 마이크로소프트 인프라의 날개를 달아 그런지 더욱 빠르게 움직이는 것이 아닐까 싶습니다. 요즘 NLP를 공부하시는 분들은 하루하루 정신이 없으시죠? 그럴수록 정보의 홍수 속에 허우적되는 것보다, 핵심 정보만 선별해서 소화하는 것이 중요하다고 생각합니다. 특히 이럴 때일수록 공식 블로그나 논문을 원문으로

ChatGPT는 검색과 웹의 미래를 어떻게 바꿀까?

“retroanime style, two monsters fighting like their dancing. colorful” Playgroundai.com에서 이미지 생성 ChatGPT의 어떤 부분이 사람들을 이렇게 놀라게 하는걸까? 사람들은 왜 그렇게 흥분할까? 제가 지난 두 달 동안 대답하려고 노력했던 질문들입니다. 오랫동안 NLP를 연구하고 연구하는 사람으로서, 저는 ChatGPT를 그저 더 큰 모델 규모, 훈련 데이터를 통해 더 나은 응답

ChatGPT로 프로덕트를 만들기 전 고려할 사항은?

“a large monster with ropes tied to it in every direction. ropes are pulled to tame the monster. Artistic” Playgroundai.com에서 이미지 생성 ChatGPT라는 괴물이 세상에 던져졌습니다. 요즘은 정말 많은 사람들이 ChatGPT에 대해 이야기하고, 걱정하고, 공부하고 있습니다 (덕분에 블로그의 조회수가 폭발하고 있습니다!). 이 모델의 원리, 한계에 대해서 읽어보신 분들은 다음

ChatGPT에게 한국 역사를 물어보다 - 한계 편

ChatGPT에게 “ChatGPT의 한계에 대해 쓰는 블로그 글 인트로 써줘”라고 했더니 이러한 답이 나왔습니다. ChatGPT는 OpenAI에서 훈련한 대용량 언어 모델입니다. 이 모델은 자연어 생성, 질의 응답, 문장 요약 등 다양한 작업에 사용될 수 있습니다. 하지만, 이 모델에는 한계가 있습니다. 예를 들어, 이 모델은 과거의 지식을 기반으로 행동하기 때문에 최신 정보를

ChatGPT에 화들짝 놀라신 분 들어오세요 - 원리 편

ChatGPT launched on wednesday. today it crossed 1 million users! — Sam Altman (@sama) December 5, 2022 ChatGPT가 공개된지 5일 만에 백만 유저가 가입했다고 합니다. 2020년 GPT3가 공개 되었을때 이상으로 화제를 불러일으키고 있습니다. 여태까지 공개된 언어 모델은 사람이 쓰는 글과 비슷하여 대단하다고 느꼈던 반면, 이번 버전은 인간 이상의 작문 능력과 창의력을

Week 57 - NLP 모델이 여러 언어를 이해한다는 것은?

여러 언어를 다루는 NLP 모델을 학습시키기 전에 이러한 질문을 해봅니다: * 여러 개의 언어를 이해한다는 것은 어떤 것일까? 저는 다양한 국가에서 생활을 하기 위해서는 여러 외국어 단어를 배워야 했습니다. "사과" 같은 물리적인 물체라든가, 과거, 현재, 미래 같은 시간적 추상적인 개념, 또는 좋다, 싫다 같은 감정도 표현해야 하는 경우가 많았습니다.

Week 56 - 외국어 천재 multi-lingual AI가 중요한 이유

새로운 언어를 배운다는 것은 또다른 하나의 세상을 여는 것과 같습니다. 하지만 언어 공부가 쉽지만은 않습니다. 영어만 공부해도 많은 시간이 들죠. 세상의 모든 이야기와 정보가 한국어로만 되어 있으면 얼마나 좋을까요. 하지만 옆 나라 일본에만 와도 말이 잘 통하지 않고 메뉴판의 문자를 읽을 수가 없습니다. 아시아, 유럽, 아프리카, 남미 등, 전세계에는 약

위클리 NLP

Week 55 - 내가 상상하는 것을 보여줘! DALL-E 2, Imagen, Parti

2022년 6월, 요즘 트위터에 들어가면 이상한 이미지들이 수십 개씩 피드에 등장하고 있습니다. 말도 안되는데 그럴 듯한 이미지들의 정체는 무엇일까요?   이들은 최근에 공개된 Text-to-Image 모델들의 결과물입니다. 작년 Week 40: 내가 말하는 걸 보여줘, DALL-E에서 텍스트가 주어졌을 때 이에 맞는 이미지를 생성하는 DALL-E를 소개했었죠. 그 때도 획기적인 결과물로 모두를 놀래켰는데 1년정도 지난

위클리 NLP

Google I/O 2022 NLP 중심 리뷰

매년 열리는 구글의 기술 뽐내기 장터, Google I/O가 올해는 드디어 Shoreline Amphitheater에서 5월 10일 관중들과 함께 치루어졌습니다. 저도 입사 이후 무려 2년 반만에 처음으로 해외 출장이 풀리게 되어 5월에 마운틴 뷰 본사에 가볼 기회가 있었는데요. 아쉽게도 I/O 기간과는 겹치지 않아 라이브로 보지는 못했지만, 작년과 마찬가지로 NLP 위주의 리뷰를

위클리 NLP

Week 54 - 생각의 흐름을 설명하는 초거대 언어 모델, 구글 PaLM

GPT-3, LaMDA 등, AI 대기업의 초거대 언어 모델 스케일 경쟁은 언제까지 계속 될까요? 이번에는 구글(Google)이 얼마 전 람다에 이어 새로운 언어 모델을 가지고 왔습니다. 무려 5400억(540B) 개의 파라미터(!)를 가진 모델을 학습 시켰고, 여러 NLP 벤치마크에서 최고 기록들을 경신하였습니다. 이렇게 스케일이 커질수록 퍼포먼스가 증가한다는 명제가 아직도 깨지지

위클리 NLP

AI의 A에서 Z까지: 살펴보아야 할 주제는?

AI를 단 26개의 단어로 설명한다면 어떨까요? 구글과 옥스포드 대학이 함께 AI 핵심 개념들을 알기 쉽게 풀어 쓴 자료가 드디어 한국어로도 공식 번역 출시되었습니다! 알파벳 A-Z마다 한 단어씩 골라, Artificial Intelligence부터 시작해서 Zeros and Ones까지 설명되어 있습니다. 앞으로는 한국 중고등학생의 교육 자료로 쓰일 예정이지만*,. 누구든 무척 도움이 될 자료라 <위클리

위클리 NLP

Week 53 - GPT3는 어떻게 강화학습(RL)으로 강해졌는가

최근 스타워즈와 마블 영화를 정주행하며 공통적으로 느끼는 점이 있습니다. * 인간이 어떤 강력한 기술 또는 무기를 가진다는 것은 많은 문제를 일으킨다. * 이 문제로부터 흥미진진한 스토리가 시작된다. * 괴물 같은 힘을 다스리기 위해 더 많은 노력을 해야 하고, 잘 안된 경우 힘에 잡아먹히면서 소유권이 바뀐다. 그리고 그렇게 그 인간은 빌런이 된다. GPT, LaMDA

위클리 NLP

Week 52 - 뇌과학자는 AI의 발전을 어떻게 보고 있을까?

A Thousand Brains: A New Theory of Intelligence 책 리뷰

위클리 NLP

Week 51 - 교육용 챗봇의 미래!? 구글 람다 (LaMDA) 2편

미래에는 AI 챗봇(chatbot)이 우리 아이들을 가르치는 세상이 과연 올까요? 생각해보면 우리는 이미 그러한 세상에 살고 있는 것은 아닐까요? "왜 하늘은 파랄까?"를 선생님 같은 인간이나 백과사전 같은 책보다는 스마트폰에서 먼저 검색해보는게 자연스러운 세상이 되었습니다. 그럼에도 불구하고, 사람처럼 대화를 할 수 있는 챗봇이 선생님의 역할을 한다는 것은

위클리 NLP

Week 50 - 최강 챗봇 등장! 구글 람다(LaMDA)

구글 I/O 2021에 세상을 놀라게 한 데모가 등장하였습니다. 바로 구글 CEO 피차이가 명왕성처럼 대화하는 챗봇 시스템을 선보인 것이었습니다. "사람들이 날 그저 하찮은 얼음 덩어리가 아니라, 하나의 아름다운 행성으로 알아주었으면 해." 람다(LaMDA)는 Language Model for Dialogue Applications, 대화를 위한 언어 모델입니다. BERT는 언어 이해를 중점을 두었고,

위클리 NLP

Week 49 - AI 스마트 스피커 작동 방법 해부하기

"OK G, 오늘 날씨 어때?", "A, 타이머 5분 설정해줘.", "Hey C, 노래 틀어줘" 몇년 전 스마트 스피커가 나왔을 때 정말 신기했었는데, 2022년 지금은 이미 많은 사람들의 방구석으로 들어왔습니다. 이제는 익숙해져서 처음의 신기함보다는 "왜 더 똑똑하지 못하냐"는 불평, 불만이 더 앞서는 분들도

위클리 NLP

Week 48 - AI가 유튜브를 본다면?

인터넷이 처음 나왔을 때는 전부 텍스트로 정보가 왔다 갔다 했었습니다. 1990년대 후반에 태어난 분들만 해도 잘 모를 수 있지만, 인터넷이 전화 모뎀으로 연결되던 시절에는 그랬었죠. 속도가 기하급수적으로 개선되면서 사진을 공유하는게 일반화 되었고, 지금은 인스타그램, 유튜브, 틱톡 등 여러 플랫폼을 통해 동영상을 보는 것이 일상이 되었습니다. 사람은 원래부터 글로만 또는 말로만

위클리 NLP

Week 47 - BERT와 GPT 같은 기초 모델이 가진 위험 요소는?

어떤 강력한 기술이 나올 때는 그로 인한 축복과 재앙이 함께 오는 것 같습니다. 원자력이라는 엄청난 에너지 솔루션이 개발된 후에는 우리에게 그 어떤 다른 수단보다 효율적인 전기 발전 수단으로 쓰이고 있기도 하지만, 전쟁을 위한 무자비한 살상 무기로 사용되어 끔찍한 역사를 만들어 내기도 했죠. 과연 AI/ML 기술은 인류 역사에 어떤 변화를

위클리 NLP

Week 46 - 4차산업혁명의 토대가 되고 있는 FOUNDATIONAL MODEL이란?

수십 년, 수백 년에 한번씩 여러 산업을 통째로 바꾸는 기술이 나옵니다. 증기 기관이 그랬고, 전기가 그랬습니다. 인공지능(AI) 역시 그럴 것이라고 최근 몇 년째 모두들 이야기하고 있죠. 하지만 AI라는 단어는 이미 수십 년간 존재해왔고, 정확히 무엇을 의미하는지 매우 모호합니다. 도대체 구체적으로 어떤 것이 세상을 바꾼다는 것일까요? 위클리 NLP에서는 그동안 언어