서론: 강화 학습으로 루빅스 큐브를 풀 수 있을까?이번 세미나에서 저는 강화 학습(Reinforcement Learning)을 주제로 첫 번째 스터디 발표를 진행했습니다. 단순히 이론만 다루기보다는 흥미로운 응용 사례를 함께 살펴보고 싶었고, 그래서 선택한 논문이 바로 "Solving the Rubik's Cube with Deep Reinforcement Learning and Search" (Nature Machine Intelligence)입니다.이 논문은 강화 학습(Value Iteration), 딥 뉴럴 네트워크(DNN), 그리고 A* 탐색 알고리즘을 결합하여 루빅스 큐브를 풀어내는 방법을 제안합니다. 이번 글에서는 발표 자료를 바탕으로 논문의 핵심 아이디어와 그 배경이 되는 강화 학습 이론을 ..

LLM 시리즈 (6) — 벡터 데이터베이스로 확장하기: RAG 구현하기이번 세미나에서는 LLM 시리즈의 여섯 번째 주제로 벡터 데이터베이스(Vector Database)와 이를 활용한 RAG(Retrieval-Augmented Generation) 구현에 대해 다뤘습니다. LLM의 환각(Hallucination) 현상을 줄이고 최신 정보를 학습 없이 반영하기 위해 벡터 데이터베이스가 왜 필요한지, 그리고 그 핵심인 벡터 검색 알고리즘들이 어떻게 동작하는지를 정리해보겠습니다.이 글에서 다루는 내용은 다음과 같습니다.벡터 데이터베이스의 개념과 활용벡터 데이터베이스 검색 — KNN벡터 데이터베이스 검색 — ANN (IVF)벡터 데이터베이스 검색 — ANN (HNSW)HNSW 파라미터별 실습 결과1. 벡터 데이..

LLM (4) — 말 잘 듣는 모델 만들기이번 세미나에서는 GPT-3 같은 사전 학습된 대규모 언어 모델(LLM)을 ChatGPT처럼 사용자의 요청에 잘 응답하는 모델로 만드는 과정을 다뤘습니다. 단순히 다음 단어를 예측하는 모델에서, 사용자의 지시를 이해하고 선호에 맞는 답변을 생성하는 모델로 변환하는 전체 파이프라인을 정리해보겠습니다.LLM 시리즈 네 번째 세미나 — 말 잘 듣는 모델 만들기GPT-3에서 ChatGPT로: 무엇이 달라져야 하는가GPT-3는 다음에 나올 단어를 예측하는 방식으로 학습된 모델입니다. 사용자의 말에 이어질 법한 텍스트를 생성하는 데는 뛰어나지만, 사용자의 요청을 파악하고 그에 맞는 대답을 해주는 개념은 아닙니다. 즉, "이 코드를 설명해줘"라고 입력하면 그에 대한 답변을 하..

NLP 개론 — 어텐션(Attention) 메커니즘 정리이번 세미나에서는 NLP 개론 교재의 8장, 어텐션(Attention)을 주제로 발표를 진행했습니다. 기존 Seq2seq 모델의 근본적인 한계를 짚어보고, 이를 해결하기 위해 인코더와 디코더를 각각 어떻게 개선하는지, 그리고 최종적으로 어텐션 메커니즘이 어떻게 동작하는지를 단계별로 정리해보겠습니다.1. 기존 Seq2seq의 개선안 복습어텐션을 본격적으로 다루기 전에, 이전 장에서 소개했던 Seq2seq의 간단한 개선안 두 가지를 먼저 복습했습니다.Reverse입력 데이터의 순서를 반전시키는 기법입니다. 예를 들어 "57+5"라는 입력을 "5+75"로 뒤집어서 모델에 넣습니다. 이렇게 하면 입력의 앞부분과 출력의 앞부분 사이의 거리가 가까워져서 가중치..

NLP 개론 (4) — 게이트가 추가된 RNN: LSTM의 구조와 기울기 소실 해결이번 세미나에서는 기본 RNN이 가진 기울기 소실(Vanishing Gradient) 및 기울기 폭발(Exploding Gradient) 문제를 살펴보고, 이를 해결하기 위해 등장한 게이트가 추가된 RNN, 특히 LSTM(Long Short-Term Memory)의 구조와 원리를 정리해보겠습니다. NLP 개론 시리즈의 네 번째 글입니다.1. RNN 복습먼저 기본적인 RNN 구조를 간단히 복습하겠습니다. RNN은 시계열 데이터 $x_t$를 입력으로 받아 은닉 상태(hidden state) $h_t$를 출력하는 구조입니다. 핵심은 순환 경로를 통해 이전 시점의 정보가 현재 시점의 계산에 영향을 준다는 점입니다.RNN 계층의 순..

NLP 개론 (2) — Word2vec 속도 개선이번 글은 제가 서강대학교 수학과 세미나에서 발표한 Word2vec 속도 개선 내용을 정리한 것입니다. 지난 세미나에서 Word2vec의 기본 구조(CBOW, Skip-gram)를 다뤘다면, 이번에는 실제 대규모 어휘에 적용할 때 발생하는 계산 병목 문제를 어떻게 해결하는지에 초점을 맞췄습니다. 참고 자료는 밑바닥부터 시작하는 딥러닝 2이며, 관련 코드는 GitHub 저장소에서 확인할 수 있습니다.세미나 발표 표지 — NLP 개론 (2): Word2vec 속도 개선1. 지난 세미나 복습: 단어의 분산 표현과 Word2vec본격적인 속도 개선 이야기에 앞서, 지난 시간에 다뤘던 핵심 내용을 간단히 복습하겠습니다.1.1 단어의 의미를 파악하는 세 가지 기법자연..