연구실의 석사분이 Constrained Decoding에 대하여 발표를 진행하셨다.내용을 기억하기 위해 본 포스팅으로 정리하고자 한다.  Constrained Decoding: 자연엉 생성 작업에서 생성된 텍스트가 제약 조건을 만족하도록 보장하는 디코딩 방법  적용 사례- 포맷 강제 (예, 날짜 형식)- 단어 선택 제한- 구조적 제약- 논리적 제약  Constrained Decoding FlowStep 1. 입력 처리: 입력 문장과 조건을 논리적으로 표현Step 2. Decoder Initialization: 디코더 초기화Step 3. Constraint Tracker 생성(조건 추적하는 Tracker 설정)Step 4. 토큰 생성 반복(후보 토큰 정하고 Constraint Filtering > 스코어 ..

심층 강화학습의 주요 포인트를 확실하게 파악하고 넘어간다.그 후, SARSA와 DQN의 개념을 정리하고 둘의 차이점을 비교한다.  * 본 포스팅은 책 'Foundations of Deep Reinforcement Learning: Theory and Practice in Python'을 참고하고 정리한 것임을 밝힙니다. 포스팅 내에 쓰인 수식과 알고리즘 그림은 책에서 가져온 것입니다.  1. Value-based Algorithm $V^{\pi}(s)$ or $Q^{\pi}(s, a)$ 이전 포스팅에서 다룬 Model-based 기반 REINFORCE 알고리즘은 agent가 직접 policy를 학습해 가는 방식이었다. 하지만 이번 Value-based 알고리즘은 state-action 쌍을 직접 평가하면..

이번 포스팅에선 REINFORCE 알고리즘을 Pytorch로 간단하게 구현을 해보고자 한다. 다른 RL Algorithms과는 달리 아주 간단하게 예제 표현이 가능하여 어렵지 않다.본 포스팅을 보기 전, REINFORCE 개념은 확실하게 인지하고 있어야 함을 알린다.  Last posting내용: 강화학습 알고리즘인 REINFORCE의 개념과 수식에 대해 살펴보았다.요약: reward의 합인 목적함수를 최대화하는 최적의 policy 찾는 것이 목표인 알고리즘  https://mengu.tistory.com/136 [강화학습] REINFORCE 알고리즘 : 개념 및 수식강화학습에 대해 공부하고 있어, 여러 알고리즘의 수식과 코드를 정리하고자 한다.이 포스팅은 첫 발걸음이며, REINFORCE 알고리즘에 대..

강화학습에 대해 공부하고 있어, 여러 알고리즘의 수식과 코드를 정리하고자 한다.이 포스팅은 첫 발걸음이며, REINFORCE 알고리즘에 대해 다루겠다.파이팅!  본 포스팅은 책 Foundation of Deep Reinforcement Learning / laura.G에서 수식 및 내용을 참고하여 쓰인 글입니다.      1. REINFORCE 개념 1.1. Model-free vs Model-Based 강화학습은 크게 Model-free, Model-Based로 나뉜다. Model-Based 강화학습은 trajectory를 예측하는 모델을 기반으로 학습한다. 다양한 가짓수의 action에 대한 확률 높은 trajectory를 예측할 수 있는데, 이 경우 무작위로 sampling 된 trajectory를..

크게 유의미하지 않은 정보는 버리거나 뭉쳐라. 이번 블로그에선 차원 축소에 대해 다루고자 한다. 왜 차원을 축소해야 하고, 구체적으론 어떤 방법과 수학적 원리가 존재하는지 살펴보자. 1) 차원의 저주 여기 동물을 분류해야 하는 문제가 있다. 동물을 훈련 샘플이라 지칭하고, 동물들의 특성 500개가 주어졌다고 하겠다. 특성들을 바탕으로 토끼, 고양이, 거북이를 분류해야 한다. 특성이 많을수록 정확한 분류를 할 수 있을 것 같지만, 실상은 그렇지 않다. 기하급수적으로 늘어난 계산량으로 인해 모델 훈련이 느려지고, 좋은 솔루션을 찾기 힘들어진다. 또한 과대적합 문제가 발생할 수 있다. A, B 개체가 2개의 특성을 가졌을 때, 아래와 같이 그래프로 나타낼 수 있다. A와 B의 거리는 \[\sqrt{(5-2)^..

Alternating Least Squares 추천 알고리즘 중 하나로, 교대 최소 제곱법이라고도 불린다. 이번 포스팅에선 간단한 추천 알고리즘 개념들을 살펴보고, ALS의 장점을 알아보자. 추천 알고리즘 : 사용자가 선호할만한 아이템을 추측함으로써 사용자에게 적합한 특정 항목을 추천한다. 추천 알고리즘에는 두개의 기본 축이 존재한다. 협업 필터링과 콘텐츠 필터링이다. (1) 협업 필터링(CF, Collaborative Filtering) 유저-아이템 상호작용 데이터를 활용한다. "이 음식을 좋게 평가한 사람들은 또 어떤 음식을 좋아할까?" 즉, 특정 유저와 성향이 비슷한 사람들이 좋게 평가한 것을 추천하는 알고리즘이라고 보면 된다. (2) 콘텐츠 필터링(CB, Contents-Based-Filterin..