연구실의 석사분이 Constrained Decoding에 대하여 발표를 진행하셨다.내용을 기억하기 위해 본 포스팅으로 정리하고자 한다.  Constrained Decoding: 자연엉 생성 작업에서 생성된 텍스트가 제약 조건을 만족하도록 보장하는 디코딩 방법  적용 사례- 포맷 강제 (예, 날짜 형식)- 단어 선택 제한- 구조적 제약- 논리적 제약  Constrained Decoding FlowStep 1. 입력 처리: 입력 문장과 조건을 논리적으로 표현Step 2. Decoder Initialization: 디코더 초기화Step 3. Constraint Tracker 생성(조건 추적하는 Tracker 설정)Step 4. 토큰 생성 반복(후보 토큰 정하고 Constraint Filtering > 스코어 ..

인공지능을 위해 확률을 공부 중이다.오늘 포스팅은 확률 변수와 누적 확률 분포 함수이다.  [목차]1. Random variable2. Binomial Distribution3. Gaussian Distribution4. CDF   1. Random variable확률변수는 확률공간의 결과를 숫자로 표현한 것이다.예를 들어, 동전 던지기에서 확률변수 X에는 0(위), 1(아래)가 있다.fX(x)는 x가 걸릴 확률을 의미한다. f 함수가 Proper하기 위해선,[1] 확률이 0보다 클 것[2] Discret, Continuos 공간에서 전체 합이 1이 될 것    2. Binomial Distribution이항분포는 n번 시행하고 성공한 횟수를 나타낸 확률분포이다.   예를 들어, 동전 던지기를 5번 수행..

인공지능 공부를 위해 확률을 공부하는 중이다.이번 포스팅은 Gamma Function과 조합을 알아보겠다.  [목차]1. Gamma Function 개념2. Gamma Function 성질3. 조합과 이항정리/ 반데르몽 항등식(Vandermonde Identity)   1. Gamma Function팩토리얼! 기억나는가? N! = N(N-1)(N-2)... 를 말한다.이 팩토리얼은 본래 정수에서만 정의되지만, 실수 및 복소수에서도 표현하고 계산할 수 있길 바랐다.복소수 범위에서도 팩토리얼을 나타낼 수 있게 일반화한 것이 Gamma Function이다.     2. Gamma Function 성질Gamma Function은 크게 3가지 성질을 기억하면 된다.  첫 번째, GF(a+1) = a*GF(a)  ..

인공지능 공부를 위해 확률을 공부하는 중이다.이번 포스팅은 확률의 기초 개념과 그 성질을 알아보겠다.  [목차]1. 기본 적분2. 확률 기본 개념3. 확률 기본 성질 및 증명   1. 기본 적분  앞으로 확률을 다룰 때, 적분을 해야 하는 상황이 많이 발생한다.그때를 위해, 위의 기본 적분들은 알아둬야 한다.   2. 확률 기본 개념 P라는 function에 event를 넣으면 [0, 1] 안에 속하는 수가 나온다. 그것이 바로 확률이다.확률은 Kolmogorov axioms 조건(3가지)을 따른다. [1] 확률은 0보다 크거나 같다.[2] 전체 outcome 집합인 subspace에 대한 확률은 1이다.[3] A와 B의 교집합이 공집합이라면, 가법성이 성립한다.    3. 확률 기본 성질 및 증명본래 ..

다음 주, 연구실 논문 세미나에서 논문 리뷰 발표를 한다.논문 제목은 "Sample-Efficient Multi-agent Reinforcement learning with Reset Replay (Yaodong Yang, 2024, ICML)" 논문 키워드의 기본 개념들을 훑고, 세부적인 내용을 이해하는 방식으로 진행하고자 한다.  Keyword: Multi-agent Reinforcement learning, Sample Efficient, Reset Replay, Buffer  https://openreview.net/forum?id=w8ei1o9U5y&referrer=%5Bthe%20profile%20of%20Pheng-Ann%20Heng%5D(%2Fprofile%3Fid%3D~Pheng-Ann_..

연구실 논문 세미나에서 들은 내용을 정리하고자 한다.논문 제목은 ' TabNet: Attentive Interpretable Tabular Learning'이다.  Paper link:https://ojs.aaai.org/index.php/AAAI/article/view/16826 TabNet: Attentive Interpretable Tabular Learning | Proceedings of the AAAI Conference on Artificial Intelligence ojs.aaai.org  논문 간단 설명Tabular 데이터에서 주로 결정 트리(Decision Tree) 기반 모델들이 많이 사용된다. 하지만 트리 기반 모델은 표현력의 한계가 있으며, 딥러닝이 다양한 데이터 유형을 처리하는 ..