[DL] Constrained Decoding

 

연구실의 석사분이 Constrained Decoding에 대하여 발표를 진행하셨다.
내용을 기억하기 위해 본 포스팅으로 정리하고자 한다.

 

 

Constrained Decoding

: 자연엉 생성 작업에서 생성된 텍스트가 제약 조건을 만족하도록 보장하는 디코딩 방법

 

 

적용 사례
- 포맷 강제 (예, 날짜 형식)
- 단어 선택 제한
- 구조적 제약
- 논리적 제약

 

 

Constrained Decoding Flow
Step 1. 입력 처리: 입력 문장과 조건을 논리적으로 표현

Step 2. Decoder Initialization: 디코더 초기화

Step 3. Constraint Tracker 생성(조건 추적하는 Tracker 설정)

Step 4. 토큰 생성 반복(후보 토큰 정하고 Constraint Filtering > 스코어 재조정 > 토큰 생성)

** 논문 ' Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation' 에선 조건이 만족하지 않아도 특정 점수(논문에서 정의됨)가 높으면 후보군에 저장해둔다.

t에서 도형의 반만 색칠되어 있는 경우, 

Step 5. Constraint Validation: 여전히 조건 만족하는지 확인

 

Constrained Decoding 토큰 from GPT

Constrained Decoding과 토큰
디코딩 과정에서는 모델이 텍스트를 하나의 토큰씩 생성합니다. 예를 들어, "2024년 12월"이라는 텍스트를 생성한다고 할 때:
첫 번째 토큰: 2024두 번째 토큰: 년세 번째 토큰: 12네 번째 토큰: 월
이렇게 순차적으로 생성합니다. Constrained Decoding에서는 각 단계에서 생성된 토큰이 조건에 맞는지 검증하고, 조건에 부합하지 않으면 해당 토큰을 제거하거나 다른 후보를 선택합니다.
특히 너가 연구하고 있는 강화학습처럼 구조적 텍스트가 필요한 작업에서 토큰 제약이 중요할 수 있어. 예를 들어, 수식이나 코드를 생성할 때 적절한 토큰만 선택되도록 보장하는 방식이죠.

 

 

 

관련 논문

 

- A General-Purpose Algorithm for Constrained Sequential InferenceLexically Constrained Decoding for Sequence Generation Using Grid Beam Search
- Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation
- Improved Lexically Constrained Decoding for Translation and Monolingual RewritingGuided Open Vocabulary Image - Captioning with Constrained Beam Search

- Incorporating Discriminator in Sentence Generation: a Gibbs Sampling Method
- CGMH: Constrained Sentence Generation by Metropolis-Hastings Sampling