2022.12.14 = 전역 복학 전에 의미 있는 활동을 하고 싶었다. '인턴을 해보자!'라는 생각에 지원해 버렸다. 지원 기간 2022.10.27(목) ~ 2022.11.14(월) 준비 기간 약 2일 (군대 때문에 시간이 없었다) 자기소개서 뚱땅뚱땅쓰고, AI역량검사는 2시간 전에 후다닥 실기시험은 '아~ 발표는 내가 좀 하지' 하면서 그냥 갔다. 인턴 채용 절차는 다음과 같았다. 서류심사를 통해 약 2.5 배수를 뽑았고, 실기시험(PT발표, 토론, 인적성 면접)에서 최종 합격자를 가렸다. 서류를 접수한 사람은 AI역량검사를 봐야 한다. AI역량검사는 어플을 깐 후, 정해진 시간에 들어와 대답하는 방식이다. 배치된 부서의 직원분이 알고 보니 면접관이셨는데, 비대면 면접은 무조건! 조용하고, 편안한 장소..

행렬과 벡터를 곱하면 어떻게 될까요? 오늘은 행렬 벡터의 곱에 대해 다뤄보도록 하겠습니다. 📌 행렬 A와 벡터 x의 곱셈 행렬과 벡터는 서로 곱할 수 있습니다. 하지만 어떻게 곱해지는지 잘 살펴야 제대로 활용할 수 있습니다. 결론부터 말하자면, 행렬 A(m*n)와 벡터 x(n*1)을 곱하면 벡터 b(m*1)이 나옵니다. 벡터 b의 첫 번째 열인 b1은 (a11*x1 + a12*x2 +.... + a1m*xn)과 같습니다. 밑의 예시를 보면 더 확실하게 이해할 수 있습니다. 즉, 행렬과 벡터의 곱은 행렬의 각 열과 벡터 내적의 집합니다. 이해가 안 갈 것을 예상했으므로, 좀 더 쉬운 관점을 보여주겠습니다. 📌 첫 번째 관점 : 행 벡터와 벡터 x의 내적 행렬 A를 두 개의 행벡터 a1과 a2가 있는 행렬이..

이번 포스팅에선 큐의 변형인 원형 큐(Circular Queue)에 대해 알아보겠습니다. 큐에 대한 사전 지식이 없다면 이해가 어려울 수 있으니, 미리 개념을 습득하고 오시길 바랍니다. [큐(Queue) 개념 이해하기] https://mengu.tistory.com/30?category=931463 [자료구조] 큐(Queue) 개념 및 코드 구현 이번 포스팅에선 큐(Queue)의 개념과 코드 구현을 할 것이다. 만약 스택(Stack) 개념을 알지 못한다면 이전 포스팅을 보고 오자. [이전 포스팅 URL: https://mengu.tistory.com/29] [자료구조] 스택(Stack) 개념.. mengu.tistory.com 목차 📃 원형 큐(Circular Queue) 정의 및 원리 📃 원형 큐 구현..

행렬의 영공간이란? 행렬 A와 곱하여 영벡터를 만드는 모든 벡터 x의 집합입니다. 자세한 개념이 생각 안 나신다면 저번 포스팅을 보며 복습해주세요. https://mengu.tistory.com/82?category=937657 [선형대수학] 행렬의 영공간 (Null space of a matrix) 행렬의 영공간에 대해 알아보는 포스팅입니다. 행렬은 어느정도 이해가지만, 영공간은 대체 무슨 말인지 모르겠습니다. 영공간을 이해하기 위해선 먼저 부분 공간에 대한 복습이 이뤄져야 합니 mengu.tistory.com 이번 포스팅에선 행렬의 영공간을 직접 구해보겠습니다. 📌 영공간 정의 복습 행렬 A가 있습니다. 3행 4 열이며, 벡터 x와 곱해지면 0 벡터가 된다는 것이 밑의 그림입니다. 위의 그림을 하나의..

오늘은 평면 방정식의 법선벡터를 손쉽게 가져오는 방법이다. 공식을 먼저 유도해보자. 1. 그림 그리기 전체적인 상황은 다음과 같다. 벡터를 조금 공부했다면 충분히 그림을 이해할 수 있을 것이다. 2. 공식 유도 서로 직각인 벡터를 내적 하면 결과는 0이다. 법선벡터와 평면 위의 벡터를 곱한다면 그 결과도 0일 것이다. 3. 평면 방정식과 대조 아니..! 이럴 수가. 공교롭게도 두 식이 알맞게 맞춰진다. 그렇다. 그렇게 된 것이다. 4. 법선벡터 공식 유도 평면 방정식만 안다면 법선벡터 구하는 것은 일도 아님을, 깨달았길 바란다. 5. 연습문제 잠시 기다려라. 공부했다면 문제 정돈 풀고 복습하여라.

다음 주, 연구실 논문 세미나에서 논문 리뷰 발표를 한다.논문 제목은 "Sample-Efficient Multi-agent Reinforcement learning with Reset Replay (Yaodong Yang, 2024, ICML)" 논문 키워드의 기본 개념들을 훑고, 세부적인 내용을 이해하는 방식으로 진행하고자 한다.  Keyword: Multi-agent Reinforcement learning, Sample Efficient, Reset Replay, Buffer  https://openreview.net/forum?id=w8ei1o9U5y&referrer=%5Bthe%20profile%20of%20Pheng-Ann%20Heng%5D(%2Fprofile%3Fid%3D~Pheng-Ann_..

연구실 논문 세미나에서 들은 내용을 정리하고자 한다.논문 제목은 ' TabNet: Attentive Interpretable Tabular Learning'이다.  Paper link:https://ojs.aaai.org/index.php/AAAI/article/view/16826 TabNet: Attentive Interpretable Tabular Learning | Proceedings of the AAAI Conference on Artificial Intelligence ojs.aaai.org  논문 간단 설명Tabular 데이터에서 주로 결정 트리(Decision Tree) 기반 모델들이 많이 사용된다. 하지만 트리 기반 모델은 표현력의 한계가 있으며, 딥러닝이 다양한 데이터 유형을 처리하는 ..

심층 강화학습의 주요 포인트를 확실하게 파악하고 넘어간다.그 후, SARSA와 DQN의 개념을 정리하고 둘의 차이점을 비교한다.  * 본 포스팅은 책 'Foundations of Deep Reinforcement Learning: Theory and Practice in Python'을 참고하고 정리한 것임을 밝힙니다. 포스팅 내에 쓰인 수식과 알고리즘 그림은 책에서 가져온 것입니다.  1. Value-based Algorithm $V^{\pi}(s)$ or $Q^{\pi}(s, a)$ 이전 포스팅에서 다룬 Model-based 기반 REINFORCE 알고리즘은 agent가 직접 policy를 학습해 가는 방식이었다. 하지만 이번 Value-based 알고리즘은 state-action 쌍을 직접 평가하면..

이번 포스팅에서 리뷰할 논문은'Towards maximizing expected possession outcome in soccer(2023)' by Pegah Rahimian https://journals.sagepub.com/doi/10.1177/17479541231154494?icid=int.sj-full-text.similar-articles.4  딥러닝 신경망을 이용하여 팀의 대략적인 strategy를 파악하고, 거기 위에 강화학습을 하여 Optimal policy를 찾아내는 논문이다. 키워드는 RL과 축구가 되겠다.** 이 포스팅의 모든 figure과 표는 리뷰 논문에서 가져온 것임을 밝힌다.  1. Important QuestionHow to split the whole game into d..

이번 포스팅에선 REINFORCE 알고리즘을 Pytorch로 간단하게 구현을 해보고자 한다. 다른 RL Algorithms과는 달리 아주 간단하게 예제 표현이 가능하여 어렵지 않다.본 포스팅을 보기 전, REINFORCE 개념은 확실하게 인지하고 있어야 함을 알린다.  Last posting내용: 강화학습 알고리즘인 REINFORCE의 개념과 수식에 대해 살펴보았다.요약: reward의 합인 목적함수를 최대화하는 최적의 policy 찾는 것이 목표인 알고리즘  https://mengu.tistory.com/136 [강화학습] REINFORCE 알고리즘 : 개념 및 수식강화학습에 대해 공부하고 있어, 여러 알고리즘의 수식과 코드를 정리하고자 한다.이 포스팅은 첫 발걸음이며, REINFORCE 알고리즘에 대..

강화학습에 대해 공부하고 있어, 여러 알고리즘의 수식과 코드를 정리하고자 한다.이 포스팅은 첫 발걸음이며, REINFORCE 알고리즘에 대해 다루겠다.파이팅!  본 포스팅은 책 Foundation of Deep Reinforcement Learning / laura.G에서 수식 및 내용을 참고하여 쓰인 글입니다.      1. REINFORCE 개념 1.1. Model-free vs Model-Based 강화학습은 크게 Model-free, Model-Based로 나뉜다. Model-Based 강화학습은 trajectory를 예측하는 모델을 기반으로 학습한다. 다양한 가짓수의 action에 대한 확률 높은 trajectory를 예측할 수 있는데, 이 경우 무작위로 sampling 된 trajectory를..

크게 유의미하지 않은 정보는 버리거나 뭉쳐라. 이번 블로그에선 차원 축소에 대해 다루고자 한다. 왜 차원을 축소해야 하고, 구체적으론 어떤 방법과 수학적 원리가 존재하는지 살펴보자. 1) 차원의 저주 여기 동물을 분류해야 하는 문제가 있다. 동물을 훈련 샘플이라 지칭하고, 동물들의 특성 500개가 주어졌다고 하겠다. 특성들을 바탕으로 토끼, 고양이, 거북이를 분류해야 한다. 특성이 많을수록 정확한 분류를 할 수 있을 것 같지만, 실상은 그렇지 않다. 기하급수적으로 늘어난 계산량으로 인해 모델 훈련이 느려지고, 좋은 솔루션을 찾기 힘들어진다. 또한 과대적합 문제가 발생할 수 있다. A, B 개체가 2개의 특성을 가졌을 때, 아래와 같이 그래프로 나타낼 수 있다. A와 B의 거리는 \[\sqrt{(5-2)^..

1. 문제 설명 2. 제한 조건 & 입출력 예 3. 시행착오 뭔가 정렬을 하면 안 될 것 같았다. 살짝 뻔하다고 생각해서. 3.1. 첫 번째 접근. Stack에 Limits 뺀 값을 저장하고 대조 for 문을 돌려서 Stack의 수보다 작으면 빼는 식으로 Stack의 요소 수를 늘렸다. 하지만 이 방법은 보트에 2명을 태운다는 조건을 지키지 못했으므로 정답이 아니었다. # Method 1. def solution(people, limit): stack = [100] for one in people: n = 0 for i in range(0, len(stack)): if one 0: if n_list[subs - i] > 0: n_list[subs - i] -= 1 n_list[n] -= 1 count +..