분류 전체보기52 NLP 트랜스포머 네 번째, 멀티 헤드 어텐션 Multi-Head Attention 알아보기 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 지난 포스팅 트랜스포머 세 번째, 셀프 어텐션 알아보기에서 셀프 어텐션에 대한 기본적인 구조를 알아봤습니다. NLP 트랜스포머 세 번째, 셀프 어텐션 알아보기 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 트랜스포머 두 번째 이야기에서 포지셔널 인코딩(Positional Encoding)에 대해서 알아봤습니다. https://blazetechnote.tistory.com/entry/NLP-트랜스포머-두-번째 blazetechnote.tistory.com 이번 포스팅에서는 셀프 어텐션이 RNN에 비해서 훨씬 빠를 수 있었던 이유 중 하나인 병렬 처리를 가능하게 한 매트릭스 계산과 멀티 헤드 어텐션에 대해 알아보겠습니다. 임베딩을 벡터가 아니라 매트릭스 형태로 .. 2023. 8. 1. NLP 트랜스포머 세 번째, 셀프 어텐션 알아보기 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 트랜스포머 두 번째 이야기에서 포지셔널 인코딩(Positional Encoding)에 대해서 알아봤습니다. https://blazetechnote.tistory.com/entry/NLP-트랜스포머-두-번째-포지셔널-인코딩Positional-Encoding-알아보기 이번 포스팅에서는 포지셔널 인코딩을 거친 input이 다음으로 거치는 Self Attention Layer에 대해서 알아보도록 하겠습니다. 이 셀프 어텐션은 트랜스포머 아키텍쳐 중 핵심이라고 할 수 있습니다. 셀프 어텐션을 설명하기에 앞서 어텐션 메커니즘을 조금 일반화 해보겠습니다. 어텐션 메커니즘에 대한 자세한 설명을 아래의 포스트를 참고해주세요. https://blazetechnote.tisto.. 2023. 7. 30. NLP 트랜스포머 두 번째, 포지셔널 인코딩(Positional Encoding) 알아보기 안녕하세요 블레이즈 테크노트 블레이즈입니다. 지난 포스팅에서 트랜스포머에 대한 간단한 소개를 했습니다. 혹시 인트로가 궁금하시다면 아래의 포스팅을 참고해 주세요. https://blazetechnote.tistory.com/entry/NLP-트랜스포머-첫-번째-RNN에서-트랜스포머로 앞으로 트랜스포머에 대해 조금씩 알아가 보도록 할 건데요 오늘은 트랜스포머의 특징 중 하나인 Positional Encoding부터 알아보려고 합니다. 아래의 그림이 트랜스포머 구조입니다. 그리고 제가 이 부분이라고 표시해놓은 부분이 Positional Encoding이 되는 부분입니다. 아래의 그림은 위 구조를 조금 더 단순하게 표현한 그림입니다. 이를 보시면 모든 단어가 Embedding Vector로 변환이 되고 나서 .. 2023. 7. 25. NLP 트랜스포머 첫 번째, RNN에서 트랜스포머로 안녕하세요 블레이즈 테크 노트의 블레이즈 입니다. 지난 포스팅에서 인공신경망 기계 번역(NMT)에 대해서 공부했습니다. RNN을 활용한 Seq2Seq 모델을 기초로 했었죠. https://blazetechnote.tistory.com/entry/NLP-시퀀스-투-시퀀스-신경망-기계-번역-모델Seq2Seq-Neural-Machine-Translation-기초 그러다가 이 RNN 모델의 한계를 뛰어넘은 어텐션 개념이 등장했습니다. 아래의 포스팅에서 Seq2Seq부터 어텐션 메커니즘을 정리해봤으니 궁금하시면 들러주세요:) https://blazetechnote.tistory.com/entry/NMT인공-신경망-기계-번역-Seq2Seq-에서-어텐션-메커니즘까지-정리 NMT(인공 신경망 기계 번역) Seq2Seq.. 2023. 7. 24. 이산수학 14. 평균과 분산 공식 증명과 점화식 안녕하세요 블레이즈 테크노트 블레이즈입니다. 첫 번째 문제는 평균과 분산에서 쓰이는 공식의 증명이네요. 독립인 확률 변수에 대해서 다음의 평균과 분산의 관계가 성립하는지 확인해보겠습니다. 두 번째 문제는 점화식 관계에 있는 수열에 대한 일반항을 구하는 문제입니다. 이 문제는 피보나치 수열을 만족하는 수에 대한 문제네요. 초기 조건이 다음과 같을 때 n= 5 이상일 때 피보나치 수열에 대하여 위의 점화식이 성립하는지 증명하시오. 그리고 이 점화식을 이용해 이 5로 나누어짐을 보이시오. n은 모든 양의 정수 세 번째 문제입니다. 이 문제 역시 점화식 관계에 있는 수열의 일반항을 구하는 문제입니다. 영어로 적혀 있어서 조금 헷갈릴 수도 있을 것 같습니다. 해석을 해서 문제를 올려볼게요. 5만달러의 초봉으로 신.. 2023. 7. 23. 이산수학 13. 확률계산을 위한 기초, 조건부 확률 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 첫 번째 문제는 간단한 조합 활용 문제입니다. 로또에서 6개의 정수 중 하나도 맞지 않을 때의 확률을 구하시오. 단 순서는 중요하지 않다. 다음의 주어지는 숫자는 각 로또에서 뽑을 수 있는 숫자의 최댓값이다. a) 40 b) 48 c) 56 d) 64 두 번째 문제는 수학적 귀납법을 이용한 증명 문제입니다. 만약 E1, E2, . . . , En 이 샘플 스페이스 S에서 동시에 일어날 수 없는 n pairwise disjoint events 의 순서라고 하자. (n은 양의 정수) 다음이 성립함을 증명하시오. 세 번째 문제는 조건부확률 문제입니다. E1 과 E2 은 각각 w1 와 w2라는 단어를 포함하고 있는 받은 메일이다. E1 과 E2 이 독립이고 E1 |.. 2023. 7. 22. NMT(인공 신경망 기계 번역) Seq2Seq 에서 어텐션 메커니즘까지 정리 안녕하세요 블레이즈입니다. 지난 두 포스팅에서 인공신경망 기계 번역 Neural Network Machine Translation을 다뤄봤습니다. 먼저 순환신경망인 Recurrent Neural Network에 대해 공부했었죠. https://blazetechnote.tistory.com/entry/머신러닝ML-Recurrent-Neural-Network-기초 머신러닝(ML) 순환신경망(Recurrent Neural Network) 기초 안녕하세요 블레이즈 테크노트의 블레이즈입니다. 오늘은 순환신경망(Recurrent Neural Network)에 대해 간단히 알아보도록 하겠습니다. 앞으로는 순환신경망이라는 단어와 RNN을 혼용할 예정이니 참 blazetechnote.tistory.com 순환신경망의 기.. 2023. 7. 14. NMT(인공신경망 기계 번역) 어텐션(Attention)이란? 기초 설명 안녕하세요 블레이즈 테크노트의 블레이즈입니다. 지난 포스트에서 Seq2Seq 모델을 살펴봤습니다. https://blazetechnote.tistory.com/entry/NLP-시퀀스-투-시퀀스-신경망-기계-번역-모델Seq2Seq-Neural-Machine-Translation-기초 NLP 시퀀스 투 시퀀스 신경망 기계 번역 모델(Seq2Seq Neural Machine Translation) 기초 안녕하세요 블레이즈 테크 노트의 블레이즈 입니다. 지난 포스트에서 RNN 순환 신경망을 공부했습니다. 이번에는 RNN을 활용한 시퀀스 투 시퀀스 신경망 기계 번역 모델에 대해서 알아보고자 합 blazetechnote.tistory.com 이 시퀀스 투 시퀀스 모델은 단점이 있었습니다. 바로 인코더에서 디코더로.. 2023. 7. 13. 이산수학 12. 이항정리 증명과 중복이 있는 조합 안녕하세요 블레이즈 테크노트의 블레이즈입니다. 오늘은 이항정리에 대해서 공부해보려고 합니다. 이항정리는 어떻게 보면 제곱식의 전개를 예측할 수 있는 정리입니다. 이 이항정리를 증명해보는 것이 오늘의 문제입니다. 저는 수학적 귀납법을 이용해 증명했습니다. 다음은 조합에 대한 다양한 문제 상황에 대한 문제입니다. 5개의 공을 3개의 박스에 나누는 방법이 몇가지인지 구하시오. 단, 모든 박스는 최소 1개의 공을 담고 있어야 한다. a) 공과 상자에 모두 이름표가 있을 때 b) 공은 이름표가 있지만 상자는 구분할 수 없을 때 c) 공은 구분할 수 없고 상자는 이름표가 있을 때 d) 공과 상자 모두 구분할 수 없을 때 감사합니다. 블레이즈 테크노트 2023. 7. 12. 이산수학 11. 조합적 증명과 개수 세기(Counting) 안녕하세요 블레이즈입니다. 조합적 증명은 조합적 논증이라고도 합니다. 하나의 문제 상황을 두 개의 스토리 라인으로 푸는 방식이라고 보면 되는데요, 아래의 1번 문제를 보시면 이해가 편할 것 같습니다. 첫 번째 문제입니다. 조합적 증명으로 풀이하라고 해서 그 방식으로 풀어봤습니다. 저는 이렇게 목표를 먼저 쓰고 풀이하는 걸 선호합니다. n명으로 구성된 위원회를 만들어야 하는데 위원회장은 반드시 수학교수이가 되려면 그 경우의 수는 총 몇가지일까요? 이를 두 개의 방법으로 풀어보겠습니다. 첫 번째 방법은 위원회에 포함될 수학 교수의 인원수 먼저 정하고 나머지 인원을 컴퓨터공학과 교수 중 뽑는 방법입니다. 이 때, 수학 교수가 k 명이라면 위원회장을 뽑을 경우의 수는 k가 되겠죠. 두 번째 방법은 위원회장이 될.. 2023. 7. 11. 이전 1 2 3 4 5 6 다음
