코드스터디2 NLP 트랜스포머 코드 스터디 리뷰 common_attention.py 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 이번 포스트가 아마도 Attention is all you need 의 코드 리뷰 마지막이 될 것 같습니다. 그동안 트랜스포머 코드 스터디 리뷰 시리즈로 몇 백줄의 코드 리뷰를 해왔습니다. 모델의 아키텍쳐를 구현한 transformer.py는 1편, 2편, 3편 총 세 개의 포스트로 구성했습니다. 다음으로 transformer_layers.py 에 대해 리뷰를 했고요. 그 다음으로 common_layers.py에 대해 다루었습니다. 오늘 보실 common_attention.py는 트랜스포머의 햑심이 되는 multihead_attention에 대해서 다루는 모듈입니다. https://github.com/tensorflow/tensor2tensor/blob/ma.. 2023. 9. 1. NLP 트랜스포머 코드 스터디 리뷰 (3) transformer.py 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 지난 2개의 포스팅에서 Attention is all you need 논문의 코드 중 transformer.py 의 앞부분을 살펴봤습니다. https://blazetechnote.tistory.com/27 NLP 트랜스포머 코드 스터디 리뷰 (1) transformer.py 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 트랜스포머 논문에 대해서는, 제가 지난 여러 포스팅에서 설명했습니다. 어텐션메커니즘1 어텐션메커니즘2 트랜스포머_포지셔널인코딩 트랜스 blazetechnote.tistory.com https://blazetechnote.tistory.com/28 NLP 트랜스포머 코드 스터디 리뷰 (2) transformer.py 안녕하세요 블레이즈 테크노트.. 2023. 8. 21. 이전 1 다음
