본문 바로가기

트랜스포머코드3

NLP BERT 모델 코드 스터디 리뷰 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 지난 포스트에서 BERT 모델에 대해서 살펴봤습니다. BERT는 구글에서 발표한 모델로 자연어 처리에서 높은 성능을 보여 주목받았습니다. https://blazetechnote.tistory.com/35 NLP BERT 모델 이해하기 (1) 트랜스포머로부터 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 자연어 처리 (Natural Language Processing, NLP)는 컴퓨터 과학과 인공 지능의 교차점에 위치한 분야입니다. 컴퓨터가 어떻게 인간의 언어를 이해하고 blazetechnote.tistory.com 오늘은 깃허브에서 BERT 모델의 코드를 공부해보도록 하겠습니다. https://github.com/google-research/bert 가장 .. 2023. 9. 16.
NLP 트랜스포머 코드 스터디 리뷰 transformer_layers.py 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 블레이즈 테크노트의 트랜스포머 시리즈는 계속되고 있습니다. 트랜스포머 논문을 리뷰하면서 개념을 먼저 살펴봤습니다. Attention is all you need 가 구글에서 발표한 논문인만큼 이 논문에서 사용된 코드가 tensorflow 공식으로 등록되어 있습니다. 그래서 저는 이 코드 중에서 가장 핵심 내용을 담고 있는 transformer.py를 리뷰했습니다. 하지만 이를 보다 보니 임포트하고 있는 모듈에 대한 이해가 필요할 것 같았습니다. 그래서 오늘 살펴볼 코드는 transformer_layers.py 입니다. 오늘은 그 중에서도 transformer_layers.py 를 함께 살펴보겠습니다. https://github.com/tensorflow/te.. 2023. 8. 23.
NLP 트랜스포머 코드 스터디 리뷰 (3) transformer.py 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 지난 2개의 포스팅에서 Attention is all you need 논문의 코드 중 transformer.py 의 앞부분을 살펴봤습니다. https://blazetechnote.tistory.com/27 NLP 트랜스포머 코드 스터디 리뷰 (1) transformer.py 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 트랜스포머 논문에 대해서는, 제가 지난 여러 포스팅에서 설명했습니다. 어텐션메커니즘1 어텐션메커니즘2 트랜스포머_포지셔널인코딩 트랜스 blazetechnote.tistory.com https://blazetechnote.tistory.com/28 NLP 트랜스포머 코드 스터디 리뷰 (2) transformer.py 안녕하세요 블레이즈 테크노트.. 2023. 8. 21.