트랜스포머3 NLP BERT 모델 코드 스터디 리뷰 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 지난 포스트에서 BERT 모델에 대해서 살펴봤습니다. BERT는 구글에서 발표한 모델로 자연어 처리에서 높은 성능을 보여 주목받았습니다. https://blazetechnote.tistory.com/35 NLP BERT 모델 이해하기 (1) 트랜스포머로부터 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 자연어 처리 (Natural Language Processing, NLP)는 컴퓨터 과학과 인공 지능의 교차점에 위치한 분야입니다. 컴퓨터가 어떻게 인간의 언어를 이해하고 blazetechnote.tistory.com 오늘은 깃허브에서 BERT 모델의 코드를 공부해보도록 하겠습니다. https://github.com/google-research/bert 가장 .. 2023. 9. 16. NLP BERT 모델 이해하기 (1) 트랜스포머로부터 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 자연어 처리 (Natural Language Processing, NLP)는 컴퓨터 과학과 인공 지능의 교차점에 위치한 분야입니다. 컴퓨터가 어떻게 인간의 언어를 이해하고 처리할 수 있을지에 대한 연구를 한다고 생각하시면 좋을 것 같습니다! BERT의 등장 배경과 필요성 자연어 처리 분야에서는 오랫동안 여러 가지 모델이 개발되어 왔습니다. RNN, LSTM, 그리고 GRU 등 순환 신경망 모델은 문장을 순차적으로 처리하여 문맥을 어느 정도 파악할 수 있었습니다. 하지만 이러한 모델들은 여전히 단어 간의 복잡한 관계나 문맥, 의미 등을 완전히 이해하는 데에는 한계가 있었습니다. 이러한 문제를 해결하기 위해 등장한 것이 Transformer 모델입니다. 트랜스포.. 2023. 9. 10. NLP 트랜스포머 코드 스터디 리뷰 (1) transformer.py 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 트랜스포머 논문에 대해서는, 제가 지난 여러 포스팅에서 설명했습니다. 어텐션메커니즘1 어텐션메커니즘2 트랜스포머_포지셔널인코딩 트랜스포머_셀프어텐션 트랜스포머_멀티헤드어텐션 다시 짚고 넘어가자면 NLP 자연어 처리에서 아주 혁신적인 개념이었죠. Attention is all you need 가 구글에서 발표한 논문인만큼 이 논문에서 사용된 코드가 tensorflow 공식으로 등록되어 있습니다. 아래는 그 코드의 내용입니다. https://github.com/tensorflow/tensor2tensor GitHub - tensorflow/tensor2tensor: Library of deep learning models and datasets designed .. 2023. 8. 18. 이전 1 다음
