머신러닝공부7 NLP 트랜스포머 코드 스터디 리뷰 common_attention.py 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 이번 포스트가 아마도 Attention is all you need 의 코드 리뷰 마지막이 될 것 같습니다. 그동안 트랜스포머 코드 스터디 리뷰 시리즈로 몇 백줄의 코드 리뷰를 해왔습니다. 모델의 아키텍쳐를 구현한 transformer.py는 1편, 2편, 3편 총 세 개의 포스트로 구성했습니다. 다음으로 transformer_layers.py 에 대해 리뷰를 했고요. 그 다음으로 common_layers.py에 대해 다루었습니다. 오늘 보실 common_attention.py는 트랜스포머의 햑심이 되는 multihead_attention에 대해서 다루는 모듈입니다. https://github.com/tensorflow/tensor2tensor/blob/ma.. 2023. 9. 1. NLP 트랜스포머 코드 스터디 리뷰 common_layers.py 안녕하세요 블레이즈 테크노트 블레이즈 입니다. Attention is all you need 가 구글에서 발표한 논문인만큼 이 논문에서 사용된 코드가 tensorflow 공식으로 등록되어 있습니다. 아래는 그 코드의 내용입니다. https://github.com/tensorflow/tensor2tensor GitHub - tensorflow/tensor2tensor: Library of deep learning models and datasets designed to make deep learning more accessible a Library of deep learning models and datasets designed to make deep learning more accessible and a.. 2023. 8. 28. NLP 트랜스포머 코드 스터디 리뷰 (3) transformer.py 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 지난 2개의 포스팅에서 Attention is all you need 논문의 코드 중 transformer.py 의 앞부분을 살펴봤습니다. https://blazetechnote.tistory.com/27 NLP 트랜스포머 코드 스터디 리뷰 (1) transformer.py 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 트랜스포머 논문에 대해서는, 제가 지난 여러 포스팅에서 설명했습니다. 어텐션메커니즘1 어텐션메커니즘2 트랜스포머_포지셔널인코딩 트랜스 blazetechnote.tistory.com https://blazetechnote.tistory.com/28 NLP 트랜스포머 코드 스터디 리뷰 (2) transformer.py 안녕하세요 블레이즈 테크노트.. 2023. 8. 21. NLP 트랜스포머 코드 스터디 리뷰 (2) transformer.py 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 지난 포스팅에서 Attention is all you need 논문의 코드 중 transformer.py 의 앞부분을 살펴봤습니다. 이번 포스팅에서는 transformer.py의 뒷부분을 살펴보도록 하겠습니다. 원 코드는 아래의 링크를 통해 확인해보세요. https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/models/transformer.py @registry.register_model class TransformerScorer(Transformer): """Transformer model, but only scores in PREDICT mode. Checkpoints between.. 2023. 8. 19. NLP 트랜스포머 코드 스터디 리뷰 (1) transformer.py 안녕하세요 블레이즈 테크노트 블레이즈 입니다. 트랜스포머 논문에 대해서는, 제가 지난 여러 포스팅에서 설명했습니다. 어텐션메커니즘1 어텐션메커니즘2 트랜스포머_포지셔널인코딩 트랜스포머_셀프어텐션 트랜스포머_멀티헤드어텐션 다시 짚고 넘어가자면 NLP 자연어 처리에서 아주 혁신적인 개념이었죠. Attention is all you need 가 구글에서 발표한 논문인만큼 이 논문에서 사용된 코드가 tensorflow 공식으로 등록되어 있습니다. 아래는 그 코드의 내용입니다. https://github.com/tensorflow/tensor2tensor GitHub - tensorflow/tensor2tensor: Library of deep learning models and datasets designed .. 2023. 8. 18. docker 설치 및 시작하기 안녕하세요 블레이즈 테크 노트의 블레이즈 입니다. 오늘은 docker를 설치하고 사용해보도록 하겠습니다. docker를 통해 ML 실험을 위해 필요한 실험 환경을 동일하게 갖춰주려고 합니다. 실험을 위한 코드는 dependency 를 맞춰주는 게 중요한데요, docker를 사용하면 가상환경과 유사한 컨테이너를 관리하기가 아주 편합니다. 도커가 무엇이고 왜 필요한지는 이 포스트에 잘 설명이 되어 있네요:) 여러분들도 코드가 잘 실행이 안된다면 docker를 활용해 버전 정보를 잘 맞춰주세요! docker는 아래의 링크에서 다운받을 수 있습니다. https://hub.docker.com Docker Hub Container Image Library | App Containerization Deliver yo.. 2023. 8. 13. NLP 트랜스포머 모델 데이터셋 wmt14 다운로드하기 안녕하세요 블레이즈 테크노트의 블레이즈 입니다. 이번 포스팅에서는 트랜스포머 논문에서 훈련 데이터로 사용했던 데이터셋을 다운받아보도록 하겠습니다. pip install tensorflow-datasets 먼저 이렇게 해서 텐서플로우 데이터셋을 다운받아줬습니다. import tensorflow_datasets as tfds # 데이터셋 다운로드 dataset, info = tfds.load('wmt14_translate/de-en', split=['train', 'validation'], with_info=True) # 다운받은 데이터셋 확인 print(info) https://www.tensorflow.org/datasets/catalog/wmt14_translate?hl=ko wmt14_translat.. 2023. 8. 5. 이전 1 다음
