minimalism

◼ GPU: NVIDIA RTX A4000 (NVIDIA driver) 473.81-quadro-rtx-desktop-notebook-win10-win11-64bit-international-dch-whql.exe (CUDA) cuda_11.4.4_472.50_windows.exe (CUDNN) cudnn-11.4-windows-x64-v8.2.2.26.zip ◼ Anaconda 3 conda create -n tf python=3.10 ◼ Tensorflow 2.9.1 pip install tensorflow-gpu==2.9.1 1. Anaconda3 설치 2. NVIDIA driver / CUDAN / cuDNN 설치 - CUDA 11.4.4 / cuDNN 8.2.2 로 세팅 3. 환경변수 추가 (하..

https://doitgrow.com/25

https://blog.pumpkin-raccoon.com/26

# 1. tf.keras from tensorflow.keras.preprocessing import image path = 'suit.jpg' new_image = image.load_img(path, target_size=(224, 224)) # new_image.show() # (1254, 1880, 3) -> (224, 224, 3) # print(new_image.shape) # 에러 transformed_image = image.img_to_array(new_image) print(transformed_image.shape) # (224, 224, 3) ​ ​ # 2. matplotlib (RGB) import matplotlib.pyplot as plt import matplotlib.ima..

import tensorflow as tf #print(tf.__version__) #2.7.4 from transformers import TFBertForMaskedLM from transformers import AutoTokenizer model = TFBertForMaskedLM.from_pretrained('klue/bert-base', from_pt=True) # klue/bert-base 마스크드 언어 모델 형태 tokenizer = AutoTokenizer.from_pretrained('klue/bert-base') inputs = tokenizer('치킨은 정말 [MASK]다.', return_tensors='tf') # print(inputs['input_ids']) # print(i..

timm 설치 후 간단하게 pretrained model을 불러올 수 있다. ViT pretrained model을 가져와 classification을 진행해보았다. import timm model = timm.create_model('vit_base_patch16_384', pretrained=True) model.eval()

https://blog.naver.com/gema0000

https://cocoon1787.tistory.com/833

1. Introduction Transformers는 NLP에서 먼저 언급된 개념이고 지금까지 dominant하게 쓰이는 approach이다. 기존에 NLP에서는 Sequence model(ex. RNN, LSTM)이 많이 사용되었는데 그러한 모델들은 순차적으로 token들을 넣어주어야 하기 때문에 gpu처리가 비효율적인 단점이 있었다. 따라서 sequence model을 전혀 사용하지 않고 오직 attention만을 사용하여 architecture를 만들었고, 이를 "Transformer"한다. Transformer는 gpu에 최적화되었을 뿐만 아니라 성능도 이전을 뛰어넘으면서 NLP에 큰 파장을 일으켰다. Transformer to Vision 하지만 VIsion 분야에서는 VIT가 등장하기 전까지 ..

1. 깃허브 코드 다운 및 vit 구현해볼 가상환경 설치 >> 버전 충돌 이슈 방지 https://github.com/junginee/deep-text-recognition-benchmark 2. vit용 가상환경에서 필요한 라이브러리 모두 다운 pip3 install -r requirements.txt 3. 아래 그림과 같이 파이토치 에러 발생 >> 토치 버전 변경 (pip install torch==1.11) 4. demo image 실행 python D:/study/VIT/infer.py --image D:/study/VIT/demo_image/demo_2.jpg --model vitstr_small_patch16_jit.pt 5. 결과