AI HW study/Transformer12 [논문 공부] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (2021) 보호되어 있는 글 입니다. 2024. 1. 15. Deit 논문에 대하여... https://linda-suuup.tistory.com/101 [논문리뷰 - 이미지] DeiT Training data-efficient image transformers & distillation through attention 목차 0. Abstract 고성능 비전 트렌스포머를 이미지 이해 작업 처리하는데 사용함 86M 파라미터를 이용하여 ImageNet에서 top-1 accuracy를 83.1% 달성 1. Introduction - Convolution 신경망 ( Imagenet) - Natural Language P linda-suuup.tistory.com https://hyoseok-personality.tistory.com/entry/Paper-Review-DeiT-Training-data.. 2024. 1. 15. Training data-efficient image transformers& distillation through attention 논문 읽기 Abstract 이미지 이해 작업을 수행하는 어텐션에 기반한 신경망에 대한 연구 내용 1. 배경 및 동기: - 최근에는 어텐션만을 기반으로 하는 신경망이 이미지 분류와 같은 작업에서 성능을 보인 바 있습니다. - 그러나 이러한 고성능 비전 트랜스포머들은 수억 개의 이미지를 사용한 대규모 인프라에서 사전 훈련되어 제한된 환경에서만 사용될 수 있었다. 2. 연구 목표: - 본 논문에서는 오직 ImageNet 데이터만을 사용하여 합리적인 컴퓨팅 리소스와 시간 내에 경쟁력 있는 합성곱을 사용하지 않는 트랜스포머를 생성 3. 주요 결과 및 성과: - 86M 매개변수를 가진 기준 비전 트랜스포머는 외부 데이터 없이도 ImageNet에서 83.1%의 top-1 정확도를 달성 - 특히, 트랜스포머에 특화된 teache.. 2024. 1. 11. Training data-efficient image transformers& distillation through attention논문을 위한 사전 지식 "Training data-efficient image transformers & distillation through attention" 논문 제목 1. Training data-efficient image transformers: - "이미지 트랜스포머(Image Transformer)를 효율적으로 훈련시키기" - "데이터 효율적인 방법으로 이미지 트랜스포머를 훈련하는 것"을 나타냄. 이미지 트랜스포머는 컴퓨터 비전 작업에 사용되는 딥 러닝 모델로, 더 적은 양의 데이터를 사용하여 효율적으로 훈련시키는 방법에 대한 논문. 2. Distillation through attention: - "어텐션을 통한 지식 전달" - "어텐션(Attention)을 활용한 지식 전달 또는 축소"를 의미. 이 부분은 지.. 2024. 1. 11. DeiT Weight Quantization 보호되어 있는 글 입니다. 2024. 1. 10. Microscaling Data Formats for Deep Learning 논문 정리 https://all4chip.com/archive/news_view.php?no=16907 Arm, 업계 리더들과 협력 통해 미래의 AI 기반 구축 Arm은 이미 개발이 진행되고 있는 자체 기술 플랫폼 외에도 AMD, 인텔, 메타, 마이크로소프트, 엔비디아, 퀄컴 테크놀로지 등 선도적인 기술 기업들과 협력하여 보다 반응이 빠르고 안전한 사용자 all4chip.com https://www.opencompute.org/blog/amd-arm-intel-meta-microsoft-nvidia-and-qualcomm-standardize-next-generation-narrow-precision-data-formats-for-ai Open Compute Project www.opencompute.org 초록 .. 2024. 1. 4. 이전 1 2 다음
