본문 바로가기

전체148

Training data-efficient image transformers& distillation through attention 논문 읽기 Abstract 이미지 이해 작업을 수행하는 어텐션에 기반한 신경망에 대한 연구 내용 1. 배경 및 동기: - 최근에는 어텐션만을 기반으로 하는 신경망이 이미지 분류와 같은 작업에서 성능을 보인 바 있습니다. - 그러나 이러한 고성능 비전 트랜스포머들은 수억 개의 이미지를 사용한 대규모 인프라에서 사전 훈련되어 제한된 환경에서만 사용될 수 있었다. 2. 연구 목표: - 본 논문에서는 오직 ImageNet 데이터만을 사용하여 합리적인 컴퓨팅 리소스와 시간 내에 경쟁력 있는 합성곱을 사용하지 않는 트랜스포머를 생성 3. 주요 결과 및 성과: - 86M 매개변수를 가진 기준 비전 트랜스포머는 외부 데이터 없이도 ImageNet에서 83.1%의 top-1 정확도를 달성 - 특히, 트랜스포머에 특화된 teache.. 2024. 1. 11.
Training data-efficient image transformers& distillation through attention논문을 위한 사전 지식 "Training data-efficient image transformers & distillation through attention" 논문 제목 1. Training data-efficient image transformers: - "이미지 트랜스포머(Image Transformer)를 효율적으로 훈련시키기" - "데이터 효율적인 방법으로 이미지 트랜스포머를 훈련하는 것"을 나타냄. 이미지 트랜스포머는 컴퓨터 비전 작업에 사용되는 딥 러닝 모델로, 더 적은 양의 데이터를 사용하여 효율적으로 훈련시키는 방법에 대한 논문. 2. Distillation through attention: - "어텐션을 통한 지식 전달" - "어텐션(Attention)을 활용한 지식 전달 또는 축소"를 의미. 이 부분은 지.. 2024. 1. 11.
코멘토 1차 업무 코멘토 1차 업무 : 실제 개발 과제에 사용하는 Components 및 filter 류 조사 및 분석 ❋ R, L, C, Diode 1. 저항 (Resistor - R): 저항은 전기적인 흐름을 제한하는 역할을 한다. 단위는 옴(Ω)이며, 전기 회로에서 전류의 흐름을 조절하거나 전압을 분배하는 데 사용된다. 2. 인덕터 (Inductor - L): 인덕터는 전류의 변화에 대한 저항을 나타내는 부품이다. 전류가 흐를 때 자기장을 생성하고, 전류가 중단되면 에너지를 방출한다. 주로 저주파에서 필터링이나 에너지 저장 장치로 사용된다. 3. 커패시터 (Capacitor - C): 커패시터는 전하를 저장하는데 사용되며, 두 전극 사이에 전압을 유지한다. 전기장을 축적하고 방출하는 데 사용되며, 고주파에서는 필터링.. 2024. 1. 11.
vscode로 ssh 원격 접속 https://jstar0525.tistory.com/202 [Docker][Windows 10] Deep Learning 및 ROS 연구 개발 환경 setting 내가 사용하는 딥러닝, ROS 개발 환경에 대하여 서술하고자 한다. Deep Learning과 관련하여 우리 연구실에서 다수의 연구원들이 개별 PC(windows or ubuntu)에서 서버(ubuntu)로 ssh를 통하여 접속하고 GPU들 jstar0525.tistory.com 딥러닝 관련하여 연구실에서 다수의 연구원들이 개별 PC(윈도우 또는 우분투)에서 서버(우분투)로 ssh를 통하여 접속하고 GPU들을 사용을 함. mobaxterm은 서버로 ssh 접속을 하여 서버를 모니터링하고, docker image를 실행한다. Mobaxterm에.. 2024. 1. 10.
DeiT Weight Quantization 보호되어 있는 글 입니다. 2024. 1. 10.
실바코 cadence 보호되어 있는 글 입니다. 2024. 1. 10.

티스토리툴바