대학원/LLM quantization study5 attention mechanism에 대해 다시 공부해보자. 보호되어 있는 글 입니다. 2024. 12. 30. [이 부분도 공부해보면 좋겠다] [fastcampus] 오픈소스 LLM을 활용한 고급 Fine-tuning & AI 서비스 구현 보호되어 있는 글 입니다. 2024. 12. 30. 워드 임베딩부터 다시 공부해보자. 보호되어 있는 글 입니다. 2024. 12. 30. [STICK 2023] Model Quantization 강의 공부 출처: https://youtu.be/oRpo7eTIUhs?si=II2uBlOJb5IOMMsu 안녕하세요. 저는 시큐레이어 연구소 소속 이수빈 연구원입니다.저는 오늘 딥러닝 경량화 기술 중 하나인 모델 컨타이제이션 즉 양자화 기술에 관해 발표를 진행하겠습니다.목차는 다음과 같습니다. 먼저 경량 딥러닝 기술 개요에 대해서 살펴보겠습니다.최근 AI 기술이 빠른 속도로 확산되면서 자동차 스마트폰과 같은 소비자 제품 부터 자율주행 자동차와 같은 IoT 응용까지 AI 기술을 적용하는 온디바이스 AI가 떠오르고 있습니다.지금까지의 인공지능 기술은 모바일과 같은 스마트 기기에서 수집한 정보를 중앙 클라우드 서버로 전송하고 분석해 다시 기기에 결과를 전달하는 방식으로 진행되어 왔습니다.하지만 이러한 클라우드 컴퓨.. 2024. 12. 29. 딥러닝 모델에서의 양자화 강의 공부 [ 메릭 웨비나 ] 딥러닝모델에서의 양자화 - 정태희 박사(AMD) https://youtu.be/91_hhex0CmU?si=-hKkZ4tT6RUf25TG 인공지능, 특히 딥러닝 모델에서의 양자화(quantization)는 딥러닝 모델을 더 빠르고 더 낮은 메모리 요구 사항으로 실행할 수 있는 저렴하고 쉬운 방법입니다. 딥러닝의 양자화는 정보 압축에 기초를 두고 있습니다. 딥러닝에서는 가중치(모델 파라미터) 및/또는 활성화(activation)의 수치적 정밀도를 줄이는 것을 의미합니다. 모델을 양자화하면 메모리가 작아지고, 소비전력이 줄어듭니다.본 웨비나에서는 딥 러닝에서 양자화의 기초원리에 대해 설명하고, 최신 기술동향 및 여기서 언급된 기술들이 실제로 어떻게 실행되는 지 실제 코딩 데모 실현을 보여줄 계획입니다. DNN에서 보면 training과 inferenc.. 2024. 12. 29. 이전 1 다음
