프로그래밍선

CV 공부먼저 흐름을 파악하려면 이 글들을 참고하는 것이 좋다.https://minsunstudio.tistory.com/103 [CV] Image degradation 직접 구현 -① (Blur, Periodic Noise, Low Contrast)① Blur, ② Periodic Noise, ③ Low Contrast의 세 가지 degradation를 library 없이!!! 직접 구현하는 정석적인 방법시작 전나는 Inria Aerial Image Labeling Dataset에서 gt를 골라서 사용하겠다.https://minsunstudio.tistory.comminsunstudio.tistory.comhttps://minsunstudio.tistory.com/104 [CV] Image Proces..

CNN의 핵심 구조인 Batch Normalization (BN) 과 다양한 Normalization 기법CNN 학습 안정화와 수렴 가속을 위해 왜 normalization이 필요한지, 수식적으로 어떻게 작동하는지, 그리고 실제 학습/테스트 단계에서의 차이점Batch Normalization의 개념등장 배경딥러닝 학습이 깊어질수록 Internal Covariate Shift (내부 공변량 변화) 문제가 생김.즉, 각 레이어 입력 분포가 학습 도중 계속 변해서, 이전 레이어 학습 변화가 다음 레이어에 계속 영향을 줌.그 결과:학습 속도 ↓초기화에 민감학습 불안정해결 아이디어“각 레이어의 출력을 정규화(normalize) 하자!”즉, 한 배치(batch) 내의 activation을 평균 0, 분산 1로 맞추..

Self Attention문장 내부에서 자기자신과 Cross AttentionCross-Attention은 Transformer 모델에서 디코더가 인코더의 출력을 참조하여 정보를 얻는 메커니즘입니다. 이는 디코더가 현재 생성 중인 출력과 관련된 입력의 부분에 집중할 수 있게 도와줍니다. 예를 들어, 기계 번역에서 영어 문장을 힌디어로 번역할 때, 디코더는 이미 생성된 단어들과 입력 문장의 관련 부분을 동시에 고려하여 다음 단어를 생성합니다.입력 준비:두 개의 입력 시퀀스(예: 이미지 패치 시퀀스와 텍스트 시퀀스)를 준비합니다.Query, Key, Value 생성:디코더의 출력에서 Query를 생성하고, 인코더의 출력에서 Key와 Value를 생성합니다.GeeksforGeeksAttention 계산:..