프로그래밍선

PyTorch CUBLAS_STATUS_INVALID_VALUE 오류 해결 (Blackwell GPU) 1. 발생한 오류에러 메시지RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasSgemmStridedBatched(handle, opa, opb, m, n, k, &alpha, a, lda, stridea, b, ldb, strideb, &beta, c, ldc, stridec, num_batches)` 발생 위치- 파일: `decoder.py` (ViT 디코더 self-attention)- 대략 368줄: `attention_scores = torch.matmul(query_layer, key_layer.transpose..

Robust Representation Consistency Model via Contrastive Denoising핵심 요약 이 논문은 딥러닝 모델을 적대적 공격(adversarial perturbations)으로부터 보호하기 위한 새로운 방법을 제안합니다. 기존의 확산 모델(diffusion model) 기반 방어 기법들은 높은 정확도를 보였지만, 추론 시간이 매우 길다는 큰 단점이 있었습니다. 이 논문은 확산 모델의 노이즈 제거 과정을 생성(generative) 작업이 아닌 판별(discriminative) 작업으로 재해석하여, 성능은 뛰어나면서도 추론 속도를 획기적으로 개선한 모델(rRCM)을 개발했습니다. 그 결과, 기존 확산 모델 기반 방법보다 평균 85배 빠른 속도로 더 높은 인증 정확도(c..

OpenClaw란?OpenClaw는 자신의 컴퓨터에서 실행되는 개인용 AI 비서입니다.메신저(Discord, Telegram 등)를 통해 명령을 보내면 작업을 대신 수행해 줍니다.설치 전 준비물먼저 아래 준비물이 필요합니다:✔ macOS (M1/M2/M3/M4 모두 가능) ✔ Docker Desktop 설치 및 실행 (필수) ✔ Git 설치 (소스 복사용)✔ Node.js v20 이상 (추천 v22) ✔ pnpm v9 이상 (npm install -g pnpm) ✔ Claude API 키 (Anthropic 계정) — 모델 이용용 Step 1: Docker Desktop 설치Docker 공식 사이트에서 Docker Desktop for Mac 다운로드https://www.docker.com/product..

어텐션(Attention) 메커니즘과 트랜스포머의 기초에 대한 내용을 상세하게 정리해 드립니다.크게 기존 Seq2Seq 모델의 한계와 이를 해결하기 위해 등장한 어텐션(Attention) 메커니즘의 작동 원리 및 시각화로 나뉩니다. * computer vision 강의노트 정리한것입니다어텐션(Attention)과 트랜스포머의 기초 (Part 1)1. 서론: 어텐션(Attention)의 등장 배경현대 인공지능, 특히 자연어 처리(NLP)와 컴퓨터 비전 분야에서 가장 중요하고 유명한 개념인 **어텐션(Attention)**과 **트랜스포머(Transformer)**에 대한 2부작 강의 중 첫 번째 시간입니다.목표:어텐션 모듈과 트랜스포머의 개념적 기초를 다집니다.기원:순환 신경망(RNN)이 가진 주요 문제를..

ADE20K (ADEChallengeData2016)ADE20K는 장면 이해(Scene Parsing)와 의미 분할(Semantic Segmentation)을 목적으로 구축된 대규모 이미지 데이터셋이다. 실내와 실외를 모두 포함하는 다양한 장면으로 구성되어 있으며, 일반적인 객체(object)뿐 아니라 벽, 바닥, 하늘, 도로와 같은 배경(stuff) 클래스가 풍부하게 포함되어 있다는 점이 특징이다.이 데이터셋은 총 약 25,000장의 이미지로 구성되어 있으며, 학습용 약 20,000장과 검증용 약 2,000장, 테스트용 이미지로 나뉜다. 각 이미지에는 픽셀 단위의 semantic segmentation annotation이 제공되며, 총 150개의 클래스가 정의되어 있다. 클래스 수가 많고 장면 구성이..

1) discriminative에서 invariance(불변성)가 유리하다discriminative 목표 = 분류/검색/유사도 학습처럼“이 이미지가 무엇인가(semantic)”를 잘 구분하는 표현을 만드는 것.이때 좋은 representation이 원하는 성질:같은 객체/같은 장면이면크롭 위치, 배경, 조명, 색감, 약간의 텍스처 변화가 달라도 임베딩이 거의 같아야 함즉, 모델이 중요하지 않은 변화를 무시(=뭉개기)해야 성능이 좋음.예:고양이 사진이 조금 밝아졌다고 “다른 임베딩”이 되면 검색/분류가 흔들림그래서 SSL(DINO/JEPA/SimCLR류)은 augmentation을 걸고도 representation이 유지되게 학습함 → 불변성(invariance)‘뭉개도 되는 정보’ = 분류에 덜 중요한 ..