프로그래밍선

Visual-RFT: Visual Reinforcement Fine-Tuningarxiv: https://openaccess.thecvf.com/content/ICCV2025/papers/Liu_Visual-RFT_Visual_Reinforcement_Fine-Tuning_ICCV_2025_paper.pdf Abstract OpenAI o1 같은 Large Reasoning Models에서의 Reinforcement Fine-Tuning (RFT)은 자신의 답변에 대한 feedback으로부터 학습하는 방식이며, 특히 fine-tuning data가 부족한 응용에서 매우 유용함.DeepSeek-R1 같은 최근의 open-source 연구는, verifiable reward를 사용하는 reinforceme..

preprint, icml 2026 예상 https://arxiv.org/abs/2602.11389 Causal-JEPA: Learning World Models through Object-Level Latent InterventionsWorld models require robust relational understanding to support prediction, reasoning, and control. While object-centric representations provide a useful abstraction, they are not sufficient to capture interaction-dependent dynamics. We therefore propose Carxiv.org ..

Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck논문의 핵심 요약이 논문은 딥러닝 모델이 학습 데이터에만 존재하는 shortcut에 과도하게 의존하여, 실제 환경에서 예측이 불안정해지는 문제를 해결하고자 합니다. 예를 들어, 소 사진을 학습할 때 푸른 초원 배경과 함께 학습하면, 모델은 '소' 자체보다 '푸른 초원'을 보고 소라고 판단하는 실수를 저지를 수 있습니다. 이 문제를 해결하기 위해 저자들은 '정보 병목(Information Bottleneck, IB)' 원칙을 확장하여 '불필요 정보(Nuisance Information)' 라는 개념을 도입합니다. 모델이 이미지를 분류하는 데 꼭 필요한 핵심 ..

PyTorch CUBLAS_STATUS_INVALID_VALUE 오류 해결 (Blackwell GPU) 1. 발생한 오류에러 메시지RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasSgemmStridedBatched(handle, opa, opb, m, n, k, &alpha, a, lda, stridea, b, ldb, strideb, &beta, c, ldc, stridec, num_batches)` 발생 위치- 파일: `decoder.py` (ViT 디코더 self-attention)- 대략 368줄: `attention_scores = torch.matmul(query_layer, key_layer.transpose..

Robust Representation Consistency Model via Contrastive Denoising핵심 요약 이 논문은 딥러닝 모델을 적대적 공격(adversarial perturbations)으로부터 보호하기 위한 새로운 방법을 제안합니다. 기존의 확산 모델(diffusion model) 기반 방어 기법들은 높은 정확도를 보였지만, 추론 시간이 매우 길다는 큰 단점이 있었습니다. 이 논문은 확산 모델의 노이즈 제거 과정을 생성(generative) 작업이 아닌 판별(discriminative) 작업으로 재해석하여, 성능은 뛰어나면서도 추론 속도를 획기적으로 개선한 모델(rRCM)을 개발했습니다. 그 결과, 기존 확산 모델 기반 방법보다 평균 85배 빠른 속도로 더 높은 인증 정확도(c..

OpenClaw란?OpenClaw는 자신의 컴퓨터에서 실행되는 개인용 AI 비서입니다.메신저(Discord, Telegram 등)를 통해 명령을 보내면 작업을 대신 수행해 줍니다.설치 전 준비물먼저 아래 준비물이 필요합니다:✔ macOS (M1/M2/M3/M4 모두 가능) ✔ Docker Desktop 설치 및 실행 (필수) ✔ Git 설치 (소스 복사용)✔ Node.js v20 이상 (추천 v22) ✔ pnpm v9 이상 (npm install -g pnpm) ✔ Claude API 키 (Anthropic 계정) — 모델 이용용 Step 1: Docker Desktop 설치Docker 공식 사이트에서 Docker Desktop for Mac 다운로드https://www.docker.com/product..

어텐션(Attention) 메커니즘과 트랜스포머의 기초에 대한 내용을 상세하게 정리해 드립니다.크게 기존 Seq2Seq 모델의 한계와 이를 해결하기 위해 등장한 어텐션(Attention) 메커니즘의 작동 원리 및 시각화로 나뉩니다. * computer vision 강의노트 정리한것입니다어텐션(Attention)과 트랜스포머의 기초 (Part 1)1. 서론: 어텐션(Attention)의 등장 배경현대 인공지능, 특히 자연어 처리(NLP)와 컴퓨터 비전 분야에서 가장 중요하고 유명한 개념인 **어텐션(Attention)**과 **트랜스포머(Transformer)**에 대한 2부작 강의 중 첫 번째 시간입니다.목표:어텐션 모듈과 트랜스포머의 개념적 기초를 다집니다.기원:순환 신경망(RNN)이 가진 주요 문제를..

ADE20K (ADEChallengeData2016)ADE20K는 장면 이해(Scene Parsing)와 의미 분할(Semantic Segmentation)을 목적으로 구축된 대규모 이미지 데이터셋이다. 실내와 실외를 모두 포함하는 다양한 장면으로 구성되어 있으며, 일반적인 객체(object)뿐 아니라 벽, 바닥, 하늘, 도로와 같은 배경(stuff) 클래스가 풍부하게 포함되어 있다는 점이 특징이다.이 데이터셋은 총 약 25,000장의 이미지로 구성되어 있으며, 학습용 약 20,000장과 검증용 약 2,000장, 테스트용 이미지로 나뉜다. 각 이미지에는 픽셀 단위의 semantic segmentation annotation이 제공되며, 총 150개의 클래스가 정의되어 있다. 클래스 수가 많고 장면 구성이..

1) discriminative에서 invariance(불변성)가 유리하다discriminative 목표 = 분류/검색/유사도 학습처럼“이 이미지가 무엇인가(semantic)”를 잘 구분하는 표현을 만드는 것.이때 좋은 representation이 원하는 성질:같은 객체/같은 장면이면크롭 위치, 배경, 조명, 색감, 약간의 텍스처 변화가 달라도 임베딩이 거의 같아야 함즉, 모델이 중요하지 않은 변화를 무시(=뭉개기)해야 성능이 좋음.예:고양이 사진이 조금 밝아졌다고 “다른 임베딩”이 되면 검색/분류가 흔들림그래서 SSL(DINO/JEPA/SimCLR류)은 augmentation을 걸고도 representation이 유지되게 학습함 → 불변성(invariance)‘뭉개도 되는 정보’ = 분류에 덜 중요한 ..

얀 르쿤의 레 제파!여기서 le: lean - 군더더기없는 이란 뜻이다 논문: https://arxiv.org/pdf/2511.08544깃허브: https://github.com/galilai-group/lejepa GitHub - galilai-group/lejepaContribute to galilai-group/lejepa development by creating an account on GitHub.github.com 목차더보기1. Introduction (서론)2. Background on Joint-Embedding Predictive Architectures (JEPA 배경지식)2.1 What is a JEPA? (JEPA란 무엇인가?)2.2 The Need for Reliable Pre..