klee9 님의 블로그

0. AbstractGoogLeNet은 ILSVRC14에서 SoTA를 달성한 모델로, 22층으로 이루어진 CNN입니다. Inception 아키텍처와 컴퓨팅 비용을 일정하게 유지하면서 네트워크의 크기를 키울 수 있는 디자인으로 자원을 더 효율적으로 사용하는 것이 가장 큰 특징입니다. 또한, 성능 최적화를 위해 Hebbian Principle과 Multi-Scale Processing에 기반한 디자인을 사용했습니다. Hebbian Principle“Neurons that fire together, wire together.”두 뉴런이 동시에, 지속적으로 활성화 되면 두 뉴런의 커넥션이 더 강해진다는 원리로, 1949년에 Donald Hebb이 제안했습니다. 인간의 학습과 기억의 기반이 되는 것으로 추정됩니다..

0. AbstractImageNet LSVRC-2010 이미지 분류 대회에 출품한 AlexNet에 대한 논문입니다. AlexNet은 120만 장의 이미지로 이루어진 ImageNet 데이터셋을 1000개 클래스 중 하나로 분류하는 CNN 모델로, 2010년 기준 SoTA보다 뛰어난 37.5%, 17.0%의 top-1, top-5 에러율을 달성했습니다. 모델은 6천만 개의 파라미터, 65만 개의 뉴런, 5개의 컨볼루션 층, 3개의 완전 연결 층, 1000-way 소프트맥스 함수로 구성되어 있습니다. 또한 “dropout” 기법을 통해 과적합을 방지했습니다. (dropout은 아래에서 설명하도록 하겠습니다) Top-1 Error & Top-5 ErrorTop-1 Error는 모델이 예측한 확률이 가장 높은 클..

1. 들어가며컴퓨터 비전 분야에는 물체의 위치를 찾는 Object Detection, 픽셀 단위로 이미지를 범주화하는 Image Segmentation, 새로운 이미지를 만드는 Image Generation 등 다양한 태스크가 있습니다. 저희는 이 중에서 사람 손 자세를 추정해 동작을 인식하는 Hand Pose Estimation에 집중했습니다. 1.1. Hand Pose Estimation을 선택한 이유우리가 세상과 상호작용 하는 방식은 다양합니다. 언어와 제스처를 통해 다른 사람들과 의사소통하거나 키보드나 마우스를 사용해 컴퓨터를 다루기도 합니다. AI 시대에 접어들면서 세상과 상호작용 하는 방식은 더 다양해졌습니다. 특히, 최근 몇 년 사이 손 관절의 위치를 추측하여 이를 바탕으로 손동작을 인식하는..

MeidaPipe Hands는 손바닥 탐지 모델(BlazePalm)과 랜드마크 탐지 모델로 구성되어 있습니다. 이전 글에서 BlazePalm을 정리했기 때문에 랜드마크 모델을 분석해 보겠습니다. (전체 코드는 GitHub에서 찾으실 수 있습니다.) 손바닥 탐지 모델과 마찬가지로 랜드마크 모델에서도 BlazeBlock(ResModule)이 사용됩니다. 이름만 다르고 동작하는 원리는 동일하기 때문에 자세한 설명은 이 글을 참고해 주세요. def __init__(self): super(BlazeHandLandmark, self).__init__() # size of ROIs used for input self.resolution = 256 self._define_layers() 우선 모델..

저번에 MediaPipe Hands 논문을 리뷰하면서 손바닥을 탐지하는 모델과 랜드마크를 탐지하는 모델로 나누어 two-stage로 진행한다는 것을 확인했었죠. 이번 글에서는 두 모델 중 손바닥 탐지 모델을 분석해 보도록 하겠습니다. GitHub 페이지에 코드가 있기 때문에 확인해 보시는 것도 좋을 것 같습니다. ResModuleGitHub 페이지에서 blazepalm.py 파일을 확인해 보면, ResModule, ResBlock, PalmDetector로 구성되어 있는 것을 확인할 수 있습니다. 먼저 ResModule은 ResNet 모델과 유사한 잔차 연결(residual connection)을 구현하는 기본 모듈로, 2개의 convolution layer로 구성되어 있습니다.  import torch..

Memory HierarchyProcesscor - Memory - Memory ... higher the level(closer to the CPU) = smaller, more expensive($), fasterPrinciple of localitytemporal locality: recent items are likely to be accessed again soonspatial locality: items near recent items are likely to be access soondata is copied between only two adjacent levels at a timelowest level(HDD) must have all data (= store everything on d..

0. Abstract이전 논문 리뷰에서는 뎁스 카메라를 사용한 Hand Pose Estimation을 살펴봤습니다. 구글 개발자들은 이 논문에서 단일 카메라만의 RGB 데이터를 사용한 방법을 제시하고 있습니다. 이들이 제시한 모델은 손바닥 탐지기와 손 관절 랜드마크 모델, 이렇게 두 가지로 구성되어 있습니다. 손바닥 탐지기는 손의 바운딩 박스를 탐지하고, 손 관절 랜드마크 모델은 MediaPipe 프레임워크를 사용하는 모델입니다.1. Introduction현존하는 Hand Pose Estimation 모델은 실시간 처리를 하기엔 너무 무겁기 때문에 하드웨어의 성능에 많이 의존하고 있죠. 저자들은 이 제약을 없애고 모바일 기기에서 실시간 처리를 가능하게 하고자 합니다.2. Architecture자, 그러면..

“디스, 디스”. 제가 몇 개월 전 친구들이랑 일본에 여행을 갔을 때 식당에서 가장 많이 들었던 말입니다. 그런데 “디스”라고만 하지 않고 굉장히 다급한 손가락질을 하면서 말하죠. 이처럼 손은 없어선 안 되는 중요한 친구입니다. 물건을 집는 것부터 누군가의 의사소통 수단이 되기도 합니다.Hand Pose Estimation은 컴퓨터가 사람의 손가락 관절의 위치를 추측하는 것입니다. 이를 통해 제스처를 인식해 인간-컴퓨터 상호작용을 할 수도 있기 때문에 가상현실(Virtual Reality; VR), 증강현실(Augmented Reality; AR) 등 다양한 분야에서 매우 중요한 태스크 중 하나입니다. 제스처를 완벽하게 인식할 수 있다면 토니 스타크처럼 자유자재로 인터페이스를 조작할 수도 있죠.“아니 저..

고양이의 냥냥펀치부터 타이슨의 핵펀치를 예측해서 나의 생존율을 높여주고 다른 동물의 감정을 분석해 더 깊은 유대를 쌓고 싶다는 생각, 한 번쯤은 해보셨을 텐데요, 만약 안 해보셨다 하더라도 지금 이 글을 읽으며 궁금증이 조금은 생겼을 거라고 생각합니다. 이 모든 것을 가능하게 해주는 것이 (3D) Pose Estimation인데요, 로봇, VR, 인간-컴퓨터 상호작용 등 다양한 분야에서 사용되고 있습니다. 3D Pose Estimation을 정확히 이해하기 위해선 Pose Estimation이 무엇인지부터 알아야 합니다. Pose Estimation이란 말 그대로 포즈(Pose)를 추정(Estimation)하는 것을 말합니다. 이미지나 영상 데이터에서 객체의 특정 랜드마크를 추출하고 이를 기반으로 포즈를..

MIPS - simplified datapath외우지 말고 이해하라고 하신다. 중간고사가 끝나고 보니까 너무 잘 이해된다.  R-formatex) add rd, rs, rt4 is added to the PC to fetch the next instruction.Read instruction stored in the PC address from the instruction memory.rs, rt, rd are set as read reg1, read reg2, and write reg, respectively.The first 6 bits(=opcode) are passed into the ALU.The addition result goes back to the register memory as wri..