코딩 일지 코딩 일지

bounding box가 아닌 keypoint를 이용해 물체를 탐지하는 방법 CornerNet CenterNet bounding box {왼쪽 위, 오른쪽 아래} 꼭짓점 {왼쪽 위, 오른쪽 아래, 중심}점 / {너비, 높이, 중심} 특징 성능 < 속도 CoverNet의 낮은 성능을 개선 CenterNet이 다른 모델에 비해 높은 성능과 높은 성능 대비 속도를 가짐을 알 수 있다.

1. Panoptic Segmentation이란? panoptic segmentation에서는 위 그림에서 알 수 있듯이 instance segmentation에다가 배경 정보 까지 인식한다. 2. Panoptic segmentation의 모델 1) UPSNet UPSNet은 FPN을 backbone network로 이용하고, head brunch를 semantic head와 instance head로 나누어 각 헤드의 출력을 취합해 panoptic head에 입력해 panoptic segmentation map을 구한다. 이를 자세히 살펴보자. - instance head로 부터 나온 Yi : instance의 mask -semantic head로 부터 나온 Xthing(thing은 instance s..

1. Instance Segmentation이란? 위의 사진을 보면 앞서 배웠던 Semantic segmentation은 같은 class에 속하는 object들을 각각 구별하지는 않고 하나의 '의자'라는 class로 분류했음을 알 수 있다. 이와 대비되게 Instance segmentation은 같은 의자 class 내에서도 각각의 의자 개체를 다르게 인식해 분류하였다. 개체를 구분하기에 object detection 기반의 모델이 많다. 2. Instance Segmentation의 모델 1) Mask R-CNN 앞서 배웠던 Faster R-CNN을 복기해보자. 1.CNN모델로 부터 feature map을 얻고 이를 Regional Proposal Network(RPN) 에 전달한다. 2. RPN은 객..

1. Embedding Feature Analysis 모델의 행동 방식 및 특성을 분석하는 방법 중 첫 번째인 모델의 embedding feature을 분석하는 방법을 알아보자. query image를 입력하면, DB내에서 query image와 유사한 이미지가 나열되는 Nearest-Neighbor 방식이다. embedding space 내에서도 유사한 이미지들끼리 군집을 이루고 있음을 알 수 있다. 위의 파란색 박스 부분을 보면 같은 개이지만 다른 자세이기 때문에 벡터 값으로 비교하면 다를것이다. 그러나 유사하다고 본 것을 통해 물체의 의미나 개념을 이해해 군집화되었음을 알 수 있다. 이미지를 embedding vector로 표현하는 것은 학습된 네트워크에 forward pass시켜 수행되는데, DB..

1. CNN CNN(Convolution Neural Network)에 대해 간단히 소개하자면, 시신경의 구조를 모방한 계층적 구조를 가지는 모델으로 인공 신경망의 한 유형이다. 시각적 데이터에서 특징을 추출하고 학습하는 데 특화되어 있어 주로 이미지 분류, 객체 탐지 및 이미지 생성과 같은 작업에 사용된다. CNN은 크게 특징 추출 단계(Feature Extraction)와 이미지 분류 단계(Classification)으로 구성되어있다. 특징 추출 단계에서는 Convolution layer와 Pooling layer을 반복하며 지나가며 이미지의 특징을 추출한다. 다음으로 이미지 분류단계에서는 flatten layer에서 데이터 타입을 FC네트워크 형태로 변경(입력 데이터의 shape변경)하고 softm..

1. Object Detection 이란? 이번 포스팅에서 다룰 Object Detection은 사진 안의 각 픽셀을 카테고리로 분류하는 것이 아니라 물체 하나하나마다 bounding box로 특정 물체의 위치를 예측하고, 해당 물체의 클래스까지 분류하는 task이다. 위 사진처럼 이렇게 찾은 물체의 위치 정보와 카테고리 정보는 자율주행 기술, OCR등 다양한 분야에 사용된다. 2. Semantic Two-stage Detector(rR-CNN family) 1. R-CNN 첫 번째 딥러닝 기반의 접근으로 Object Detection을 해결한 것은 R-CNN이다. R-CNN의 절차는 먼저 Selective Search등의 방법을 통해 region proposal을 구한다. 이 구한 region들을 CN..

1. Semantic Segmentation 이란? 앞선 포스팅에서는 사진이 주어졌을 때 사진 전체를 카테고리로 분류하는 Image Classification에 대해 배웠다. 이번 포스팅에서 다룰 Semantic Segmentation은 사진 안의 각 픽셀을 카테고리로 분류하는 것이다. 위의 세 개의 사진에 대해 Semantic Segmentation을 수행하면 아래의 세 사진이 된다. 이로써 어떤 픽셀이 사람에 속하는지 ,자동차에 속하는지 등을 분류하는 작업을 함을 알 수 있다. 이때 여러명의 사람이 있다면 한명한명 구분하는 것이 아닌 모두 같은 '사람'이라는 하나의 카테고리로 분류한다. 이런 Semantic Segmentation은 의료, 자율주행자동차 등 영상 내의 장면을 이해하는 부분에 활용된다...

지난 포스팅에서는 컴퓨터비전의 개념에 대해 알아보았다. 이번 포스팅에서는 컴퓨터 비전의 가장 기본인 Image Classification에 대해 소개할 예정이다. 1. Image Classification 단어만 봐도, 이미지를 '분류'하는 문제임을 알 수 있을 것이다. 예를들어, 여러 개의 강아지와 고양이 이미지를 입력으로 주고, 주어진 이미지가 강아지인지 고양이인지를 분류하는 일을 하는 것이다. 만약 분류기가 이 세상의 모든 이미지 데이터를 저장하고 있다고 가정하자. 그러면 입력 이미지가 주어졌을 때 저장하고 있는 이미지들 중 가장 비슷한 이미지를 찾아 그 이미지의 클래스로 분류하면 되는 간단한 문제가 된다. 이런 방법을 Nearest Neighbor이라 한다. 질의 데이터가 입력으로 들어왔을 때, ..