[AI] MediaPipe Hands: 랜드마크 탐지 모델 분석

MeidaPipe Hands는 손바닥 탐지 모델(BlazePalm)과 랜드마크 탐지 모델로 구성되어 있습니다. 이전 글에서 BlazePalm을 정리했기 때문에 랜드마크 모델을 분석해 보겠습니다. (전체 코드는 GitHub에서 찾으실 수 있습니다.)

 

손바닥 탐지 모델과 마찬가지로 랜드마크 모델에서도 BlazeBlock(ResModule)이 사용됩니다. 이름만 다르고 동작하는 원리는 동일하기 때문에 자세한 설명은 이 글을 참고해 주세요.

 

def __init__(self):
    super(BlazeHandLandmark, self).__init__()

    # size of ROIs used for input
    self.resolution = 256

    self._define_layers()

 

우선 모델의 constructor를 보면, 입력에 사용되는 ROI의 크기를 256x256으로 정의하고 있고 define_layers 함수를 호출하고 있다는 것을 확인할 수 있습니다. define_layers는 모델의 층을 정의하는 함수인데, 코드가 길어서 각 파트별로 나누어 설명하겠습니다.

 

self.backbone1 = nn.Sequential(
    nn.Conv2d(in_channels=3, out_channels=24, kernel_size=3, stride=2, padding=0, bias=True),
    nn.ReLU(inplace=True),
	
	# BlazeBlock(in_channels, out_channels, kernel_size)
    BlazeBlock(24, 24, 5),
    BlazeBlock(24, 24, 5),
    BlazeBlock(24, 48, 5, 2),
)

self.backbone2 = nn.Sequential(
    BlazeBlock(48, 48, 5),
    BlazeBlock(48, 48, 5),
    BlazeBlock(48, 96, 5, 2),
)

self.backbone3 = nn.Sequential(
    BlazeBlock(96, 96, 5),
    BlazeBlock(96, 96, 5),
    BlazeBlock(96, 96, 5, 2),
)

self.backbone4 = nn.Sequential(
    BlazeBlock(96, 96, 5),
    BlazeBlock(96, 96, 5),
    BlazeBlock(96, 96, 5, 2),
)

 

 

backbone1은 패딩된 3x257x257 입력을 받아 우선 convolution layer를 적용합니다. 특징이 추출되고, 크기가 24x128x128로 감소합니다. 이 feature map은 ReLU 함수를 통과해 BlazeBlock으로 이동합니다.

 

총 3개의 BlazeBlock 을 통과하게 되는데, 첫 번째와 두 번째 BlazeBlock은 특징을 추출하는 데 사용되고, 마지막 블록은 채널 수를 48로 늘리고 크기를 반감해 48x64x64 feature map이 생성됩니다.

 

 

backbone1의 구조

 

 

backbone2도 유사한 역할을 수행합니다. 48x64x64 입력이 주어지면 두 개의 BlazeBlock을 통과하면서 특징을 추출하고, 세 번째 BlazeBlock을 통과하며 96x32x32 feature map이 생성됩니다.

 

backbone2의 구조

 

backbone3, backbone4도 숫자만 다르고 똑같은 역할을 하기 때문에 아래 그림만 확인해도 무방할 것 같습니다. (결론적으로 backbone3 → 96x16x16, backbone4 → 96x8x8 feature map이 생성됩니다.)

 

backbone3의 구조

backbone4의 구조

 

self.blaze5 = BlazeBlock(96, 96, 5)
self.blaze6 = BlazeBlock(96, 96, 5)
self.conv7 = nn.Conv2d(96, 48, 1, bias=True)

 

blaze5, blaze6는 96x8x8 입력을 받아 96x8x8 feature map을 만들고, conv7은 96x8x8 입력을 받아 채널 수를 반감하는 역할을 합니다.

 

self.backbone8 = nn.Sequential(
    BlazeBlock(48, 48, 5),
    BlazeBlock(48, 48, 5),
    BlazeBlock(48, 48, 5),
    BlazeBlock(48, 48, 5),
    BlazeBlock(48, 96, 5, 2),
    BlazeBlock(96, 96, 5),
    BlazeBlock(96, 96, 5),
    BlazeBlock(96, 96, 5),
    BlazeBlock(96, 96, 5),
    BlazeBlock(96, 288, 5, 2),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5, 2),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5, 2),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5, 2),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5),
    BlazeBlock(288, 288, 5),
)

 

다음은 backbone8입니다. 29개의 BlazeBlock을 쌓은 형태입니다. 각 블록을 통과하면서 특징이 추출되고, 크기가 48x64x64 → 96x32x32 → 288x16x16 → 288x8x8 → 288x4x4 → 288x2x2로 조정됩니다. 그림을 보면 더 직관적으로 이해할 수 있을 것 같습니다.

 

backbone8의 구조

 

self.hand_flag = nn.Conv2d(288, 1, 2, bias=True)
self.handed = nn.Conv2d(288, 1, 2, bias=True)
self.landmarks = nn.Conv2d(288, 63, 2, bias=True)

 

주어진 입력이 convolution 층을 통과하면서 flatten 되는 단계입니다. hand_flag는 프레임에서 손의 존재 여부를, handed는 왼손인지 오른손인지에 대한 정보를, landmark는 랜드마크의 회귀값(21 landmarks * 3 coords(x, y, z) = 63)을 의미합니다.

 

여기까지가 constructor에 해당되는 부분이었습니다. 모델의 구성 요소을 알아봤는데요, 이제 forward 함수를 보면서 모델의 구조를 알아 보도록 하겠습니다.

 

if x.shape[0] == 0:
    return torch.zeros((0,)), torch.zeros((0,)), torch.zeros((0, 21, 3))

x = F.pad(x, (0, 1, 0, 1), "constant", 0)

 

만약 입력의 첫 번째 차원에 아무런 원소도 없다면 빈 tensor를 반환하고, 그렇지 않다면 x에 패딩을 추가해 크기를 257x257로 조정합니다. (패딩을 추가해 주지 않으면 convolution을 할 때 크기가 63x63, 27x27… 등 이상해집니다)

 

x = self.backbone1(x)
y = self.backbone2(x)
z = self.backbone3(y)
w = self.backbone4(z)

 

x는 3x257x257 입력 x를 backbone1에 통과시킨 값이 되며, 이때 크기는 48x64x64입니다.

 

y는 x를 backbone2에 통과시킨 것으로, 96x32x32 feature map이며, 유사한 방식으로 z는 96x16x16, w는 96x8x8 feature map이 됩니다.

 

z = z + F.interpolate(w, scale_factor=2, mode='bilinear')
z = self.blaze5(z)

 

이후 z는 z와 w를 보간해 더해진 96x16x16 feature map이 blaze5를 통과한 값이 됩니다.

 

y = y + F.interpolate(z, scale_factor=2, mode='bilinear')
y = self.blaze6(y)
y = self.conv7(y)

 

y는 y와 z를 보간해 더해진 96x32x32 feature map이 blaze6를 통과하고 conv7을 통과한 48x32x32 feature map이 됩니다.

 

x = x + F.interpolate(y, scale_factor=2, mode='bilinear')
x = self.backbone8(x)

 

x는 x와 y(48x32x32)가 보간되어 더해진 48x64x64 feature map이 backbone8을 통과한 288x2x2 feature map이 됩니다.

 

hand_flag = self.hand_flag(x).view(-1).sigmoid()
handed = self.handed(x).view(-1).sigmoid()
landmarks = self.landmarks(x).view(-1, 21, 3) / 256

return hand_flag, handed, landmarks

 

 

손의 존재 여부(hand_flag), 왼손/오른손(handed), 랜드마크 좌표(landmarks)는 모두 x를 사용합니다. (x에 y, z, w의 정보가 모두 있기 때문!) hand_flag와 handed는 1x1x1 tensor의 확률 값으로 나오며, landmarks는 21개 랜드마크의 x, y, z 좌표 정보가 포함된 tensor가 됩니다.

 

랜드마크 모델의 구조