Pixel Y · 자체 개발 기록

영상에 표시된 선과 박스는
무엇을 말할까

사람을 따라 움직이는 박스, 손을 잇는 선, 화면 옆에 쌓이는 기록. 영상분석 화면을 처음 보면 어디부터 봐야 할지 조금 막막할 수 있어요. 이 화면에서 실제로 확인한 것과, 아직 더 확인해야 할 것을 나눠서 이야기해 볼게요.

실제 영상의 프레임별 검출 개발 영상 먼저 보기 ↓
실제 영상에 검출기를 프레임마다 돌린 화면박스·관절은 검출 결과, 손잡이 잡음 표시는 시험 규칙이에요.

에스컬레이터를 내려가는 사람과 캐리어가 보이는 공개 영상에 검출기를 적용했어요. 이 자료는 영상 위에 어떤 정보를 표시할 수 있는지 보여주는 자체 개발 화면이에요. 고객 현장에 설치해 운영한 사례로 소개하는 자료는 아니에요.

화면 읽기 · 검출

박스는 먼저
위치를 알려줘요.

사람이 무엇을 하는지 묻기 전에, 영상 안에서 사람과 물체가 어디에 있는지부터 찾아야 해요.

화면에서 사람을 둘러싼 박스와 캐리어 옆의 표시는 검출 결과예요. 몸을 따라 놓인 점과 선은 그 프레임에서 추정한 관절 위치를 보여줘요. 눈으로는 자연스럽게 보이는 장면도, 분석할 때는 사람·물체·손의 위치를 따로 확인하는 단계가 필요해요.

검토할 때는 선이 얼마나 그럴듯한지보다 원래 영상의 대상과 표시가 맞는지를 먼저 봐야 해요. 박스가 다른 물체로 옮겨가지는 않는지, 손 위치가 가려진 순간에도 맞게 표시되는지 원본 장면과 함께 확인하는 거예요.

화면에 붙은 검출 점수도 그 자리에 놓인 표시를 읽는 정보예요. 이 값만 보고 시스템 전체의 정확도나 다른 영상에서의 성능을 말할 수는 없어요. 그런 평가는 별도의 자료와 기준으로 해야 해요.

화면 읽기 · 연결

사람과 캐리어를
함께 보는 이유예요.

캐리어가 있다는 사실과 누가 어떻게 다루고 있는지는 서로 다른 질문이에요.

영상 옆 기록에는 사람과 캐리어를 연결한 표시가 있어요. 화면 속 사람과 짐을 따로 찾은 다음, 그 둘의 관계를 검토하려는 구현이에요. “캐리어가 보인다”에서 멈추지 않고, 손의 위치와 손잡이를 함께 살펴볼 수 있게 이어 주는 거죠.

다만 화면에서 연결했다는 것이 실제 소유자를 확인했다는 뜻은 아니에요. 가까이 서 있는 사람이 여럿이거나 짐이 겹쳐 보이면, 위치만으로 관계를 정하기 어려워질 수 있어요. 이 영상에서 붙인 연결도 해당 장면의 근거와 함께 읽어야 해요.

그래서 다른 영상을 검토할 때는 사람과 캐리어가 계속 함께 보이는 구간뿐 아니라, 서로 겹치거나 떨어져 보이는 구간도 필요해요. 연결이 맞는 장면만 보는 것으로는 어디까지 믿어도 되는지 알 수 없으니까요.

화면 읽기 · 시험 규칙

손이 가까운 것과
잡고 있는 것은 달라요.

영상 오른쪽의 손 확대 화면과 손잡이 상태를 함께 봐 주세요.

개발 화면은 손과 캐리어 손잡이의 위치 관계를 보여주고, 손잡이를 잡았는지 시험 규칙으로 표시해요. 화면의 “잡음 판정”에서 HOLD는 손잡이를 잡고 있다는 시험 표시예요. 판단을 보류한다는 뜻은 아니에요.

손이 손잡이 가까이에 있다는 것은 확인할 만한 단서예요. 하지만 화면에서 두 위치가 가깝게 보이는 것만으로 실제 접촉과 잡는 동작을 모두 확인했다고 할 수는 없어요. 촬영 각도나 가림 때문에 가까워 보일 수도 있고, 손이 잠깐 지나가는 장면일 수도 있어요.

이 부분은 박스·관절 검출과 손잡이 상태 판정을 구분해서 읽는 것이 중요해요. 위치는 검출 결과이고, 잡음 표시는 그 결과에 적용한 시험 규칙이에요. 규칙이 맞는지는 원래 장면과 앞뒤 움직임을 보고 따로 검토해야 해요.

확인하기 어려운 장면

잘 안 보이는 구간은
어떻게 남길까요?

표시가 있다는 이유만으로, 모든 장면에 답이 있다고 생각하지 않으려 해요.

손이 몸이나 짐에 가려지면, 영상만으로 상태를 확인하기 어려워질 수 있어요. 이런 구간을 손을 놓았다고 읽을지, 계속 잡고 있다고 읽을지 먼저 정해 버리면 검토자는 그 결론의 근거를 다시 찾아야 해요.

그래서 다음 검증에는 판단을 보류해야 할 조건도 넣어야 해요. 무엇이 가려졌는지, 어떤 정보가 부족한지, 어디부터 다시 보이는지를 남겨야 사람이 이어서 확인할 수 있어요. 확인 가능한 구간과 어려운 구간을 나누는 기준도 함께 정해야 하고요.

이것은 지금 보이는 개발 영상에서 모든 보류 처리가 검증됐다는 이야기가 아니에요. 프레임별 검출 화면 다음에 확인할 설계·평가 항목이에요. 잘 나온 장면만큼, 답하기 어려운 장면도 자료에 포함하려는 방향으로 설명하고 있어요.

이 화면 다음

다른 영상에서도
같은 질문을 해 봐야 해요.

이 개발 영상은 구현을 설명하는 자료예요. 적용할 수 있는 조건을 확인하려면 개발에 쓴 자료와 구분한 평가 영상이 필요해요.

새로운 현장에서는 카메라 각도도, 사람과 짐이 겹치는 모습도 달라져요. 영상분석을 도입할 때는 아래 질문부터 확인할 수 있도록 대표 장면과 검토 기준을 함께 준비하려 해요.

  • 대상과 연결이 맞게 유지되나요?

    검출 위치가 맞는지, 다른 사람이나 짐으로 연결이 바뀌는지 확인할 자료가 필요해요. 잘 보이는 장면과 겹쳐 보이는 장면을 함께 살펴봐야 해요.

  • 시험 규칙이 다른 상황을 혼동하나요?

    손잡이 근처를 지나가는 손과 실제로 잡고 있는 손을 구분할 수 있는지 검토해야 해요. 담당자가 확인한 장면과 판단 이유를 비교 기준으로 준비해요.

  • 답하기 어려운 구간을 남길 수 있나요?

    가림이나 부족한 맥락 때문에 판단할 수 없는 경우를 따로 다뤄야 해요. 보류 이유와 다시 확인할 구간을 어떤 방식으로 보여줄지도 정해야 해요.

Pixel Y ST-VLM · 연구개발 중

픽셀와이는 시간 흐름 속 행동·순서·상태 변화와 판단 근거를 다루는 시공간 비전-언어 모델을 연구하고 있어요. 이 글의 검출 영상은 그 모델의 완성 결과가 아니라, 프레임별 구현을 보여주는 자료예요. 행동 설명과 근거 판독은 별도의 평가 대상으로 구분해요.

영상분석 AI 도입

비슷한 질문이 남는
영상이 있나요?

어떤 장면을 확인하고 싶은지, 현재 영상이 어떤 환경에서 촬영되는지 알려주세요. 분석 범위와 평가 기준부터 함께 정할 수 있어요.

개인정보나 민감한 내용이 담긴 영상은 먼저 보내지 않아도 괜찮아요. 자료의 형식과 확인하고 싶은 내용을 설명해 주시면, 이용 조건과 전달 방식을 상담하면서 정할게요.

Pixel Y 홈페이지로