영상분석 PoC의
성공·실패·보류 기준

사람이나 물체의 위치를 찾는 객체 검출은 행동을 설명하는 데 쓸 수 있는 단서예요. 하지만 물체가 어디에 있다는 사실만으로 이동의 방향, 동작의 순서, 상황의 의미가 모두 정해지지는 않아요. 평가할 대상이 검출인지, 시간 흐름을 포함한 행동 판단인지 먼저 구분해요.

행동 판단을 평가한다면 행동의 시작과 끝, 포함할 조건과 제외할 조건을 말로 적어야 해요. 필요한 대상이 가려진 경우와 전후 구간이 없는 경우도 어떻게 처리할지 정해요. 결과를 보고 유리한 쪽으로 기준을 바꾸지 않도록, 구현과 평가 전에 합의하는 게 중요해요.

미리 합의할 질문어떤 장면을 포함하고, 어떤 비슷한 장면은 제외하며, 판단에 필요한 근거는 무엇인가요?

개발 과정에서 반복해서 본 영상은 구현을 확인하는 데 도움이 돼요. 하지만 그 영상에 맞춰 수정한 결과만으로 새로운 장면에서도 같은 방식으로 동작한다고 판단하기는 어려워요. 개발·조정에 쓰는 자료와 최종 평가 자료를 구분해요.

파일 이름만 다르다고 독립된 장면은 아니에요. 같은 영상의 바로 옆 구간이나 거의 같은 장면을 각각 나누면 검토 범위가 좁아질 수 있어요. 촬영 시점과 장면의 관계를 함께 보고, 어떤 조건을 개발에서 다뤘고 어떤 조건을 평가로 남겼는지 기록해요.

평가 자료에는 찾을 행동이 없는 정상 장면과 어려운 조건도 있어야 해요. 대상이 없는 영상에서 계속 알림이 발생하는지, 가림이나 조명 변화에서 판단이 달라지는지를 확인해야 실제 검토 부담을 이야기할 수 있어요.

평가 결과를 보고 구현을 수정했다면 그 자료는 다음 조정에도 영향을 준 셈이에요. 수정 후 확인할 자료와 절차를 다시 정하고, 같은 자료에서 개선된 결과와 별도 자료의 검증 결과를 구분해 남겨요.

미리 합의할 질문어떤 자료는 개발에 쓰고, 어떤 장면은 평가를 위해 따로 남겨 둘까요?

“이 구간은 맞아요”라는 표시만으로는 비교하기 어려울 수 있어요. 담당자가 행동의 구간과 판단 이유를 함께 남기면, AI가 같은 이유로 판단했는지 확인할 수 있어요. 필요한 전후 맥락과 제외 조건도 기준 기록에 포함해요.

담당자끼리 의견이 다른 구간은 별도로 다뤄요. 기준이 불명확한 장면을 확정된 정답처럼 평가하면 결과를 해석하기 어려워져요. 추가 설명으로 합의할 수 있는지, 다른 자료가 필요한지, 판단 불가로 남겨야 하는지를 먼저 결정해요.

AI 결과는 담당자의 검토를 돕는 자료로 다뤄요. 검토 대상 구간과 근거를 확인하고 최종 판단은 담당자가 내려요. 기준을 바꾸는 경우에는 바뀐 내용과 이유도 남겨 이전 평가와 섞이지 않게 해요.

미리 합의할 질문기준을 확정할 담당자는 누구이고, 의견이 다른 구간은 어떻게 처리하나요?

전체 결과를 “괜찮아 보인다”로 정리하면 무엇을 바꿔야 하는지 알기 어려워요. 담당자가 정한 기준과 AI 결과를 구간별로 비교하고, 잘된 사례뿐 아니라 놓친 이유와 잘못 찾은 이유도 남겨요.

성공

합의한 행동과 구간을 기준에 맞게 찾고, 제시한 근거를 담당자가 확인한 경우예요. 찾지 않아야 할 정상 장면을 올바르게 제외한 경우도 평가에서 따로 확인해요.

검출 박스가 표시됐다는 이유만으로 행동 판단까지 성공으로 처리하지 않아요.

실패 · 놓침

기준에는 찾아야 할 행동이 있지만 결과가 없거나, 합의한 구간 기준을 충족하지 못한 경우예요. 대상은 검출했는데 필요한 행동을 못 찾은 사례도 여기에 포함될 수 있어요.

어느 조건에서 놓쳤는지와 다음에 확인할 내용을 함께 기록해요.

실패 · 오탐

기준에는 해당 행동이 없는데 있다고 판단하거나, 다른 움직임을 찾을 행동으로 잘못 구분한 경우예요. 정상 장면에서 생긴 결과도 빠뜨리지 않고 확인해요.

잘못 표시한 구간, 근거, 제외 조건과의 차이를 남겨요.

보류

가림, 불충분한 화질, 부족한 전후 맥락이나 기준의 불확실성 때문에 확정하기 어려운 경우예요. 보류 이유와 추가로 필요한 자료를 적어요.

판단 근거가 충분한 장면에서 AI가 답을 내지 못했다면 보류라는 이름만으로 성공에 포함하지 않아요. 실제 보류 출력이 업무에서 어떤 영향을 주는지도 별도로 확인해요.

보류를 허용할 조건도 평가 전에 정해요. 불리한 결과를 나중에 전부 보류로 옮기지 않고, 입력 자료 때문에 판단할 수 없었던 경우와 구현이 처리하지 못한 경우를 구분해 설명해요.

미리 합의할 질문보류할 수 있는 조건은 무엇이며, 담당자가 다시 확인해야 하는 결과는 어떻게 남기나요?

자연스러운 문장이 곧 올바른 판단은 아니에요. 담당자는 설명을 읽는 것에 더해, 그 설명이 영상의 어느 구간과 관찰 내용에 연결되는지 확인할 수 있어야 해요. 결과 형식에는 원본의 어느 장면을 다시 보면 되는지 포함하도록 범위를 협의해요.

• 기준 구간과 결과 구간이 같은 행동을 가리키나요?
• 결과에 적힌 대상이나 변화가 실제 영상에서 확인되나요?
• 영상에서 관찰한 내용과, 별도 맥락이 필요한 해석이 구분되어 있나요?
• 판단하기 어려운 이유와 추가 확인할 내용을 담당자가 알 수 있나요?

픽셀와이의 공개 프레임별 검출 개발 기록은 실제 검출 화면과 시험 규칙을 구분해서 설명해요. Pixel Y ST-VLM의 시간 흐름·행동 설명과 근거 판독은 연구개발 중이며, 이 개발 화면만으로 그 연구의 완성이나 다른 현장의 성능을 뜻하지 않아요.

미리 합의할 질문담당자가 결과를 다시 확인하려면 어떤 구간과 정보가 함께 있어야 하나요?

PoC에서 확인한 범위와 실제 운영 범위가 같은지부터 봐요. 카메라 위치나 촬영 시간대가 달라지는 경우, 새로운 행동을 추가하는 경우, 실시간 연결이 필요한 경우에는 추가 검토가 필요할 수 있어요.

기준에 맞게 확인한 조건은 다음 검토의 근거로 남겨요. 놓침이나 오탐이 특정 환경에 집중됐다면 수정할 범위와 추가 자료를 정해요. 화면에서 필요한 근거 자체가 보이지 않는다면 구현 조정뿐 아니라 촬영 조건이나 과제 정의를 다시 살펴봐야 해요.

이때 결론은 “계속 진행” 하나만 있을 필요가 없어요. 추가 검증, 범위 축소, 촬영 조건 재검토, 현재 조건에서는 진행 보류처럼 다음 판단을 구체적으로 남기는 것도 PoC의 결과예요. 운영 연동은 그 판단과 필요한 환경을 바탕으로 별도 합의해요.

마지막에 확인할 질문이번에 확인한 조건은 어디까지이며, 다음 단계에서 새로 확인해야 할 것은 무엇인가요?