Pixel Y ST-VLM

픽셀와이가 독자적으로 설계하는시공간 비전-언어 모델

Pixel Y ST-VLM

Understanding action,frame by frame.

영상 속 행동을 이해하는 독자 비전-언어 모델

실제 영상에 검출기를 프레임마다 돌린 화면

개발 기록

객체 검출·관절 좌표 추정 기반캐리어 손잡이
파지 상태 판정

검출·연관·시험 판정을 원본 장면과 대조한 기록이에요.

개발 기록 읽기
Pixel Y ST-VLM 플랫폼 · 에스컬레이터 안전 AI

에스컬레이터에서실측 PoC를 구축했습니다

손잡이를 놓은 캐리어, 혼자 굴러 내려가는 짐, 넘어진 승객. 기존 CCTV 영상 속 사람의 행동을 이해하고, 확신할 때만 알립니다.

콘셉트 이미지
  1. A손잡이 잡음 확인

    손이 캐리어를 잡고 있는지 봅니다

    사람과 캐리어를 각각 찾아 주인을 짝지은 뒤, 손과 손잡이가 맞닿아 있는지를 장면으로 판단합니다. 잘 잡고 있으면 경보 없이 지켜봅니다.

    Vision Core · Intent Reasoner
  2. B손 놓음 경보

    손을 놓으면 시간을 잽니다

    휴대폰을 보다 손이 손잡이에서 떨어지면 그때부터 시간을 재고, 정해진 시간을 넘기면 안내 방송으로 알립니다. 잠깐 가려져도 끊기지 않고 이어서 셉니다.

    Grip Timer
  3. C혼자 굴러가는 캐리어

    주인 없이 움직이는 짐을 먼저 알립니다

    주인 손을 떠나 경사를 따라 내려오는 캐리어를 궤적으로 쫓아, 경광등과 방송으로 아래쪽 승객에게 먼저 알립니다.

    Runaway Sentinel
  4. D넘어짐 2단계 판단

    넘어짐은 두 번 보고 알립니다

    자세 변화로 먼저 감지하고, AI가 직전 장면을 다시 보며 한 번 더 확인합니다. 확실할 때만 방송하고, 애매하면 방송 없이 역무원 화면으로 넘깁니다.

    Dual-Check Fall Guard · Confidence Gate
  5. E관제실 판정 · 자가교정

    역무원의 판정으로 더 정확해집니다

    역무원은 경보마다 맞다·틀리다만 누릅니다. 틀린 원인을 찾아 고친 뒤, 저장된 기록으로 다시 검증한 수정만 새 기준으로 적용합니다.

    Self-Evolving Loop

콘셉트 영상 · 연출된 장면이며 실제 사고 영상이 아닙니다

기존 CCTV에 서버 한 대를 더합니다

카메라를 새로 달지 않고, 역사 안의 서버가 판단해 안내 방송·경광등·역무원 화면으로 알립니다. 영상은 역사 밖으로 나가지 않습니다.

  1. 기존 CCTV상·하부·측면 카메라
  2. 역사 안 서버Pixel Y가 판단
  3. 안내 방송 · 경광등역무원 화면으로 알림
  • 다국어 안내한국어·영어·중국어·일본어 안내 음원
  • 기존 CCTV 그대로상·하부·측면 카메라를 그대로 씁니다
  • 외부 전송 없음영상과 판정 모두 역사 안에서 처리
  • 청정 라이선스상업 이용이 가능한 오픈소스 기반 모델

설계안내 방송·경광등 설비 연동

장면과 장면사이를 읽습니다

에스컬레이터 위의 8초 · 설계 예시

보류 00:05.6 – 00:06.8
Pixel Y ST-VLM · 기술 구조

공개 기반 위에,학습 가능한 자체 코어를 쌓습니다

공개 모델을 활용하는 부분과 픽셀와이가 직접 개발·학습하는 부분을 나누고, 그 차이를 재현 가능한 비교로 보여 줍니다.

입력 · 공개 기반 구성요소

영상
포즈 · 동작
“이 캐리어는 누구의 것인가?”언어 질문
Pixel Y ST-VLM자체 코어 · 신규 R&D
  1. 01포즈–영상 융합신규 R&D · CareBridge 기반
  2. 02시간적 행동·상태 표현신규 R&D
  3. 03근거·불확실성·보류신규 R&D

제품화 가설

행동 · 상태 · 근거
산업별 엔진 · API
고객 시스템
평가 설계 · 같은 영상, 같은 기준

A기반 VLM·B같은 데이터로 추가 학습·C포즈 정보 단순 결합·DPixel Y 제안 구조

CareBridge 수어 영상 · 포즈 추정 시각화

포즈–영상 융합

포즈 추정의 품질과 영상의 시각 맥락을 함께 쓰는 학습형 융합을 연구합니다. CareBridge에서 포즈 인코더와 VLM을 결합해 본 경험에서 출발합니다.

신규 R&D · CareBridge 기반
설계 예시

시간적 행동·상태 표현

한 장면이 아니라 앞뒤 장면을 이어서, 행동의 순서와 사람–사물 관계, 전후 상태 변화를 유지하는 표현을 연구합니다.

신규 R&D
설계 예시

근거·불확실성·보류

답마다 시간과 객체 근거를 남기고, 확인할 수 없는 구간은 판단을 보류하도록 설계합니다. 최종 결정은 사람이 내립니다.

신규 R&D

먼저 검증할 현장

콘셉트 이미지
실측·운영

에스컬레이터 안전

승객·캐리어·손잡이·넘어짐을 시간 순서로 읽고, 확신할 때만 알리는 안전 AI

콘셉트 이미지
PoC 준비

제조 · 물류

저장된 작업 영상을 행동·순서·상태 변화의 검토 기록으로 바꿉니다. 최종 판단은 담당자가 합니다.

CareBridge · 선행 구현

수어 인식에서도PoC를 구축했습니다

스마트폰 카메라로 한국수어를 읽고, 아바타로 답하는 앱

CareBridge 홈페이지
  1. 01카메라 입력

    포즈 추정 시각화
  2. 02수어 인식

  3. 03아바타 응답

CareBridge 앱 화면

  • CareBridge 실시간 번역 화면: 카메라 앞에서 수어를 하는 사람과 인식 결과 '약속합니다.'실시간 수어 번역
  • CareBridge 홈 화면: '수어를 AI로 번역해 보세요'와 수어 사전·긴급 문구·대화 기록 메뉴홈
  • CareBridge 대화 화면: 농인과 청인이 대회의실 위치를 묻고 답하는 대화양방향 대화
  • CareBridge 긴급 문구 화면: 의료 상황에서 쓰는 한국어·영어 문구 목록긴급 문구
같은 플랫폼 · 두 번째 현장

수어로 다루는 병원·관공서 화면

청각장애인이 스마트폰 카메라 앞에서 한국 수어로 병원·관공서 화면을 조작할 수 있도록 설계합니다.

  • KSL Pose Encoder

    영상이 아닌 관절 움직임으로 수어를 읽는 자체 인코더. 옷·배경·조명에 덜 흔들립니다.

    실측·운영
  • Screen-Context Recognition

    지금 화면에 있는 버튼 후보로 좁혀 인식하고, 애매하면 한 번 더 확인합니다.

    시제품
  • 5-Shot Personal Enrollment

    다섯 번 보여 주면 새 단어를 재학습 없이 등록합니다.

    시제품
  • Distance Coach

    촬영 거리와 손 위치를 실시간으로 안내해, 실제 휴대폰 환경의 인식 저하를 줄입니다.

    설계
콘셉트 이미지

산업 현장 검증 후환경과 Physical AI로 확장합니다

Pixel Y ST-VLM
지금 · PoC 준비산업 현장저장된 작업 영상의 사후 검토
다음 · 후속 확장환경행동·상태 변화 이해로 확장
장기 방향Physical AI로봇·자동화 시스템의 인지 계층으로 연동
기업 맞춤 AI 개발

기업 맞춤 AI 솔루션

지금 쓰는 자료와 업무에서 필요한 AI 기능부터 함께 정해요. 기존 시스템과 연결하는 방법도 같이 살펴봐요.

사내 자료 검색·답변

매뉴얼과 업무 문서를 찾아 답변에 연결하는 기능. 참고 자료와 사용자별 접근 권한을 함께 검토해요.

문서·업무 자동화

문서에서 필요한 항목을 뽑고, 분류·요약·초안을 만드는 작업. 사람이 확인하고 고치는 흐름까지 설계해요.

기존 서비스에 AI 연동

지금 사용하는 서비스에 AI 기능을 연결하는 방법. API, 운영 환경과 자료 처리 조건부터 확인해요.

개발 상담 예시 · 자료와 조건을 확인한 뒤 범위를 정해요.

기업 맞춤 AI 개발 안내
프로젝트 안내

도입 전에 궁금한 점

현재 쓰는 영상과 시스템에서 어디까지 시작할 수 있는지, 함께 확인합니다.

영상분석 AI 도입 안내
어떤 AI 개발을 의뢰할 수 있나요?

영상분석, 업무 자동화, AI 기능 개발을 상담할 수 있습니다. 해결하려는 문제와 현재 시스템을 확인하고 구현 범위를 함께 정합니다. Pixel Y ST-VLM의 자체 코어는 연구·개발 중이며, 프로젝트에 적용할 기능은 상담과 PoC에서 구체화합니다.

기존 CCTV나 보유한 영상으로 시작할 수 있나요?

기존 CCTV나 저장된 작업 영상을 활용하는 방향으로 검토할 수 있습니다. 영상 입력 방식, 화질, 촬영 각도, 분석할 행동을 확인한 뒤 가능한 범위와 필요한 추가 작업을 안내합니다.

상담 전에 어떤 자료를 준비하면 좋나요?

해결하려는 일, 현재 쓰는 시스템과 자료의 형태, 희망 일정을 알려주세요. 영상이 있다면 촬영 환경과 확인하고 싶은 행동을 설명해주시면 좋습니다. 개인정보가 포함된 자료는 먼저 설명만 보내주세요. 상담은 jaden@pixely.kr로 시작할 수 있습니다.

영상분석 PoC는 어떻게 진행하나요?

현장 영상분석은 10주 PoC를 기준으로 범위를 함께 잡습니다. 분석할 대상과 목표, 평가 기준을 정하고 구현과 검증 범위를 구체화합니다. 세부 일정과 결과물은 영상 조건과 연동 요구사항을 확인한 뒤 합의합니다.

영상 데이터는 어디에서 처리하나요?

데이터 처리 위치는 프로젝트별로 정합니다. 현장 서버에서 처리하는 구성을 포함해 보안 요구와 운영 환경에 맞는 방식을 검토합니다. 영상의 저장·처리 위치와 외부 서비스 사용 여부는 PoC 범위를 정할 때 함께 확인합니다.

어떤 일을바꾸고 싶으세요?

“이런 것도 만들 수 있나요?”
그 한 줄이면 충분해요.

개인정보나 기밀 자료는 보내지 말고,
먼저 필요한 일만 편하게 알려주세요.

메일로 이야기하기

jaden@pixely.kr