샘플 검증 리포트

베타 데이터를 신청하면 실제 로봇 평가 결과를 함께 제공합니다. 성공률뿐 아니라 오차 범위와 실패 원인까지 확인할 수 있습니다. 아래는 과제 하나(컵 3개 쌓기)의 실제 채점표입니다.

이 데이터로 학습한 로봇의 성공률은 53.3%였습니다. 30회 평가에서 16회 성공했으며, 실패 원인의 절반은 컵을 정확한 위치에 놓지 못한 경우였습니다.

리포트 읽는 법
① 성공률: 같은 과제를 30번 시켰을 때 성공한 비율
② 오차 범위: 30번만 시험했기 때문에 생기는 범위로, 진짜 실력은 이 안에 있다고 읽습니다
③ 실패 원인: 실패한 판마다 왜 실패했는지 분류한 기록

상세 채점표: 컵 쌓기 (3단)

베타 데이터에는 태스크별 상세 평가 결과가 함께 제공됩니다.

채점 체계 모델 채점표 (Scorecard v3)모델 π0.5 파인튜닝 베이스라인로봇 SO-101평가 실제 로봇으로 30번 시험, 제한 25초

성공 정의 컵 3개가 순서대로 쌓여 3단 타워를 이루고 무너지지 않고 서 있음.

시험 횟수

30회

성공

16회

성공률

53.3%

10번 중 5번꼴

오차 범위 (Wilson 95%)

[36.1%, 69.8%]

안전 위반

0건

평균 달성 시간

21.2초

성공 16회, 18.1~25.1초

단계	통과 / 앞 단계	성공률	오차 범위
① 컵을 집음	26 / 30	86.7%	[70.3%, 94.7%]
② 집은 컵을 위에 정렬해 쌓음	16 / 26	61.5%	[42.5%, 77.6%]
③ 3단 타워 완성 (무너지지 않음)	16 / 16	100.0%	[80.6%, 100.0%]

“조금씩 컵 위치가 바뀌더라도 컵을 찾아 쌓는 모습을 보임. 베이스 컵 위에 안정적으로 컵을 위치하기 위해 쌓은 위치를 조정하는 모습이 있었음. 이는 취득/학습되지 않은 데이터임.” 평가 세션 노트 중

내부 평가 세션의 실측 참고값이며, 공식 성공률 판정 기준 확정 후 갱신됩니다.