MS, AI 튜터 평가 시스템 StudentSim 공개

ai.euno.news 자동 뉴스 요약

마이크로소프트 리서치(Microsoft Research)가 실제 학습자에게 AI 튜터를 시험하기 전에 효과를 평가하고 개선하는 연구용 시스템 ‘StudentSim’을 공개했다. StudentSim은 학생 개인별로 답변 방식과 지도 이후의 변화를 재현해, AI 튜터 개발 과정에서 학생 반응을 더 빠르게 확보하려는 시도다. 다만 교실에 배포된 제품이 아니며 교사나 실제 수업을 대체하려는 기술도 아니다.¹

AI 튜터의 성능은 정답이나 설명의 품질만으로 판단하기 어렵다. 학생이 힌트를 받고 원래의 실수를 고쳤는지, 스스로 답을 추론했는지, 설명이 답을 지나치게 노출하지 않았는지까지 살펴야 하기 때문이다. 지금은 이런 질문에 답하려면 실제 학습자를 대상으로 연구해야 하지만, 시간과 비용이 많이 들어 모델을 빠르게 반복 개선하기 어렵다.

StudentSim은 공개된 비식별 학습 기록으로 학생마다 별도의 AI 시뮬레이터를 적응시킨다. 개인정보는 어느 단계에서도 쓰지 않았다는 것이 마이크로소프트의 설명이다. 단순히 대규모 언어 모델(LLM)에 “수학을 어려워하는 초등학생처럼 행동하라”고 지시하는 방식과도 다르다. 역할극 모델은 말투와 불확실성은 흉내 내더라도 실제 학생보다 높은 지식과 추론 능력을 동원할 수 있다. 그러면 시뮬레이션 속 학생이 지나치게 유능해 AI 튜터의 효과가 부풀려질 수 있다.

기존 지식 추적·행동 예측 모델은 실제 학습 기록에 기반해 현재 지식과 학습 습관을 추정하지만, 자연어로 된 설명이나 힌트, 소크라테스식 질문을 입력받도록 설계되지 않은 경우가 많다. StudentSim은 이 빈틈을 두 기준으로 평가한다. 하나는 특정 학생이 혼자 답할 때의 행동을 얼마나 충실히 재현하는지이고, 다른 하나는 튜터의 지도를 받은 뒤 답변을 적절히 갱신하는지다. 이는 학습자가 독립적으로 할 수 있는 일과 도움을 받아 할 수 있는 일의 간극을 보는 ‘근접발달영역’ 개념에서 가져왔다.¹

마이크로소프트는 체스, 제2언어로서의 영어 작문, 수학을 아우르는 벤치마크와 평가 절차 ‘StudentSimEval’도 함께 제시했다. 회사 발표에 따르면 StudentSim은 세 영역에서 주요 기준 모델보다 나은 결과를 냈고, AI 튜터 훈련에 활용할 만한 피드백 신호도 제공했다. 다만 공개 자료에는 구체적인 성능 수치가 제시되지 않았으며, 실제 학습자 대상 검증을 대신하는 시스템이 아니라 그 이전 개발 단계를 보완하는 도구라는 점은 분명하다.

읽기 목록은 이 브라우저에 저장됩니다.