LimiX-2, 인과관계까지 학습하는 정형 데이터 파운데이션 모델 공개

ai.euno.news 자동 뉴스 요약

LimiX-2는 표 형태로 정리된 정형 데이터(structured data)를 다루는 신경망으로, 특정 데이터셋이나 과제에 맞춰 훈련하지 않고도 범용적으로 예측·분석 능력을 발휘하는 것을 목표로 한다. LimiX 계열의 후속 모델인 이 시스템은 arXiv에 15일 공개된 논문에서 소개됐다¹.

이 모델의 핵심은 CMN(Contextual Mechanism Networks, 맥락적 메커니즘 네트워크)이라는 설계 방식이다. 기존 정형 데이터용 파운데이션 모델들, 이른바 PFN(Prior-Fitted Networks)은 주어진 맥락 데이터 $D_{\mathrm{context}}$와 입력 $x$를 바탕으로 정답 $y$를 맞히는 $p(y \mid x, D_{\mathrm{context}})$ 목적함수에 집중해왔다. LimiX-2는 여기서 한 걸음 물러나, 데이터를 생성한 구조 자체를 학습하는 $p(x, y \mid D_{\mathrm{context}})$를 목표로 삼는다. 논문은 이를 “타깃 중심 예측에서 메커니즘 중심의 결합 모델링으로” 옮겨간 것이라고 설명한다.

이런 전환을 뒷받침하는 사전학습 방식이 CCMM(Context-Conditional Masked Modeling)이다. LimiX-2는 다양한 그래프 구조와 함수적 메커니즘, 관측 과정을 포괄하는 구조적 인과 모델(SCM, Structural Causal Model)로 만든 합성 데이터셋을 통해 학습된다. 즉 실제 정형 데이터를 그대로 넣는 대신, 인과관계가 명시적으로 설계된 가상의 데이터 생성 과정을 대량으로 만들어 모델이 그 이면의 구조를 익히게 하는 방식이다.

성능 검증은 TabArena, TALENT, BCCO 세 벤치마크에서 이뤄졌다. 논문에 따르면 LimiX-2는 이 평가들에서 특정 데이터셋에 맞춰 훈련된 개별 모델은 물론, 기존의 정형 데이터 파운데이션 모델들도 앞섰다. 다만 구체적인 정확도 수치나 비교 모델명은 초록에 명시되지 않아 확인할 수 없다.

논문이 강조하는 또 다른 지점은 예측 성능을 넘어선 인과 인식 능력이다. CMN 구조에서 특징(feature) 간 주의(attention) 메커니즘이 데이터 안의 직접적 인과관계를 그대로 반영하도록 설계됐고, 이 덕분에 모델이 인과 골격(causal skeleton), 즉 변수들 사이의 인과적 연결 구조를 정확히 복원해낼 수 있었다고 밝히고 있다. 정형 데이터 모델이 상관관계를 넘어 인과관계 추론까지 겸하도록 설계된 사례로, 저자들은 이를 예측 성능 향상과는 별개의 부가 효과로 소개한다.

논문은 아직 동료 심사를 거치지 않은 arXiv 프리프린트이며, 모델 크기나 학습에 사용된 데이터 규모, 코드·가중치 공개 여부 등 구현 세부사항은 초록에서 다뤄지지 않는다.

읽기 목록은 이 브라우저에 저장됩니다.