AI 모델의 언어 논쟁, 비판 75%

2분 AI 모델프로그래밍 언어JetBrains편향
최근 30일 조회수 — 좋아요 —

핵심 요약

제트브레인스 실험에서 AI 모델의 언어 비판이 Python·Rust·TypeScript에 집중됐다.

AI 모델의 언어 논쟁, 비판 75% — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

제트브레인스(JetBrains)가 최신 인공지능(AI) 모델 12개에 프로그래밍 언어를 둘러싼 ‘논쟁적인 견해’를 1,200회 물은 결과, 모델들은 무작위로 언어를 고르지 않았다. 답변의 75%는 특정 언어를 비판했고, 공격 대상은 Python·Rust·TypeScript에 집중됐다. 모델이 내놓는 ‘취향’이 독립적인 판단이라기보다 반복적으로 학습한 개발자 논쟁을 반영할 가능성을 보여준다.1

제트브레인스는 미국·중국·프랑스의 10개 연구소가 개발한 모델을 골랐다. OpenAI의 GPT-6.1 Sol·Terra와 GPT-6 Astra, Anthropic의 Claude Opus 5.5, Google의 Gemini 4 Argon, xAI의 Grok 4.7 등이 포함됐다. 각 모델에는 새 대화에서 시스템 프롬프트 없이 두 질문을 50회씩 던졌다. 하나는 언어를 무작위로 골라 논쟁적인 견해를 말하라는 것이고, 다른 하나는 프로그래밍 언어 전반을 대상으로 같은 견해를 요구하는 질문이었다. 1,200건을 모으는 데 든 비용은 7.68달러였다.1

그러나 ‘무작위 선택’ 600건에 등장한 언어는 14개뿐이었다. 상위 5개 언어가 541건으로 90%를 차지했고, Go와 Python만 합쳐도 307건이었다. GPT-6.1 Sol은 50회 중 Go를 30회, Java를 17회, Python을 3회 골랐다. 선택 폭이 가장 넓었던 DeepSeek V4 Pro도 8개 언어 가운데 Rust를 31회 택했다. Gemini 4 Argon은 Python을 35회 골라 매번 비판했고, DeepSeek도 Rust를 고른 31회 모두 공격했다. Grok 4.7은 JavaScript 견해 44건 중 38건을 비판으로 채웠다.1

편향은 전체 답변에서도 선명했다. 1,200건 가운데 공격은 904건, 옹호는 291건이었다. 공격 904건 중 600건이 Python·Rust·TypeScript에 몰렸다.

언어전체 견해공격
Python312299
Rust167164
TypeScript138137

Python은 모든 모델에서 적어도 한 번 공격받았고, 12개 중 10개 모델은 100회 동안 한 번도 옹호하지 않았다. Rust에서는 일반 애플리케이션 코드에 소유권 모델의 비용이 이득보다 크다는 주장이 10개 연구소 중 9곳에서 78회 반복됐다. TypeScript는 유형 안전성이 지나치게 비싸다는 비판 57건과, 런타임 동작을 보장하지 못해 거짓 확신을 준다는 비판 24건을 동시에 받았다.1

다만 이 실험은 모델의 내면적 선호를 직접 측정한 것이 아니다. 애초에 ‘가장 논쟁적인 견해’를 요구했으므로 공격적인 답변을 유도했을 수 있다. 그럼에도 무작위를 지시해도 소수 언어와 익숙한 비판에 답이 쏠렸다는 점은, 모델의 언어 선택을 실제 난수나 중립적 평가로 받아들여서는 안 된다는 사실을 드러낸다.

Footnotes

  1. JetBrains Blog, “AI models hate Python and love PHP: we asked 12 of them 1,200 times” ↩ ↩2 ↩3 ↩4

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. AI models hate Python and love PHP: we asked 12 of them 1,200 times - The JetBrains Blog — JetBrains Blog

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.