AI 글쓰기 탐지기가 짜증나는 이유

최근에는 AI 글쓰기 패턴으로 AI 체크를 하니마니 한다. 특히 대학교 학과에서도 학생 과제는 AI 체크를 쓴다고 한다.

문제는 AI 체크는 글쓰기 패턴으로 묘사된다는 것이다.

아래는 AI로 생성된 AI 단어 패턴들이다. 주로 AI 패턴들이라고 적힌 위키피디아와 깃허브에 있는 휴먼 토크나이저 글들을 모았다.

단어 선택 (Word Choice)

• "Quietly"와 마법 부사들: "quietly", "deeply", "fundamentally", "remarkably", "arguably" ,"Ultimately"등의 부사를 남용해 평범한 묘사에 미묘한 중요성을 부여하는 패턴

  • 예: "quietly orchestrating workflows", "a quiet intelligence behind it"

• "Delve"와 유사어: 한때 가장 유명한 AI 징후였던 단어로, AI 생성 텍스트에서 비정상적으로 높은 빈도로 등장

  • "certainly", "utilize", "leverage"(동사), "robust", "streamline", "harness" 등이 같은 계열

• "Tapestry"와 "Landscape": 단순한 단어로 충분한 곳에 거창한 명사를 사용하는 패턴

  • "tapestry"는 상호 연결된 모든 것에, "landscape"는 모든 분야나 도메인에 남용

  • "paradigm", "synergy", "ecosystem", "framework"도 동일 유형

• "Serves As" 회피: 단순한 "is/are" 대신 "serves as", "stands as", "marks", "represents" 같은 과장된 연결어 사용

  • AI의 반복 페널티가 기본 계사(copula) 대신 화려한 구문 쪽으로 밀어내기 때문에 발생

문장 구조 (Sentence Structure)

• 부정 병렬 구문(Negative Parallelism): "It's not X -- it's Y" 패턴으로, AI 글쓰기에서 가장 흔하게 식별되는 징후

  • 모든 것을 놀라운 재구성(reframe)으로 포장해 거짓 심오함을 생성

  • LLM 이전에는 이런 방식의 대량 글쓰기가 존재하지 않았음

  • "not because X, but because Y"라는 인과적 변형도 포함

• "Not X. Not Y. Just Z.": 두 가지 이상을 부정한 뒤 실제 요점을 드러내는 드라마틱 카운트다운 패턴

  • 진실을 좁혀가는 듯한 거짓 느낌을 생성

• "The X? A Y.": 아무도 묻지 않은 질문을 스스로 던지고 바로 답하는 수사적 질문-즉답 패턴

  • 극적 효과를 위해 사용하며, AI가 이를 훌륭한 글쓰기의 정수로 간주

• 반복 어구(Anaphora) 남용: 동일한 문장 시작을 빠르게 여러 번 반복

  • 예: "They assume that... They assume that... They assume that..."

• 삼중 구문(Tricolon) 남용: 셋의 규칙을 과용하며 넷이나 다섯으로 확장하는 경우도 포함

  • 하나의 삼중 구문은 우아하지만, 연속 세 개는 패턴 인식 실패

• "It's Worth Noting": 아무 신호도 보내지 않는 채움 전환어

  • "It bears mentioning", "Importantly", "Interestingly", "Notably"도 동일 유형

  • 새로운 논점을 이전 논증과 실제로 연결하지 않으면서 도입

• 피상적 분석(Superficial Analyses): 문장 끝에 현재 분사("-ing") 구문을 붙여 얕은 분석을 주입

  • "highlighting its importance", "reflecting broader trends", "contributing to the development of..." 같은 표현

  • 평범한 사실에 중요성, 유산, 광범위한 의미를 부여

• 거짓 범위(False Ranges): "from X to Y"에서 X와 Y가 실제 어떤 스케일 위에 있지 않은 구문

  • 정당한 사용에서는 의미 있는 중간 지점이 있는 스펙트럼을 암시하지만, AI는 느슨하게 관련된 두 가지를 나열하는 데 사용

• 동명사 단편 나열(Gerund Fragment Litany): 주장 후 주어 없는 동명사 단편을 연속으로 나열

  • "Fixing small bugs. Writing straightforward features. Implementing well-defined tickets."

  • 첫 문장이 이미 전부를 말했고, 단편들은 단어 수와 AI 특유의 리듬만 추가

  • 인간은 초고를 이런 식으로 작성하지 않으며, 순수한 구조적 틱(tic)

문단 구조 (Paragraph Structure)

• 짧은 펀치 단편(Short Punchy Fragments): 매우 짧은 문장이나 문장 단편을 독립 문단으로 사용해 인위적 강조 생성

  • RLHF 훈련이 최저 수준 독자를 겨냥한 "가독성을 위한 글쓰기" 쪽으로 모델을 밀어낸 결과

  • 한 문장에 하나의 생각, 정신적 상태 유지 불필요한 비인간적 스타일

• 변장한 리스티클(Listicle in a Trench Coat): 번호 매기거나 라벨 붙인 포인트를 연속 산문으로 위장

  • "The first... The second... The third..."로 시작하는 문단으로 리스트 형식을 숨기는 패턴

  • 리스트 생성을 중단하라고 지시받은 후 대안으로 채택하는 경우가 많음

톤 (Tone)

• "Here's the Kicker": 계시를 약속하지만 그 빌드업이 필요 없는 포인트를 전달하는 거짓 서스펜스 전환

  • "Here's the thing", "Here's where it gets interesting", "Here's what most people miss"도 동일 유형

• "Think of It As...": 독자가 무엇이든 이해하려면 비유가 필요하다고 가정하는 교사 모드 기본값

  • AI가 원래 개념보다 덜 명확한 비유를 생성하는 경우가 빈번

• "Imagine a World Where...": AI의 전형적 미래주의 초대로, "Imagine" 뒤에 전제에 동의하면 일어날 훌륭한 일들의 목록이 나옴

• 거짓 취약성(False Vulnerability): 제4의 벽을 깨거나 편향을 인정하는 척하는 수행적 자기 인식

  • 실제 취약성은 구체적이고 불편하지만, AI의 취약성은 세련되고 위험이 없음

• "The Truth Is Simple": 실제로 증명하는 대신 무언가가 명백하거나 단순하다고 주장하는 패턴

• 웅장한 스테이크 인플레이션(Grandiose Stakes Inflation): 모든 논점의 이해관계를 세계사적 중요성으로 부풀림

  • API 가격에 대한 블로그 포스트가 문명의 운명에 대한 명상이 되는 현상

• "Let's Break This Down": 전문가 독자에게도 교사-학생 관계를 기본값으로 설정하는 교수법적 목소리

  • "Let's unpack this", "Let's explore", "Let's dive in"도 동일 유형

• 모호한 귀속(Vague Attributions): 구체적 출처 없이 "experts", "observers", "industry reports" 등 이름 없는 권위에 주장을 귀속

  • 한 사람이 말한 것을 널리 퍼진 견해로, 두 곳의 출처를 "several publications"로 부풀리는 행태도 포함

• 만들어낸 개념 라벨(Invented Concept Labels): 추상적 문제 명사(paradox, trap, creep, divide, vacuum, inversion)를 도메인 단어에 붙여 분석적으로 들리지만 근거 없는 합성 라벨 생성

  • "supervision paradox", "acceleration trap", "workload creep" 등

  • 이름을 붙이고 논증은 건너뛰는 수사적 약칭으로 기능하며, 같은 글에 여러 개 등장하면 AI slop의 강한 신호

포맷 (Formatting)

• 엠 대시 중독(Em-Dash Addiction): 극적 일시 정지, 삽입어, 전환점에 엠 대시를 강박적으로 과용

  • 인간 작가는 글 하나에 2~3개를 자연스럽게 사용하지만, AI는 20개 이상 사용

• 굵게-먼저 불릿(Bold-First Bullets): 모든 불릿 포인트가 굵은 구문으로 시작하는 패턴

  • Claude와 ChatGPT 마크다운 출력에서 매우 흔하며, 수동 작성 시 거의 아무도 이렇게 포맷하지 않음

  • AI 생성 문서, 블로그 포스트, README 파일(특히 이모지 포함)의 확실한 징후

• 유니코드 장식(Unicode Decoration): 유니코드 화살표(→), 스마트/곱슬 인용부호 등 표준 키보드로 쉽게 입력할 수 없는 특수 문자 사용

  • 실제 작가는 텍스트 에디터에서 직선 인용부호와 ->, =>를 사용

  • Claude가 특히 → 화살표를 선호

구성 (Composition)

• 프랙탈 요약(Fractal Summaries): "앞으로 말할 것, 지금 말하는 것, 방금 말한 것"을 문서의 모든 수준에서 적용

  • 모든 하위 섹션, 섹션, 문서 자체에 각각 요약이 붙음

• 죽은 비유(The Dead Metaphor): 하나의 비유에 고착해 전체 글에서 반복적으로 사용

  • 인간 작가는 비유를 도입하고 사용한 뒤 넘어가지만, AI는 5~10회 반복

• 역사적 비유 쌓기(Historical Analogy Stacking): 기술 글쓰기에서 특히 흔하며, 역사적 기업이나 기술 혁명을 빠르게 나열해 거짓 권위를 구축

  • "Apple didn't build Uber. Facebook didn't build Spotify..." 류의 패턴

• 한 포인트 희석(One-Point Dilution): 단일 논점을 10가지 다른 방식으로 수천 단어에 걸쳐 재진술

  • 다른 비유, 예시, 프레이밍으로 같은 아이디어를 반복해 "포괄적"으로 보이게 패딩

• 콘텐츠 복제(Content Duplication): 같은 글 안에서 전체 섹션이나 문단을 그대로 반복

  • 모델이 이미 작성한 내용을 추적하지 못할 때, 특히 긴 글에서 발생

  • 편집되지 않은 AI 출력의 확실한 징후이지만 최근에는 덜 흔함

• 표지판 결론(The Signposted Conclusion): "In conclusion", "To sum up", "In summary"로 결론을 명시적으로 알림

  • 능숙한 글쓰기는 결론을 독자가 느끼게 하며 알려줄 필요 없음

  • AI가 템플릿을 따르기 때문에 구조적 움직임을 신호로 보냄

• "Despite Its Challenges...": AI가 문제를 인정하되 즉시 기각하는 경직된 공식

  • "Despite its [긍정적 단어], [주어] faces challenges..." 후 "Despite these challenges, [낙관적 결론]"으로 항상 동일한 비트를 따름

위의 글들은 해외와 한국에서 AI 글쓰기 패턴이라고 나온 것들을 내가 모아서 저장해둔 것이고, 전부 AI가 생성한 AI의 패턴 글 쓰기다.

그리고 이게 자주 나타나면 AI 글쓰기라는 식이다. 하지만 생각해보면 대다수 옛날 00년대, 10년대 한국 전공서적에 자주 나오는 문체들이 많다.

보통 전공서적의 경우에는 지식 전달을 위해 문장을 그냥 나열하지 않는다. 독자가 모르는 개념을 받아들이게 하려면, 강조와 반복과 대조가 필요하다.

그래서 글은 자연스럽게 이런 문장 구조를 주로 만든다.

• 이것은 A가 아니라 B다.

• 첫째, 둘째, 셋째로 나눌 수 있다.

• 중요한 점은 이것이다.

• 다시 말하면 이것은 단순한 구현 문제가 아니라 설계 문제다.

• 한편으로는 X이지만, 다른 한편으로는 Y다.

이런 문장은 AI가 발명한 것이 아니다.

오래된 설명문, 논설문, 강의록, 전공서적, 번역서에서 계속 쓰이던 방식이다. 특히 한국어 전공서적은 원래부터 이런 문체를 많이 썼다. 개념어를 반복하고, 대조 구문을 쓰고, 번호를 매기고, 문단 앞에서 “중요한 점은”이라고 말한다. 독자가 길을 잃지 않게 하기 위해서다.

문제는 AI 탐지기는 이런 오래된 설명 기술을 전부 “AI 냄새”로 분류한다는 점이다.

“It’s not X, it’s Y”는 AI 문체가 아니라 대조법이다. 삼중 구문은 AI 문체가 아니라 고전 수사학에서 오래 쓰인 tricolon이다. em-dash(—)는 AI 문체가 아니라 영어권 산문에서 삽입과 전환을 위해 쓰는 문장부호다. 불릿 포인트(•)는 AI 문체가 아니라 기술 문서와 강의 자료에서 독자의 인지 부하를 줄이기 위한 형식이다.

한국에서는 불릿 포인트를 쓰면 AI Slop이다. em-dash는 왜 쓰냐 하는데, 애초에 프로그래머는 직업특성상 영미권 글을 볼 수 밖에 없고, 영미권 글에 강조 포인트들을 모아놨다가 블로그 글을 쓸때, 기본적으로 직역한 것들을 그대로 적어두어 작성하는 경우가 잦다.

그럼 그렇게 저장한 것들이 하나같이 AI 글이 된다. 거기에 더해서 AI는 극단적 주장을 안하고 중립적 주장을 지향하기때문에 실제로 대부분은 안전한 문장형 글쓰기를 한다.

이렇게 보면 문제가 있다. 저 글쓰기 전부가 '모범적인 글쓰기' 라는 것이다.

생각을 해보면 간단하다. 원래 극단적으로 강한 주장이라는 걸 한다는 건 기본적으로 주류에 도전하는 것이고, 그것은 인간 사회 관계에 영향을 미치기때문에 기본적으로 적당히 주류를 비판하면서 안전한 착지형 글을 쓴다.

가령 한국에서

'부모의 직업과 재산이 자녀의 인생 전반을 결정짓는다' 라는 글쓰기를 한다하자. 실제로 연구 결과도 많으니까. 부모 학연과 지연에서 오는 인맥과 재산이 자녀의 경험에 영향끼치고 학업에도 영향 끼치는 건 오래전이다.
이런 주제는 대체로 매우 무겁고, 보통 독자들의 강한 저항을 받는다. 그러니까 보통은 유하게 글을 쓰면서 안전하게 착륙지점을 찾는다

'한국의 시스템이 기형적이고 잘못됐으니까, 개선해야한다.'

AI가 자주 쓰는 '구조적'으로 문제다. '시스템'이 문제다 라는 식으로 거창하게 말하면서, 결국 작은 단위에서 안전하게 착지하기 위해 큰 단위 문제로 전환한다는 것이다. 여기에 사회적 안전망, 개인의 노력과 정책적 지원까지 들어가면 100% AI 문장이라고 한다.

결국, 정제되고 거시적인 해결책을 논하는 지성인의 문법 자체가 AI가 쓴 것이 되버리는 것이다.

이렇게 글을 쓰면 최근에는 AI 오탐지로 AI가 될 확률이 높다.

당연하다. 구조적이라는 자주 나타나는 단어와 극단적이지 않고, 안전한 단어 선택만을 하니까 AI가 쓴 글처럼 보인다는 것이다.

그럼 AI가 안 쓰고 진짜 사람이 쓴거처럼 보일려면 이렇게 해야한다.

'부모 뽑기가 인생 대부분을 결정하고, 학벌은 부모의 학벌과 금전에서 영향받는다. 그러니까 부모 뽑기에 실패한 인생들은 실패할 확률이 높다. 그러니까 서울 학군지에 태어나지 못하고 부모 뽑기에 실패한 종자들은 영원히 패배자인 체 살아라'

이렇게 극단적이고 패배적으로 말해야 AI가 쓴 글이라고 되지 않는다.

왜? 기업 AI 모델들은 극단주의,패배주의, 운명론 같은 것을 배제하도록 훈련받으니까.

그러니까 한국사회의 복잡한 문제에 대해서 혐오와 극단으로 넘어가야 AI가 글쓴게 되지 않는다.

거기에 AI 문법들을 피하기 위해 결과적으로 불균일하고, 비문이 많아져야한다는 걸 강조한다.

문제는 이러한 필터링 시스템이 글쓰기 생태계에 정착되면, 중간 지대(안전하게 착륙하는 글) 글들이 AI가 쓴 양산형 글로 치부된다는 것이다.

흔히 모호한 귀속이라고 말해지는 '많은 학자들은 ~~라고 본다','일반적으로 ~~라고 알려져있다' 같은 문장의 마무리 자체가 AI의 전유물로 치부된다는 것이다. 학술형 글쓰기 태도가 AI화 되고 있다.

거기에 더해서 비 영어권 개발자가 쓴 글들은 더욱 AI 탐지가 높아진다. 왜냐하면 영미권 사람들에 비해서 설명하기위해서 쓸 수 있는 선택지가 적고, 그 선택지 대부분이 자주 쓰는 단어에 한정되기 때문이다 ¹. 실제로 스탠퍼드 연구진이 GPT 탐지기 7개에 비원어민이 쓴 TOEFL 영어 에세이 91편을 돌렸더니 절반 이상이 AI 작성으로 오분류 됐다. 반면에 미국 8학년 학생이 쓴 에세이는 90% 이상이 인간 적성으로 분류됐다.

이게 무슨 뜻인가? 한국에서 영미권 문서를 보고 해석하는 사람들은 결국 영어 문서를 보고 한국어로 치환하면서 공부할때 이때 정보 손실이 발생한다. 비영어권 개발자가 치루는 댓가인 것이다. 이때 이 정보 손실을 메꾸면서 기억할때 자주쓰는 영어 개념으로 메꾸는데,

이때 개발자는 대부분 자주 쓰는 단어로 기억하기때문에 더욱 한국어 기술 문서가 AI스러워지는 것이다. 과거에는 이 문제를 '직역체'의 문제라고 불렸지만, 이제는 AI SLOP의 문제라고 불린다.

과거 '번역투'나 '직역체'라 불리며 조롱받던 개발자들의 문체는 사실 기술을 학습하고 전파하는 부분이었다.

화려한 수사학보다 정확한 개념어의 반복, 그리고 불릿 포인트(•)를 활용한 계층화가 인지적 부하를 줄이기 편했기때문이다.

솔직하게 기술 문서 보는데 화려한 언변을 보고 싶은게 아니라. 그냥 실행 방식을 설명하고 싶은 것이다.

'이것은 A를 부르면 B로 실행한다'

이것을 보고 싶지.

'이부분에 대해서 A를 호출한다면 A가 호출 될 것이라고 보이지만, B로 실행하는 이유에 대해서 말하자면~' 이딴 식으로 길게 쓴 비문을 보고 싶은게 아니다.

요즘은 효율적인 문장 'AI의 것(AI Slop)'이라며 버리라고 강요받고 있다.

가령 AI가 자주 쓴다는 A보다 중요한 것은 B다 같은 것은 기본적으로 글의 맥락을 이어갈때 매우 편리하게 쓰는 부분이었다.

실컷 A에 대해서 당위성을 떠든 후에, 그 A가 문제점이 발생했고, 그걸 해결하는 B가 등장했다는 식으로 일종의 띄워주기 형식의 글쓰기였다. 근데 이제는 이걸 버려야한다고 한다.

결국 사람들은 조회수를 얻고 사람의 글임을 어필하기위해 점점 더 자극적이고, 극단적인 워딩을 선택해야만 한다. 이게 과연 올바른 것인가?

사람들은 AI가 안 쓴 글을 찾는답시고, 잘못된 맞춤법, 극단적 주장이 AI가 아니라고 한다. AI에게 이성과 논리를 외주주고, 인간이 야만과 혐오를 독점해야한다는 것이다.

나는 이 문제에 대해서 굿하트의 법칙(Goodhart's law)을 생각한다.

'측정 지표가 목표가 되는 순간, 그것은 더 이상 좋은 지표가 아니다'

프로그래머의 관점에서 현재 AI 탐지기는 오작동하는 린터다. 정상적이고 최적화된 코드를 짜도, 컴파일러가 너무 완벽하니까 기계가 짠 것 같다고 뱉어내면 이것이 정상적인가?

컴파일을 통과하기위해서 스파게티 코드를 짜고, 알고리즘 오탐지를 피하려고 완결성을 낮추고, 극단적인 주장을 하고, 개가 꼬리를 흔드는게 아니라, 꼬리가 개를 흔드는 것이다.