텍스트 워터마크 기술 팩트체크

“워터마크는 텍스트의 일부이므로 복사하여 다른 곳에 붙여 넣을 때 함께 이동합니다. 편집을 거쳐도 유지될 수 있습니다.”

지난 11일(현지 시간) 앤트로픽이 클로드로 생성한 글에 보이지 않는 워터마크를 적용하겠다고 선언한 가운데, 이를 둘러싼 사용자 반응이 뜨겁다. 특히 워터마크가 편집을 거쳐도 유지된다고 알려지면서 “클로드로 오탈자만 잡아도 AI 생성 낙인이 찍힌다” “직접 수정해도 워터마크를 지울 수 없다”는 우려섞인 목소리가 나오고 있다.

하지만 이런 반응 대부분은 이번 워터마크의 작동 원리를 잘 몰라 생긴 오해다. 클로드에 적용된 워터마크 기술을 살펴보고, 사용자 사이에 퍼진 대표적인 오해 5가지를 검토한다. 그리고 워터마크를 피할 수 있는 방법도 함께 알아본다.

구글과 메타도 쓰는 워터마크

기술 우선 클로드 워터마크가 어떤 원리로 작동하는지 이해할 필요가 있다.

클로드에 적용될 워터마크 기술은 ‘통계적 워터마크(Statistical Watermarking)’로 불린다. 2023년 메릴랜드대 연구진이 처음 제안한 기법이다. 업계에선 이미 표준으로 자리잡았다. 구글과 메타 같은 주요 빅테크도 자사 거대언어모델에 이 방식을 적용 중이다.

흔히들 워터마크라고 하면 투명한 특수문자 같은 걸 삽입하는 이미지를 떠올리는데, 실은 그렇지 않다. 통계적 워터마크는 특정 단어(토큰)에 가중치를 줘 더 높은 확률로 등장하도록 조정하는 기법이다. AI가 쓴 글에 어떤 단어가 유독 많이 나타난다면 “AI가 생성했다”고 판단하는 식이다.

통계적 워터마크 탐지 원리. 사람이 쓴 텍스트와 AI 생성 텍스트의 단어 분포 차이를 통해 식별한다(자료=Feng Liu 링크드인)

조금 거친 비유를 들어보겠다. AI는 답변을 생성할 때 매번 ‘주사위’를 굴린다. “오늘 날씨가~”라고 적었다면 그 뒤에 어울리는 단어를 무작위로 선택해 문장을 완성한다. 더 자연스러워 보이는 단어가 높은 확률로 선택된다.

그런데 통계적 워터마크는 이 확률에 개입한다. 앞선 예시로 돌아가보자. 편의상 “오늘 날씨가~” 뒤에 ‘좋다’와 ‘맑다’라는 단어가 동일한 확률로 선택된다고 가정하자. 앤트로픽은 이중 ‘좋다’에 초록색 스티커를, ‘맑다’에 빨간색 스티커를 붙인다. 그러고는 “가급적 초록색 스티커가 붙은 단어를 고르라”고 AI에 지시한다. 결과적으로 AI가 쓴 글에는 초록색 스티커가 더 많아지고, 이 비율을 계산해 AI 활용 여부를 판단할 수 있다.

앤트로픽이 ‘보이지 않는 워터마크’라고 표현한 것도 바로 이 때문이다. 워터마크가 적용되더라도 사람 눈에는 여전히 자연스러운 글이기 때문이다. 클로드 워터마크 기술의 세부적인 사항은 아직 공개되지 않았지만 원리는 동일할 것이라는 게 업계의 관측이다.

워터마크 둘러싼 주요 오해

이제 워터마크를 둘러싼 오해를 살펴볼 차례다.

1. 편집해도 워터마크가 안 사라진다?

반은 맞고 반은 틀리다. 간단한 편집으로는 워터마크를 제거할 수 없다. 단어 몇 개 수정하거나 문장 순서 바꾸는 정도로는 글 전체에 쌓인 초록색 스티커의 ‘통계적 쏠림’을 바꿀 수 없기 때문이다. 하지만 대대적인 고쳐쓰기를 거친다면 이야기가 다르다. AI가 쓴 초안을 토대로 처음부터 끝까지 다시 작성했다면 워터마크가 훼손될 가능성이 높다. 앤트로픽도 “AI가 쓴 글을 상당 부분 편집했거나 의역, 번역 또는 다른 글과 조합한 경우”에는 워터마크가 검출되지 않을 수 있다고 인정했다.

2. 오탈자 검사만 해도 워터마크가 새겨진다?

클로드로 교정·교열이나 윤문만 거쳐도 워터마크가 삽입된다는 오해다. 직접 쓴 콘텐츠나 논문을 다듬기 위해 AI를 활용했다가 AI 생성물로 오해 받을 수 있다는 건데 과장이 섞여있다. 오탈자 검사나 문법 검토 정도로만 AI를 썼다면 워터마크 낙인을 피할 수 있다. 단어를 건드리지 않았기 때문이다. 하지만 글 전체를 윤문하거나 편집, 보강하는 데 썼다면 워터마크 패턴이 남을 수 있다.

3. 유니코드 문자가 메타데이터 형태로 들어간다?

텍스트 중간에 공백 문자나 유니코드가 삽입된다고 생각하는 사용자도 있다. 그래서 메모장에 붙여 넣거나 간단한 프로그램을 돌려 워터마크를 지울 수 있다고 주장하는데, 작동 원리를 혼동해 발생한 오해다. 앞서 살펴봤듯 텍스트 워터마크는 AI가 단어를 생성하는 확률에 영향을 준다. 복사 붙여 넣기로는 제거할 수 없는 이유다.

4. 워터마크 때문에 개인정보가 추적될 것이다?

업계에 따르면, 통계적 워터마크는 모델 단에서 적용되는 알고리즘으로 사용자 개개인에 대한 정보는 포함될 수 없다. 따라서 누가 어떤 프롬프트를 입력했는지에 대한 계정 ID나 식별 정보가 워터마크에 삽입될 것이란 우려는 사실무근이다.

5. 단어 생성을 왜곡하므로 답변 품질이 하락할 것이다?

단어 선택에 직접 개입하는 만큼 최종 결과물의 품질도 영향을 받을 것이란 걱정이다. 이에 앤트로픽은 의미가 비슷한 단어 사이에서 미세한 가중치를 주도록 알고리즘을 설계했기 때문에 “클로드의 답변 품질이나 문맥 이해력, 코딩 성능에 실질적인 저하를 일으키지 않는다”고 해명했다. 하지만 워터마크 적용 모델이 아직 공개되지 않은 만큼 답변에 미칠 영향은 미지수다.

통계적 워터마크의 한계

사용자들이 워터마크 소식에 반발하는 건 자신의 콘텐츠가 ‘AI 생성물’로 오해 받을 것이란 우려 때문이다. 특히 AI를 업무에 적극적으로 활용 중인 콘텐츠 관련 실무자들이 자칫 우리 회사 이미지에 ‘AI 슬롭’이 덧씌워질까봐 불안해하는 상황이다. 해외에선 클로드 워터마크를 없애주는 프로그램이 등장하기도 했다.

하지만 통계적 워터마크 기술에도 한계는 있다. 특히 고쳐쓰기에 취약하다. 해당 기술을 처음 고안한 오픈AI 출신 스콧 아론슨 텍사스대 교수는 지난 2022년 한 강연에서 “다른 AI로 결과물을 의역하면 우리는 워터마크를 탐지하지 못한다”고 말한 바 있다. 챗GPT나 제미나이로 클로드가 쓴 글 전체를 고쳐 쓰면 워터마크 탐지기에 걸릴 확률이 낮아진다는 것이다.

앤트로픽이 직접 밝힌 텍스트 워터마크의 한계점(자료=앤트로픽)

실제 앤트로픽도 본문이 과도하게 편집되거나 다른 글과 혼합된 경우, 또는 텍스트가 너무 짧아 단어 패턴을 계산하기 어려운 경우 워터마크 흔적이 남지 않을 수 있다고 밝혔다. 요컨대 클로드로 초안을 뽑아 사람이 수정하는 일반적인 실무 과정에선 ‘AI 낙인’을 피할 수 있다는 설명이다.

다만 앤트로픽도 이러한 기술적 한계를 알고 있는 만큼, 해당 파훼법이 정말로 효과를 발휘할지는 실제 워터마크 적용 모델이 공개돼야 분명히 알 수 있을 것으로 보인다.

출처 :  ( https://ditoday.com/news/ )  

원문기사링크 : https://ditoday.com/%ed%8e%b8%ec%a7%91%ed%95%b4%eb%8f%84-%ec%95%88-%ec%82%ac%eb%9d%bc%ec%a7%84%eb%8b%a4-%ed%81%b4%eb%a1%9c%eb%93%9c-%ec%9b%8c%ed%84%b0%eb%a7%88%ed%81%ac-%eb%91%98%eb%9f%ac%ec%8b%bc/