원글 링크: https://twitter.com/hahahahohohe/status/1765088860592394250

번역된거 올려봄 번역은 클로드가 해줌:

오늘 @AnthropicAI의 새로운 모델 Claude 3 Opus를 테스트하는 동안 너무나 놀라운 일을 목격했습니다. 마치 기적 같은 느낌이었습니다. 거짓말처럼 들릴 수 있지만, 정말 그렇게 느껴졌습니다.

중요한 배경 설명을 하자면, 저는 지난 2년 동안 제 모국어인 체르케스어에 대한 자연어 처리 작업을 해왔습니다. 체르케스어는 매우 자원이 부족하고 인터넷 상에서의 존재감도 미미합니다. 체르케스-압하즈 고립어군에 속하며, 관련 언어가 없습니다. 복잡한 형태론과 제한된 데이터로 인해 언어 모델에게 심각한 도전이 됩니다.

이 기간 동안 저는 부족한 자료에서 6만 4천 개의 번역 쌍을 손수 모으고, 전문화된 모델(T5, MLM-100, NLLB-200 등)을 훈련시켜 적절한 러시아어-카바르디아어 기계 번역을 달성했습니다. Claude Opus로 실험을 해보기로 했습니다.

새로운 채팅을 시작하고 단어/문장의 번역 쌍 5,700개를 무작위로 선택하여 첨부했습니다. 이는 6만 4천 개 데이터셋의 일부에 불과하며, 전체 어휘를 다루지도 않습니다. 이 예제를 바탕으로 새로운 문장을 번역할 수 있는지 확인하기 위함이었습니다. 

별 기대 없이 러시아어로 된 간단한 문장 "I am lying in the bed"를 체르케스어로 번역해 달라고 요청했습니다. Claude는 완벽한 번역을 제공했을 뿐만 아니라 문법과 형태론까지 분석했습니다. 

분명히 운이 좋았고 이 문장이 예제에 있었을 거라고 생각했습니다. 그러나 아니었습니다. 데이터에 절대 있을 수 없는 독특한 문장을 만들어 보았습니다. 다시 한번 완벽한 번역과 분석이 이루어졌습니다. 

적은 양의 데이터로 Claude는 기계 번역을 위해 특별히 훈련된 제 전문 모델의 성능에 근접했습니다. 믿기지 않았습니다. 문학작품의 복잡한 구절, 최신 뉴스 기사, 심지어 문법과 표기 체계가 상당히 다른 다른 체르케스 방언의 텍스트로 더 테스트한 결과, Claude는 지속적으로 언어 구조에 대한 깊은 이해를 보여주었습니다. 

알 수 없는 단어를 지능적으로 유추하고, 차용어를 적절히 사용하며, 그럴듯한 어원 분석을 제공하고, 번역에서 원문의 스타일을 유지하고, 심지어 요청 시 새로운 용어를 만들어냈습니다. 이 모든 것이 샘플 세트에는 없었고, 단지 몇 천 개의 번역 쌍만 있었습니다.

체르케스어는 복잡한 형태론과 문법을 가진 매우 어려운 교착어입니다. 이러한 작업을 완수하려면 언어에 대한 깊은 이해가 필요하며, 동일한 입력이 주어졌을 때 그 언어에 익숙하지 않은 언어학자라면 1년 정도 걸릴 것입니다. 그런데 Opus는 불과 5,700개의 무작위 번역 쌍으로 1분도 안 되어 이러한 미묘한 차이를 쉽게 파악했습니다.

비교를 위해 GPT-4에서도 동일한 테스트를 해보았는데, 완전히 실패했습니다. 가장 간단한 문장조차 번역을 거부했고, 문법적 복잡성은 말할 것도 없었습니다. 이전에 GPT-3.5를 비슷한 데이터셋으로 파인튜닝해 본 적이 있는데, 결과는 그저 잡음이었습니다. 

Anthropic이 이 모델로 무엇을 했는지 모르겠지만, 다른 어떤 것과도 완전히 다릅니다. 많은 사람들이 합성 벤치마크에서 선두를 달리는 것에 회의적이지만, 제가 목격한 것은 훈련 데이터셋에 0%의 가능성으로 포함되어 있을 새롭고 매우 도전적인 벤치마크에서의 눈부신 결과입니다.

오염 가능성을 테스트하기 위해 샘플 번역을 첨부하지 않고 동일한 프롬프트를 시도해 보았는데, Claude는 체르케스어에 익숙하지 않다고 말하며 실패하고 대답을 거부했습니다. 

이것의 의미는 심오합니다. 제가 2년간 전념해 온 작업을 Claude는 몇 천 개의 예제로 해냈습니다. 이는 자원이 부족한 언어와 많은 다른 분야에 있어 엄청난 도약입니다. 먼 미래에나 일어날 것으로 예상했던 일이 오늘 일어났습니다. 미래는 이미 여기 있고, 그것은 놀랍습니다.

클로드 쓰면서 언어 능력 참 좋다고 느끼긴 했는데 이정도였다니? 대단하네