최적화만으로는 부족하다.

최적화의 한계

최근 대규모 언어 모델(LLM)의 발전은 인공지능 기술의 급격한 성장을 보여주고 있다. 하지만 이러한 발전에도 불구하고, 트레이닝 데이터의 최적화만으로는 부족함을 느끼게 된다. OpenAI의 GPT-2 출력을 공개한 이후, 기계가 생성한 텍스트를 감지하는 데 도움을 주었지만, 그들의 더 유연한 후계자는 옵티미제이션 문화의 최신 표현으로 읽힌다.

이러한 신념을 통해 트레이닝, 디코딩, 선호도 조정, 벤치마크, 인터페이스와 그에 대한 유산인 감사 사회의 계보를 따라, 우리는 한계에 도달한다. 옵티미제이션 과정은 생성된 텍스트의 불가능성을 측정할 수 있지만, 그 불가능성이 오류인지 창의성인지 알 수 없다. 오류인지 창의성인지 구분할 수 없는 과정은 여전히, 반세기 이내에 합법적인 언어의 프로토콜을 설정하는 권한을 차지하고 있다.

판단의 한계

수십 년 동안 학회와 학교에서 보유되어 온 문법과 시험장의 권한은 손실 함수, 보상 모델, 벤치마크, 시스템 프롬프트에 넘겨졌다. 판단의 사무를 수행하는 기구지만 판단할 수 있는 능력은 없다. 이러한 한계는 대규모 언어 모델(LLM)의 발전이 인공지능 기술의 급격한 성장을 보여주고 있지만, 여전히 최적화만으로는 부족함을 느끼게 된다.

따라서, 우리는 이러한 한계를 인식하고, 더 나은 대안을 찾기 위해 노력해야 한다. 대규모 언어 모델(LLM)의 발전은 인공지능 기술의 미래를 결정짓는 중요한 요소 중 하나이다. 하지만, 이러한 발전이 올바른 방향으로 이루어지기 위해서는, 우리는 최적화만으로는 부족함을 인식하고, 더 나은 대안을 찾기 위해 노력해야 한다.