[인터넷 도박]SK텔레콤은 세계 최고 수준의 한국어 처리 능력을 가진 한국어 특화LLM인A.X(에이닷 엑스) 4.0을 오픈소스로 공개했다고3일 밝혔다.
SKT는 이날 오전세계적인 오픈소스 커뮤니티 허깅페이스(Hugging Face)를 통해A.X 4.0의 표준 인터넷 도박과 경량 인터넷 도박2종을 공개했다.
이번에 공개한A.X 4.0은 현존 대규모 언어 인터넷 도박(LLM)중에서도 최상급의 한국어 처리 효율성은 물론 데이터 보안을 고려한 설계,그리고 로컬 환경에서의 운영 가능성 등이 강점이다.오픈소스 인터넷 도박인Qwen2.5에 방대한 한국어 데이터를 추가로 학습시켜 국내 비즈니스 환경에 최적화된 성능을 발휘한다.
SKT는A.X 4.0의 토크나이저1)를 자체 설계,적용해 높은 수준의 한국어 처리 역량을 구현했다.자체 테스트 결과 같은 한국어 문장을 입력했을 때GPT-4o보다A.X 4.0이 약33%가량 높은 토큰 효율을 기록하며,다른LLM대비 높은 정보 처리용량에 비용 절감까지 가능한 경제성을 갖췄다.
1)토크나이저(Tokenizer):문장의 구조를 분석해 토큰으로 분할하는 작업 도구
또한A.X 4.0은 대표적인 한국어 능력 평가 벤치마크인KMMLU2)에서78.3점을 기록하여, GPT-4o(72.5점)보다 우수한 성능을 보였으며,한국어 및 한국 문화 벤치마크인CLIcK3)에서도83.5점을 획득해, GPT-4o(80.2점)보다 더 높은 한국 문화 이해도를 입증했다.
2)KMMLU(Measuring Massive Multitask Language Understanding in Korean):한국어 대규모 다중과제 언어 이해 평가
3) CLIcK(Cultural and Linguistic Intelligence in Korea):한국어 특유의 문화적 맥락과 언어적 요소를 반영하여,기존 영어 기반 번역 데이터셋으로는 부족했던 한국 문화·언어 이해 능력을 평가
이와 함께SKT는A.X 4.0를 기업 내부 서버에 직접 설치해 사용할 수 있는 온프레미스4)방식으로 제공해 기업들이 데이터 보안에 대한 걱정을 덜 수 있도록 서비스할 계획이다.특히A.X 4.0개발 과정에서도 대규모 학습(CPT, Continual Pre-Training)의 전 과정을 외부와 연동없이 자체 데이터로 학습해 데이터의 주권도 확보한 바 있다.
4)온프레미스(On-premises):클라우드가 아닌 자체 전산 서버에 직접 설치하고 운영하는 방식
또한 표준 인터넷 도박은720억 개(72B),경량 인터넷 도박은70억 개(7B)의 매개변수를 갖추고 있어,이용자들이 목적에 맞춰 선택적으로 이용할 수 있도록 했다.
SKT는 이미A.X4.0을 지난5월 에이닷 통화 요약에 적용,성공적으로 활용하고 있으며,추후 자사는 물론SK그룹 내 다양한 서비스에 적용할 계획이다.
SKT가 이번에 선보인 인터넷 도박로 기업들은 파생형 인터넷 도박을 개발할 수 있고,연구 분야에서도 활용할 수 있다.이를 통해 국내 기업들이 자체 환경에서AI기술을 보다 쉽게 활용할 수 있는 새로운 선택지를 제공해 나갈 예정이다.
SKT는 이번A.X 4.0지식형 인터넷 도박의 오픈소스 공개와 동시에 추론형 인터넷 도박의 발표도 앞두고 있다. SKT는 이달 중으로 수학 문제 해결과 코드 개발 능력이 강화된 추론(Reasoning)형 인터넷 도박을 공개하고,이미지와 텍스트를 동시에 이해하고 처리할 수 있는 수준까지 인터넷 도박을 업데이트할 계획이다.
또한 소버린AI관점에서A.X 3.0에 적용한 프롬 스크래치(From Scratch)5)방식도 병행하여 개발을 진행하고 있으며,후속 인터넷 도박도 순차적으로 공개할 예정이다.
5)프롬 스크래치(From Scratch):인터넷 도박의 맨 처음 단계부터 모두 직접 구축
김지원SK텔레콤AI Model Lab장은"SK텔레콤의 다양한 서비스를 고도화하고,기업 시장에서 한국어 특화LLM으로 국내 비즈니스 환경에 최적화된 인터넷 도박이 될 수 있도록 지속적인 기술 개발을 추진할 계획”이라고 밝혔다.
