[더구루=홍성일 기자] SK텔레콤(이하 SKT)이 아마존 웹 서비스(AWS)와 협력해 앤트로픽의 거대언어모델(LLM) 클로드(Claude)를 커스터마이징해 사용성을 높이는 솔루션을 연구했다. SKT는 AWS와의 협업을 통해 글로벌 AI 시장에서 영역을 확대할 수 있을 것으로 기대하고 있다. 

14일 업계에 따르면 AWS는 최근 SKT가 자사 기술 문서에 대한 전용 질의응답(Q&A) 구축을 위해 클로드를 커스터마이징한 사례를 공개했다. 이번 연구는 SKT와 맞춤형 모델 프로그램 'AWS GenAIIC(Generative AI Innovation Center)'가 협력해 진행됐다. 

이번 연구는 참조문서를 기반으로 한 근거 기반 Q&A 맞춤형 솔루션 개발에 중점을 두고 진행됐다. 특히 LLM 기반 Q&A 시스템에 많이 사용되고 있는 검색 증강 생성(Retrieval Augmented Generation, RAG) 기술을 강화하는데 집중했다. RAG는 LLM에 특정 데이터 소스를 적용해 근거를 갖추게하는 기술로, 검색 결과의 정확도를 높여 Q&A 생성을 지원한다. 

SKT는 자사의 RAG 사용 사례 검토 과정에서 선호하는 어조, 스타일, 매너에 맞지 않는 답변을 생성할 뿐 아니라 질문과 관련 없는 문서를 검색해 부정확한 답변을 하는 등의 문제가 있다는 것을 확인했다.

SKT연구팀은 모델 커스터마이징을 통해 AWS의 기업용 AI 개발 클라우드 서비스 아마존 배드록에서 서비스되는 앤트로픽 클로드 모델을 3개 핵심 영역에서 개선하는데 나섰다. 공동연구팀이 설정한 3가지 핵심 영역은 △간결하고 유익한 답변 제공 △검색된 문서에서 링크를 올바르게 참조하기 △SKT의 실제 답변과 유사한 어조와 스타일로 답변 등 이다.

연구팀은 △신속한 최적화 △커스터마이징 △합성 데이터로 데이터 증강을 조합하는 방법을 모색했다. 

SKT연구팀은 먼저 아마존 배드록의 커스터마이징 기능을 활용해 앤트로픽을 특정 사용 사례에 맞게 조정했다. 또한 앤트로픽 모델 프롬프트 모범 사례를 기반으로 답변 서식 및 문서 인용에 대한 표준화된 가이드라인을 구현했다. 

연구팀은 커스터마이징과 프롬프트 엔지니어링을 통해 주요 지표에서 최대 60%에 달하는 성능 향상을 확인했다. 

SKT 연구팀은 "이번 협력은 당면한 과제를 해결하기 위한 혁신적인 AI 솔루션 개발에 대한 SKT의 의지를 보여준다"며 "이번 AWS와의 협력으로 글로벌 AI 환경에서 AI발전과 장기적인 경쟁력 강화에 중요한 발걸음을 내딛게 됐다"고 말했다.