[인더스트리뉴스 조창현 기자] AI 기술이 발전하며 관련 산업 및 초거대언어모델(LLM) 등을 활용한 다양한 솔루션이 나오고 있다. AI 소프트웨어 전문기업 코난테크놀로지(대표 김영섬)는 자체 개발한 대규모 언어모델 ‘코난 LLM’이 파라미터 410억개에 대한 학습을 마쳤다고 15일 밝혔다.

파라미터 410억개에 달하는 모델 학습을 마친 코난테크놀로지는 LLM 모델 내 전체 토큰 7,000억개를 보유하게 됐다. 그중 한국어 학습토큰은 13.1B 모델 3,000억개에서 1,000억개 늘어난 4,000억개다.

코난테크놀로지는 양질의 대규모 데이터로 학습된 41B 모델은 최적화 및 미세조정을 거쳐 사용자에게 제공할 예정이라고 전했다. 코난테크놀로지 김영섬 대표는 “지속적인 모델 고도화로 연내 순차 학습을 마치게 돼 기쁘다”며, “코난 LLM을 도입해 다양한 AI 비즈니스 수요에 적극 대응하겠다”고 말했다.

코난 LLM은 문서 생성과 더불어 자동 도표 생성 및 자동 요약, 참고문서 제공 등 다양한 기능을 바탕으로 사용자 문서 생산성을 높이는 데 도움을 준다. 특히 RAG(Retrieval Augmented Generation)에는 코난테크놀로지 보유 강점인 ‘벡터 검색’을 활용, 관련 성능을 보다 향상했다.

코난테크놀로지는 생성형 AI가 근거 있는 답변을 내놓게 만드는 RAG 기법에 벡터검색엔진 ‘코난 서치6’를 접목한 결과, 사용자 내부 문서나 최신 데이터 기반 관련 문서에서 추출한 신뢰도 높은 최신 답변을 제공할 수 있게 됐다고 설명했다. 또 관련 방식은 질의응답뿐만 아니라 문서 생성 시에도 적용돼 전체적인 답변 품질은 향상하면서도 환각 현상은 해소시켰다고 부연했다.

아울러 코난테크놀로지는 새로운 파라미터 학습을 통해 사용자별 권한 관리에도 신경 썼다. LLM 사용 시 부서별, 직책별로 사내 문서와 데이터에 대한 열람 및 접근 권한을 부여하고, 반환되는 정보는 엄격하게 제어함으로써 철저한 접근제어 환경을 마련했다는 게 코난테크놀로지의 성명이다.

사용자는 데이터 규모나 예산, 용도 등에 따라 13.1B 및 41B 파운데이션 모델 중 원하는 모델을 선택할 수 있으며, 기업 전용 관리 도구인 ‘코난 LLM 스튜디오’도 함께 제공된다. 코난LLM스튜디오는 사용자 내부 데이터나 문서에 대 도메인 추가 학습부터 미세조정에 이르기까지 다양한 기능을 제공한다. 이에 AI 전문 개발자가 아니더라도 쉽고 빠르게 업무에 적용할 수 있는 솔루션으로 보인다. 또 솔루션은 최적화된 문서 양식과 프롬프트도 기업 맞춤형으로 제공할 수 있다.

현재까지 코난 LLM은 행정안전부 AI 행정지원 서비스 시범 개발 PoC에 참여하는 등 범정부 AI 도입 수요에 부응하고 있다. 솔루션은 온프레미스로 구축된다. 코난테크놀로지는 향후 솔루션에 대한 라이선스 및 연간 구독 모델 방식 등도 제공할 예정이다.

한편 코난테크놀로지는 다양한 하드웨어에 LLM을 내재화함으로써 새롭게 주목받는 ‘온디바이스 AI 시장’에 뛰어들 준비를 하고 있는 것으로 파악되고 있다.

조창현 기자 다른기사 보기