컴퓨터공학과 김영재 교수 연구팀, 2026 한국컴퓨터종합학술대회 최우수논문상 수상

생성형 AI의 메모리 사용 줄이고 답변 정확도 높이는 새로운 기술 제안

▲ (좌측부터) 컴퓨터공학과 김영재 교수, 김준원(컴공 21), 유정현 박사과정

서강대학교 컴퓨터공학과 김영재 교수 연구팀이 생성형 인공지능(AI)의 성능과 효율을 동시에 높일 수 있는 새로운 기술을 개발해 국내 최고 권위의 컴퓨터 분야 학술대회에서 최우수논문상을 수상했다.

지난 6월 24일부터 26일까지 제주국제컨벤션센터에서 열린 2026 한국컴퓨터종합학술대회(KCC 2026)에서 서강대학교 컴퓨터공학과 DISCOS 연구실의 김준원(컴공 21), 유정현 박사과정, 김영재 교수가 공동 저술한 논문 「SurrogateKV: 어텐션 안정화 기반 의미보존 KV 캐시 압축」이 컴퓨터시스템 부문 최우수논문상에 선정됐다.

최근 챗GPT와 같은 생성형 AI는 긴 문서를 읽거나 긴 대화를 이어갈수록 더 많은 메모리를 사용한다. 이로 인해 답변 속도가 느려지고 고성능 GPU 자원 사용이 늘어나 서비스 운영 비용이 증가하는 것이 한계로 지적되고 있다.

기존에는 이러한 문제를 해결하기 위해 중요도가 낮은 정보를 삭제해 메모리 사용량을 줄이는 방식이 주로 활용됐다. 그러나 필요한 정보까지 함께 삭제되면서 문맥이 단절되고 답변의 정확도가 떨어질 수 있다는 한계가 있었다.

연구팀은 이러한 문제를 해결하기 위해 SurrogateKV라는 새로운 압축 기법을 제안했다. 핵심은 정보를 단순히 삭제하는 것이 아니라, 삭제 대상이 되는 내용을 하나의 대표 정보로 압축해 남겨두는 것이다. 사람이 긴 글을 읽은 뒤 모든 내용을 기억하는 대신 핵심만 정리해 기억하는 것처럼, AI도 중요한 문맥은 유지하면서 메모리 사용량을 줄일 수 있도록 설계했다.

이 기술은 생성형 AI가 이전 대화나 문서를 기억하기 위해 저장하는 KV 캐시(Key-Value Cache)를 보다 효율적으로 관리하는 방식이다. 중요한 정보는 그대로 유지하고, 중요도가 낮은 정보는 대표 정보로 대체해 AI가 필요한 문맥을 계속 참고할 수 있도록 했다. 이를 통해 메모리 사용량과 GPU 간 데이터 전송량을 줄이는 동시에 문맥 손실도 최소화할 수 있었다.

실험 결과에서도 우수한 성능을 입증했다. KV 캐시를 기존의 25%만 사용하는 환경에서도 기존 대표 압축 기법인 PyramidKV보다 최대 9.73점 높은 성능을 기록했으며, AI가 첫 답변을 생성하기까지 걸리는 시간(TTFT)의 증가는 최대 22.9밀리초(ms) 수준에 그쳐 높은 효율성을 확인했다.

이번 연구는 생성형 AI의 메모리 효율을 높이면서도 답변의 정확성을 유지할 수 있는 새로운 가능성을 제시했다. 특히 긴 문서를 읽고 요약하거나, 여러 자료를 바탕으로 답변을 생성하는 생성형 AI 서비스의 성능과 안정성을 높일 수 있는 핵심 기술로 평가받고 있으며, 장문 질의응답, 문서 요약, 검색 기반 생성(RAG) 등 다양한 분야에 활용될 것으로 기대된다.

이번 수상은 생성형 AI 시스템 분야에서 서강대학교 컴퓨터공학과의 연구 경쟁력을 다시 한번 입증한 성과로, 학술적 우수성과 함께 실제 산업 현장에 적용 가능한 기술적 가치까지 인정받았다는 점에서 의미를 더한다.