컴퓨터공학과 김영재 교수 연구팀,

HPC분야 Top Conference SC 26 정규 발표 논문 채택

모교 컴퓨터공학과 김영재 교수 연구팀(황순 박사과정, 박준혁 석사, 유정현 박사과정, 안성훈 석사과정)이 수직적 질의 분할 실행이 가능한 계산 가능 오브젝트 스토리지 시스템을 개발했다. 본 연구는 스토리지 시스템 내부의 여러 계층에 흩어진 연산 자원을 활용해 데이터 이동을 최대 99.998%까지 줄이는 계층적 질의 실행 기법을 제안했다.

SK하이닉스 메모리 시스템 연구소, 미국 Los Alamos National Laboratory와 공동으로 수행된 ‘OASIS: Hierarchical Query Execution over Multi-Layer Computation-Enabled Object Storage’ 논문은 고성능 컴퓨팅 분야 세계 최고 권위 학회인 SC 26(The 38th International Conference for High Performance Computing, Networking, Storage, and Analysis)에 정규 논문(full paper)으로 채택되었다. 올해 논문 채택률은 19.4%였다.

대규모 과학 데이터 분석에서는 수십 GB의 데이터를 스토리지에서 분석 서버로 옮기는 과정 자체가 성능의 병목이 된다. 이를 완화하기 위해 스토리지가 데이터를 보내기 전에 필터링 같은 간단한 연산을 미리 수행하는 기술이 사용되어왔으나, 이 방식은 스토리지 바깥으로 나가는 데이터만 줄일 뿐, 스토리지 장비 내부에서 디스크가 담긴 인클로저로부터 스토리지 서버로 데이터를 끌어올리는 이동은 그대로 남겨둔다. 연구팀은 문제의 본질이 ‘어떤 연산을 스토리지에서 할 것인가‘가 아니라 ’스토리지 내부의 어느 계층에서 실행을 끊을 것인가‘라는 배치의 문제임을 규명하고, 이를 해결하는 시스템 OASIS를 개발하였다. OASIS의 핵심 알고리즘 SODA는 데이터를 실제로 읽지 않고도 저장 시점에 수집한 통계만으로 각 연산의 데이터 축약률을 예측하여, 계층 간 데이터 이동이 최소가 되는 최적의 분할 지점을 자동으로 찾아낸다. 실제 과학 워크로드 평가 결과 내부 데이터 이동이 20GB에서 76KB로 감소하였고, 기존 최신 시스템 대비 종단 간 지연 시간을 최대 25.1% 단축하였다.

본 연구는 스토리지 측 연산에 관한 기존의 이분법적 시각을 계층 배치 최적화 문제로 재정의했다는 점에서 학술적 의의를 가지며, 특히 오프로딩이 항상 이득은 아니며 특정 조건에서는 오히려 손해가 될 수 있음을 정량적으로 규명하여 향후 관련 연구의 설계 지침을 제시하였다. 산업계 측면에서는 별도의 전용 하드웨어 없이 기존 스토리지 장비의 자원만으로 구현 가능하고 표준 S3 인터페이스를 유지하여 기존 분석 엔진과 그대로 호환되므로 데이터센터의 대규모 데이터 분석 인프라에 즉시 적용될 수 있는 실용성을 갖추었다. 또한 데이터 이동 감소는 곧 에너지 절감으로 이어져, 전력 소비가 급증하는 AI·데이터 인프라의 지속가능성 측면에서도 기여가 기대된다.

제1저자인 황순 박사과정은 "스토리지 측 연산의 효용성은 꾸준히 제기되어 왔으나, 정작 스토리지 시스템 내부의 자원을 충분히 활용하지 못하는 상황이 지속되어 왔다“라며 ”연구팀에서는 이를 스토리지 내부의 어느 계층에서 실행을 끊을 것인가라는 배치 문제로 다시 정의함으로써, 인클로저부터 스토리지 서버에 이르는 계층별 자원을 실제로 쓰이게 만들고자 했고, 그 결과 지금까지 드러나지 않았던 내부 데이터 이동이라는 병목을 해결할 수 있었다“라고 연구 성과를 설명했다. 이어 ”지도해 주신 김영재 교수님, 함께 연구해 주신 SK하이닉스 연구진과 Los Alamos National Laboratory 연구진께 감사드린다"라고 소감을 전했다.

The International Conference for High Performance Computing, Networking, Storage, and Analysis (SC)는 1988년 창설 이후 고성능 컴퓨팅(HPC) 분야의 연구자, 시스템 설계자, 산업계 전문가가 모여 컴퓨팅과 스토리지, 데이터 분석의 최신 성과를 공유해 온 세계 최고 권위의 국제 학술대회이다. 매년 엄격한 동료 평가를 거쳐 낮은 채택률을 유지하는 최우수 학회로, 본 학회는 올해 11월 15일부터 20일까지 미국 시카고 McCormick Place에서 개최될 예정이며, 채택된 정규 연구 논문은 기술 프로그램(Technical Program)에서 발표된다.