서강대, 양자 인공지능의 ‘규모의 벽’ 넘었다

정근홍 교수 연구팀, 양자 인공지능 최대 난제 완화 알고리즘 개발... 화학물질 1만여 종 독성 예측에 적용

서강대학교 화학과 정근홍 교수 연구팀이 양자 인공지능의 대표적인 난제로 꼽혀온 ‘배런 플래토(barren plateau)’ 문제를 해결하고, 실제 화학물질의 독성을 예측할 수 있는 새로운 양자 회로 설계법을 개발했다. 양자컴퓨터를 활용한 인공지능이 실제 화학 문제를 해결하는 데 한 걸음 더 가까워졌다는 점에서 주목되는 성과다.

이번 연구는 양자 인공지능의 가장 큰 과제 가운데 하나인 ‘규모의 한계’를 넘어섰다는 데 의미가 있다. 양자 회로는 규모가 커질수록 학습에 필요한 신호가 급격히 약해지는 배런 플래토 현상 때문에 그동안 실제 규모의 문제에 적용하기 어려웠다. 정근홍 교수 연구팀은 서로 다른 세 가지 회로 설계 기법을 유기적으로 결합한 새로운 구조를 개발해, 기존 방식으로는 학습이 어려웠던 12큐비트 규모의 깊은 양자 회로를 안정적으로 학습시키는 데 성공했다.

연구팀은 개발한 방법을 실제 화학물질 10,448종의 독성 데이터에 적용했다. 그 결과 기존 양자 신경망은 물론 동급의 고전 인공지능 모델과 비교해 높은 독성 예측 정확도를 보였으며, 반복 학습에서도 성능 편차가 작은 안정적인 결과를 확인했다. 단순한 이론이나 가상 데이터를 넘어 실제 화학 데이터를 활용해 양자 인공지능의 가능성을 검증했다는 점에서 의미가 크다.

화학물질의 독성을 사전에 예측하는 기술은 신약 개발과 유해물질 관리, 화학사고 예방 등 다양한 분야에서 활용될 수 있다. 현재 독성 확인에는 많은 시간과 비용이 필요하고 동물실험이 요구되는 경우도 있어, 인공지능을 활용한 사전 예측 기술의 중요성이 커지고 있다. 이번 연구는 양자 인공지능을 이러한 현실의 화학 문제에 적용할 수 있는 가능성을 제시했다. 특히 연구팀이 개발한 회로 설계법은 오류 보정이 완전히 구현된 미래형 양자컴퓨터가 아니라 현재 단계의 양자 하드웨어(NISQ)에서도 구현 가능한 규모라는 점이 특징이다. 동시에 회로의 규모가 커져도 학습 능력이 유지되는 결과를 확인해, 향후 큐비트 수가 증가하는 차세대 양자 하드웨어로 확장할 가능성도 제시했다.

정근홍 교수는 “이번 성과의 핵심은 데이터 재업로딩, 항등 블록 초기화, 부호 교대 각도 인코딩을 하나의 회로 안에 유기적으로 결합한 통합 설계에 있다”며 “양자컴퓨팅이 이론에 머무르지 않고 신약 개발과 화학 안전이라는 실제 문제를 푸는 도구가 될 수 있음을 보여준 연구”라고 설명했다. 이어 “양자컴퓨팅과 인공지능, 화학을 잇는 융합 연구를 지속적으로 발전시켜 나가겠다”고 밝혔다.

이번 연구는 과학기술정보통신부 산하 정보통신기획평가원(IITP)의 양자과학기술 플래그십 프로젝트와 한국연구재단(NRF) 중견연구자지원사업의 지원을 받아 수행됐다. 연구 결과는 영국왕립화학회(RSC)가 발행하는 국제학술지 Digital Discovery 2026년 8월호에 게재됐으며, 해당 호의 후면 표지(Back Cover) 논문으로 선정됐다.

이번 연구는 양자컴퓨팅과 인공지능, 화학이라는 서로 다른 분야의 기술을 연결해 실제 사회 문제에 적용할 수 있는 가능성을 보여줬다. 양자컴퓨팅이 미래의 기술에 머무르지 않고 신약 개발과 화학 안전 등 현실의 문제를 해결하는 도구로 발전할 수 있다는 점에서, 서강의 융합 연구가 보여주는 또 하나의 의미 있는 성과다.

▶논문명(영문): Prediction of toxicity of chemicals using a novel quantum circuit with sign-alternated angle encoding

▶논문명(국문): 부호 교대 각도 인코딩을 적용한 새로운 양자 회로를 이용한 화학물질 독성 예측

▶링크: https://pubs.rsc.org/dd/article/doi/10.1039/d6dd00092d