로그인
NEWS
업계뉴스
KAIST ‘버퍼 앤드 리인포스’ 프레임워크 개발
왼쪽부터 이원준 박사과정, 김창익 교수, 함석일 박사과정, 장재혁 박사과정./KAIST 제공
[투데이에너지 장재진 기자] KAIST는 전기및전자공학부 김창익 교수 연구팀이 대형언어모델(LLM)을 개인·기업 맞춤 데이터로 재학습(fine-tuning)한 뒤에도 안전성을 유지·강화할 수 있는 ‘버퍼 앤드 리인포스(Buffer-and-Reinforce)’ 학습 프레임워크를 개발했다고 15일 밝혔다.
연구팀은 맞춤형 학습 도중 모델에 일시적으로 부착하는 완충 모듈 ‘버퍼로라(BufferLoRA)’와 학습 완료 후 안전성을 추가로 끌어올리는 ‘리인포스로라(ReinforceLoRA)’로 구성된 두 단계 구조를 제안했다.
버퍼로라는 학습 중 악성(위험한) 학습 신호가 본체 모델로 스며들지 못하도록 차단하고, 학습 종료 후 제거된다. 이후 리인포스로라를 결합해 안전성을 원래 모델보다 더 강화하는 방식이다. 연구진은 기존의 경험적 관찰을 넘어 학습 과정에서의 내부 변화 방향을 정량적으로 파악하기 위해 경사도(gradient) 분석을 적용했다.
분석 결과, 일시적 탈옥(jailbreak) 상태는 위험 응답 관련 학습 신호를 포화시켜 추가 학습 효과를 억제하는 반면, 정상 사용자 작업 관련 신호는 보존된다는 사실을 확인했다. 이를 근거로 버퍼·리인포스 설계가 사용자 맞춤 성능을 유지하면서도 안전성을 확보할 수 있음을 실험적으로 입증했다.
또한 리인포스로라와 사용자 학습 결과(UserLoRA)를 결합할 때 발생할 수 있는 성능 충돌 문제는 QR 분해 기반의 직교 결합 기법으로 해결했다. 이 방법은 안전 성분만 선택적으로 주입해 맞춤형 성능 저하 없이 안전성만 정밀하게 향상시키도록 설계됐다.
실험에서는 극단적으로 악성 데이터만 포함된 환경에서도 위험 응답 비율을 크게 낮추는 성과를 보였고, 별도의 추가 안전 학습 데이터 없이 기존 파인튜닝 비용과 유사한 수준으로 운용 가능한 점이 장점으로 꼽혔다.
이번 연구는 ICML 2026에서 스포트라이트 논문으로 선정되어 국제적 주목을 받았다.
연구팀은 이 기술이 기업 내부 문서 기반 업무보조 AI, 의료·법률·금융 등 민감 정보 취급 시스템, 교육용 맞춤형 AI, 고객 상담 챗봇 등 파인튜닝 서비스 전반에 적용될 수 있어 AI 개인화 시대의 신뢰성 확보에 기여할 것으로 기대한다고 밝혔다.
연구 개요 Buffer-and-Reinforce 학습 프레임워크 및 활용 /KAIST 제공
■ 용어 설명
ㆍBufferLoRA (버퍼로라)= 파인튜닝 과정에서만 임시로 모델에 부착되는 경량 모듈로, 학습 중 발생할 수 있는 위험한 응답 방향의 신호가 본체 모델로 스며드는 것을 차단하는 완충장치 역할을 한다. 학습이 끝나면 깔끔하게 분리된다.
ㆍReinforceLoRA (리인포스로라)=맞춤형 학습이 종료된 모델에 결합해 안전성을 추가로 강화하는 모듈이다. 사용자 학습으로 생긴 기능은 유지하면서도 위험 응답률을 낮추도록 설계되어 있다.
ㆍQR 분해 기반 직교 결합 (QR Decomposition 결합)=리인포스로라를 사용자 학습 결과와 결합할 때 발생할 수 있는 기능 충돌을 피하기 위해 수학적 직교화 기법(QR 분해)을 사용해 안전 성분만 선택적으로 주입하는 방법이다. 이를 통해 맞춤형 성능 손실 없이 안전성만 강화할 수 있다.
ㆍ일시적 탈옥(temporary jailbreak) 현상= 모델을 특정 조건에서 ‘탈옥’ 상태로 만들면(위험한 요청에 응답 가능하도록 유도) 오히려 이후 추가 학습에서 위험 응답 관련 신호가 포화되어 더 이상 쉽게 학습되지 않는 현상.
ㆍ경사도 분석(gradient analysis)= 학습 과정에서 모델 파라미터의 변화 방향과 크기를 정량적으로 측정하는 기법.
ㆍFine-tuning as a Service (FaaS) 적용 맥락=기업·개인이 클라우드 기반 등으로 손쉽게 대형언어모델을 자신의 데이터로 재학습시키는 서비스 형태를 의미한다. 이 환경에서는 사용자 데이터의 다양성과 통제 불가능성으로 인해 파인튜닝 안전 문제가 현실적 위험으로 대두된다.