솔리디티(Solidity) 컨트랙트 400개를 균형 있게 구성한 데이터셋으로, 취약점 유무를 판별하는 탐지 과제와 어떤 유형인지 분류하는 과제 두 가지를 실험했거든요

LLM이 블록체인 스마트 컨트랙트 보안 취약점을 자동으로 찾아낼 수 있는지 벤치마크한 논문이 나왔어요.

솔리디티(Solidity) 컨트랙트 400개를 균형 있게 구성한 데이터셋으로, 취약점 유무를 판별하는 탐지 과제와 어떤 유형인지 분류하는 과제 두 가지를 실험했거든요. 프롬프트 방식은 일반 제로샷, 사고 과정을 단계별로 적는 CoT, 여러 경로를 나눠서 추론하는 ToT 세 가지를 비교했어요.

탐지 과제에서 CoT와 ToT를 쓰면 재현율이 95~99%까지 올라갔어요. 다만 정밀도가 떨어져 오탐이 늘어나는 트레이드오프가 있었고요. 분류 과제에서는 Claude 3 Opus가 ToT 프롬프트 기준 가중 F1 점수 90.8로 1위를 차지했어요.

프롬프트 전략 하나로 보안 감사 성능이 크게 달라진다는 걸 보여준 실험이에요. 코드 감사 자동화에서 LLM 활용의 현실적인 가능성과 한계를 동시에 확인한 셈이에요.