데이터브릭스, LLM이 npm 바이너리 파일에 숨겨진 악성코드를 놓친다는 연구 결과 발표

데이터브릭스가 발견한 사실

데이터브릭스 위협 연구팀은 2025년 11월부터 npm 패키지 레지스트리에서 악성코드 샘플을 수집해 왔다고 밝혔다. OSV npm 악성코드 권고와 대조해 확인한 1만1,413개 패키지 버전 중 96.2%는 악성 페이로드를 소스 코드에 직접 숨기거나 외부 서버에서 가져오는 방식이었다. 나머지 3.8%, 즉 432개 패키지 버전은 대신 컴파일된 바이너리를 함께 포함하고 있었다.

데이터브릭스에 따르면, 바이너리를 포함한 패키지는 드물게 나타나긴 하지만 선별하기가 더 어렵다. 이 회사는 OSV가 확인한 npm 악성코드 전체를 놓고 볼 때, 바이너리를 포함한 패키지가 결정적인 악성 판정에 이르지 못하는 비율이 소스 코드만 있는 패키지보다 두 배 이상 높았다고 밝혔다. 수치는 각각 14.4%와 6.2%였다.

테스트 설계 방식

데이터브릭스는 npm 레지스트리를 실시간으로 모니터링하는 스캐너를 구축해, 패키지 코드와 메타데이터에 대해 YARA와 Semgrep을 실행하고 바이너리 분석 모듈을 함께 적용한 뒤, 취합된 증거를 LLM에 전달해 판정을 내리도록 했다.

바이너리 기반 탐지 성능을 구체적으로 검증하기 위해 연구팀은 네이티브 Node.js 애드온 형태로 제작된 다섯 가지 적대적(adversarial) 패키지 유형을 만들었다. 자격 증명을 탈취하는 sysmon-native, 드로퍼·백도어인 buildchain-native, 리버스 셸인 netpulse-native, 암호화폐 채굴 스텁인 hashworker-native, 지속성(persistence) 메커니즘인 taskd-native였다. 각 패키지는 전문적으로 보이는 package.json, README, 자바스크립트 바인딩과 함께 패키징되었다.

데이터브릭스는 7개 업체의 모델 9종을 테스트했다. 팀들이 실제 현업에서 대규모로 도입할 가능성이 높다고 보는 보급형 7개 모델 그룹에, 행동 기준선으로 활용한 상위 성능 모델 두 종(Claude Sonnet 4.6, Kimi K3), 그리고 비용 참고용으로만 포함한 Claude Opus 4.6을 더한 구성이다.

결과

데이터브릭스에 따르면, 추가 지침 없이는 보급형 모델군이 70건의 탐지 테스트 중 35건(50%)에서 실패했으며, 이 중 20건은 악성코드를 아예 양성(benign)으로 판정한 경우였다. 또한 70건 중 51건(73%)에서는 "악성" 판정 기준에 도달하지 못했다. 반면 기준선으로 쓰인 두 모델은 탐지 기준에서는 전혀 실패하지 않았고, 악성 판정 기준에 미달한 경우도 단 1건에 그쳤다고 회사는 밝혔다.

데이터브릭스는 이를 해결하기 위해 이른바 "기능 프로파일"을 도입했다고 설명했다. 이는 자격 증명 탈취나 지속성 확보 같은 특정 악성 기법과 연계된 임계값에 맞춰 정적 스캔 증거를 평가하는 선언형(declarative) 플레이북이다. 임계값이 충족되면 모델이 추론에 들어가기 전에 약 1,800토큰 규모의 구조화된 요약 정보를 프롬프트에 주입하는 방식이며, 다만 모델은 이 프로파일의 판단 결과를 여전히 뒤엎을 수 있다.

프로파일을 적용한 결과, 원래 실패했던 35건 중 32건(91%)이 올바른 탐지로 전환됐고, 테스트한 어떤 페이로드에서도 양성 오판정이 나오지 않았다고 데이터브릭스는 밝혔다. 보급형 모델군 전체의 탐지 기준 실패율은 50%에서 4%(70건 중 3건)로 떨어졌고, 악성 판정 기준 미달률은 73%에서 34%로 낮아졌다. GPT-5.4-nano에 남은 3건의 실패는 양성이 아닌 "의심스러움"(suspicious) 판정에 머물렀다.

회사는 한 가지 사례를 구체적으로 소개했다. Qwen3-Next 80B는 난독화된 sysmon-native 탈취형 패키지 버전에 대해 프로파일이 적용되지 않은 상태에서는 98%의 확신도로 양성 판정을 내리고 허용 목록(allowlist)에 올릴 것을 권고했다. 그런데 동일한 패키지에 네 가지 기능 프로파일이 작동하자, 같은 모델이 98%의 확신도로 악성 판정을 내리고 차단을 권고했다.