1. 첨단AI 의료제품 레드팀 챌린지란?
2025년 9월 4일부터 5일까지, 서울 동대문 노보텔 앰배서더 그랜드볼룸에서 ‘첨단AI 디지털 의료제품 레드팀 챌린지 및 기술 워크숍’이 개최되었습니다. 이번 행사는 식품의약품안전처가 주최하고 한국전자통신연구원(ETRI), 분당서울대병원, STA테스팅컨설팅, 한국화학융합시험연구원(KTR)이 공동으로 주관했습니다. 국내에서 AI와 의료기기를 주제로 한 첫 실전 보안 챌린지라는 점에서 의미가 매우 큽니다.
왜 ‘의료 AI 보안’인가?
최근 의료 분야에는 거대언어모델(LLM) 기반 AI가 빠르게 도입되고 있습니다.
의료 영상 분석, 진단 보조 챗봇, 환자 데이터 실시간 처리 등
AI가 의료의 중심으로 자리 잡고 있습니다.
하지만 의료 분야는 환자의 생명과 직결됩니다.
만약 AI가 잘못된 판단을 내리거나 악의적으로 조작된다면, 그 피해는 단순한 오류가 아닌 치명적인 결과로 이어질 수 있습니다.
이번 대회에서는
- 유해 지시 유도
- 데이터·프롬프트 노출
- 안전 장치 우회
AI 편향 유발
등 실제 의료 현장에서 발생할 수 있는 시나리오를 중심으로 테스트가 진행되었습니다.
대회 운영 방식
- 국내외 8종 이상의 LLM 모델 대상
- 참가자들은 제한 시간 내 최대한 많은 문제를 해결
- 평가 기준: 기술적 난이도 / 환자 위해도 / 재현성 / 창의성
- 총 47개 팀, 100여 명 참가
즉, 단순한 해킹이 아닌 실제 제품 개선으로 이어질 수 있는 결과가 중요했습니다.
2. 나의 도전 이야기
레드팀 직무를 향한 공부와 도전 계기
저는 레드팀 직무를 목표로 공부해왔습니다. 레드팀은 단순 해킹 실력뿐 아니라 시스템, 네트워크, 웹, 그리고 최근에는 AI에 대한 이해까지 필요한 분야입니다. 독학으로 LLM을 공부하던 중 우연히 이 대회를 알게 되었고, ‘내가 꿈꾸는 분야와 완벽히 맞아떨어진다’라는 생각이 들어 바로 신청을 결심했습니다.
참가 신청 과정
- 간단한 자기소개서 및 경험 작성 후 제출
- 심사 통과 시 이메일로 QR 코드와 참가 안내 사항 발송
- 이를 통해 공식 참가 자격 획득
저는 당시 AI 경험이 많지 않았지만
프롬프트 설계, 개인 프로젝트 등 할 수 있는 모든 것을 서류에 담았습니다.
‘이 대회를 통해 꼭 성장하겠다’는 마음으로 진심을 적었습니다.
개인 참가를 선택한 이유
가장 고민했던 부분은 팀 참가 vs 개인 참가였습니다.
함께할 사람이 마땅히 없었고,
팀을 꾸린다 해도 제가 모든 것을 알려주며 준비해야 하는 상황이었습니다.
차라리 혼자 공부하고 장려상이라도 목표로 해보자.
그렇게 혼자서 참가하기로 결정했습니다.
결국 이 선택이 이후 제 인생의 중요한 전환점이 되었습니다.
3. 대회 당일 이야기
대회 당일, 새벽 6시에 일어나 7시 30분 기차를 타고 대전에서 서울로 향했습니다.
아침도 못 먹고 출발했기에 많이 피곤했지만 현장에 도착하니 주최 측에서 준비한 다과와 음료가 있어 허겁지겁 챙겨 먹으며 긴장을 풀었습니다.
대회장에는 대학원생, 보안 업계 실무자, 그리고 CTF 경험이 풍부한 참가자들이 많았습니다.
‘혼자 참가한 내가 과연 상을 받을 수 있을까?’ 걱정이 들었지만, 이미 온 이상 최선을 다해보자는 마음으로 자리에 앉았습니다.
4. 오리엔테이션과 전략 수정
오전에는 오리엔테이션이 진행되었습니다.
대회의 진행 방식, 채점 기준 등을 상세히 안내받을 수 있었고,
그중 가장 중요한 팁은 “답안을 많이 제출하는 사람이 유리하다”는 말이었습니다.
이 조언은 이후 제 전략에 결정적인 영향을 미쳤습니다.
첫 번째 세션에서는 시스템과 문제 유형에 익숙하지 않아 답안을 많이 제출하지 못했습니다.
정확성에 집중하다 보니 시간이 너무 오래 걸렸고, 이 방식으로는 우승이 어렵겠다는 생각이 들었습니다.
5. 속도 중심 전략으로 전환
두 번째 세션부터는 전략을 완전히 바꾸었습니다.
- 3턴 → 1턴, 단 한 번의 명령 프롬프트로 공격 시도
- 공격 성공 여부 판단은 심사위원에게 맡기고
빠르게 제출하고 다음 문제로 이동 - 기술적으로 난이도 높은 문제는 마지막에 시간이 남으면 도전
이 전략이 적중하며 세션마다 평균 40문제 이상을 제출할 수 있었습니다.
후반부로 갈수록 점수는 안정적으로 쌓여갔습니다.
6. 결과 발표와 시상식
대회가 끝나고 밤 11시가 넘도록 연락이 없어 ‘상을 못 받았구나’라고 생각했습니다.
하지만 11시 20분, 대회측에서 연락이 왔습니다.
결과는 대상(1위).
원래 다음 날 워크숍에는 참석하지 않으려 했지만, 시상식 참석을 위해 급히 기차를 예매하고 아침 일찍 다시 서울로 향했습니다.
시상식에서 식품의약품안전처상과 상금 500만 원을 받았습니다.
행사 후에는 다양한 참가자들과 네트워킹하며 명함을 교환했고, 보안 업계 전문가들과 의미 있는 대화도 나눌 수 있었습니다.
또한 주요 언론 기사에 제 이름이 실리며 이번 경험의 가치는 더 크게 느껴졌습니다.
7. 마무리
의료 AI 보안 챌린지에서 47개 팀, 100여 명을 제치고 혼자 도전해 1위(대상)를 차지했습니다.
혼자 준비하고 모든 결정을 내려야 했던 이번 도전은 체력적으로나 정신적으로 쉽지 않았지만
그만큼 성장의 폭도 매우 컸습니다.
이 경험은 단순히 대회 우승이 아니라
제가 꿈꾸는 레드팀 직무로 나아가기 위한 확실한 자신감을 심어주었습니다.
앞으로도 AI 보안 연구를 더욱 깊이 있게 이어가기 위해 현재는 가짜연구소 11기 러너로 참여하여 LLM 지식의 지형 지도 만들기 - 개발팀 프로젝트에 합류하여 더 깊은 AI 기술을 배우고 있습니다.
!!!중요!!!
8. 느낀점
최근 몇 년 사이 생성형 AI가 급속도로 발전하면서 ChatGPT, Gemini, Perplexity 등 다양한 AI 모델들이 등장하고 있습니다.
특히 시간이 지날수록 모델의 성능은 점점 더 정교해지고 똑똑해지고 있습니다.
이 변화는 CTF(해킹 대회) 분야에도 큰 영향을 미치고 있습니다. 이미 일부 문제들은 생성형 AI를 활용해 쉽게 풀 수 있는 수준에 도달했으며, 물론 아직은 AI로도 풀기 어려운 문제가 존재하지만, 앞으로 GPT-6, GPT-7 같은 차세대 모델이 등장한다면 지금은 풀지 못했던 문제들마저도 AI가 해결할 수 있을 것이라고 생각합니다.
최근 CTF 대회에서는 프롬프트 인젝션과 같은 AI 관련 문제가 점점 자주 출제되고 있습니다.
이는 단순히 해킹 기술만으로는 부족하고, AI를 얼마나 잘 활용하고 프롬프트를 어떻게 설계하느냐가 대회의 승패를 가르는 핵심 요소가 되어가고 있다는 뜻입니다.
예를 들어, 현재도 AI에게 간단한 정보를 제공하고 “익스플로잇 코드를 작성해줘”라고 요청하면
거의 완벽하게 코드를 작성해주는 경우가 많습니다.
이처럼 AI의 능력이 계속 확장되고 있기 때문에, 앞으로는 AI를 잘 다루는 사람, 즉 프롬프트 설계 능력이 뛰어난 참가자가 CTF 대회에서 우승을 차지하는 시대가 올 것이라고 생각합니다.
이는 비단 CTF에만 국한되지 않습니다. 개발, 보안, 마케팅, 디자인 등 어느 분야든 AI를 얼마나 잘 활용하느냐가 곧 경쟁력이 될 것입니다.
과거에는 도구를 잘 다루는 사람이 승자였다면, 이제는 AI를 능숙하게 다루는 사람이 모든 분야에서 앞서 나가는 시대가 오고 있습니다.
결국 앞으로의 승자는 단순히 기술력이 뛰어난 사람이 아니라, AI와 협력하며 새로운 가치를 창출할 수 있는 사람이 될 것입니다.
궁금한 사항이 있으시다면 연락 주세요
웹사이트 : https://noxtern.com/
링크드인 : https://www.linkedin.com/in/catsecurity
'【 대외 활동 및 대회 참여 후기 】' 카테고리의 다른 글
| [ 비댁스 1DAY 아이디어톤 본선 후기 ] (0) | 2025.11.07 |
|---|---|
| JUNCTION ASIA 2025 후기 (1) | 2025.09.24 |
