AI가 사기를 막는 방법: 이커머스 실시간 사기 탐지 시스템의 작동 원리

이 글은 누구를 위한 것인가

온라인 쇼핑몰을 운영하며 카드 도용, 계정 탈취, 허위 반품 등을 경험한 담당자
사기 탐지 시스템 도입을 검토 중인 이커머스 기획자·개발팀
AI가 어떻게 사기를 잡아내는지 원리가 궁금한 일반 독자

들어가며

2025년 기준 전 세계 이커머스 사기 피해액은 약 480억 달러(약 65조 원)로 추산된다. 이 숫자는 매년 20% 이상 증가하고 있다. 문제는 사기꾼들도 진화하고 있다는 점이다. 단순한 카드 도용에서 조직적인 계정 탈취, 정교한 환불 사기, AI를 이용한 신분 도용까지 수법이 갈수록 복잡해지고 있다.

반가운 소식은 방어하는 쪽도 AI를 쓰기 시작했다는 것이다. Mastercard는 생성형 AI를 사기 탐지에 도입해 탐지율을 300% 개선했다고 발표했다. 그렇다면 AI는 어떻게 사기를 잡아낼까?

1. 이커머스 사기의 주요 유형

사기 탐지 시스템을 이해하려면 먼저 어떤 사기가 일어나는지 알아야 한다.

유형 1: 카드 도용 (Carding)

도난당한 카드 정보를 이용해 결제하는 가장 고전적인 수법이다. 사기꾼들은 다크웹에서 카드 정보를 대량으로 구매해, 봇으로 수천 개의 결제를 자동 시도한다. 유효한 카드를 찾아내면 비싼 상품을 주문하고 빠르게 수령 주소를 수정한다.

특징: 짧은 시간 내 여러 결제 시도, 새 계정에서 고가 상품 주문, 배송지가 자주 변경됨

유형 2: 계정 탈취 (Account Takeover, ATO)

정상 고객의 계정을 해킹해 적립 포인트를 사용하거나, 저장된 카드로 결제하는 수법이다. 다른 사이트에서 유출된 아이디/비밀번호 조합으로 로그인을 시도하는 크리덴셜 스터핑이 가장 흔하다.

특징: 평소와 다른 기기/위치에서 로그인, 로그인 직후 주소 변경, 비밀번호·이메일 변경 시도

유형 3: 친구 사기 (Friendly Fraud)

실제 카드 소유자가 직접 주문하고 배송을 받은 뒤, "물건을 받지 못했다" 또는 "결제한 적이 없다"고 이의를 제기하는 수법이다. 카드사가 중재하면 판매자가 손해를 보게 된다. 전체 이커머스 사기의 약 40~50%를 차지하는 것으로 알려져 있다.

특징: 자주 반품하는 고객, 이의제기(Chargeback) 이력이 있는 계정

유형 4: 환불 사기

가짜 영수증을 만들거나, 구매하지 않은 상품의 반품을 요청하는 수법이다. 고가 상품을 구매 후 유사한 저가 제품을 반품하는 방식도 있다.

2. 기존 룰 기반 방어의 한계

전통적인 사기 탐지는 규칙(Rule) 기반이었다.

규칙 예시:
- 동일 IP에서 1시간 내 5건 이상 결제 시도 → 차단
- 가입 후 1시간 이내에 50만 원 이상 결제 → 보류
- 해외 IP에서 국내 카드 결제 → 추가 인증 요구

이 방식은 단순 명확하지만 치명적인 약점이 두 가지 있다.

1) 사기꾼이 규칙을 쉽게 우회한다. "동일 IP 5건 제한"이 있다면 VPN으로 IP를 바꾸면 그만이다. 규칙이 공개되거나 패턴이 파악되면 사기꾼은 즉시 적응한다.

2) 정상 고객을 너무 많이 차단한다. 해외 출장 중인 직원, 공유 와이파이를 쓰는 카페 손님, 가입 직후 선물을 사려는 신규 고객까지 차단된다. 이른바 가짜 양성(False Positive) 문제로, 매출 손실과 고객 불만의 원인이 된다.

3. AI 사기 탐지가 다른 이유

AI 기반 사기 탐지는 수천 개의 변수를 동시에 분석해 각 거래의 위험 점수를 실시간으로 계산한다. 사람이 직접 규칙을 만들지 않아도, AI가 사기 패턴을 스스로 학습한다.

분석하는 데이터 포인트

디바이스 정보

기기 종류, OS, 브라우저 버전
화면 해상도, 폰트 목록, 배터리 레벨
이전에 사용한 기기와 동일한가?

행동 패턴 (Behavioral Biometrics)

마우스 이동 속도와 패턴 (봇은 직선으로 움직인다)
키보드 타이핑 리듬 (타이핑 속도, 키 사이 간격)
페이지 스크롤 속도와 방향
폼 입력 방식 (복사-붙여넣기 vs 직접 타이핑)

거래 컨텍스트

평소 구매 패턴과의 차이
주문 상품의 특성 (환금성이 높은 상품인가?)
배송지와 청구지 주소의 일치 여부
이 이메일 주소로 다른 사이트에서 사기 이력이 있는가?

이 수백 개의 변수를 조합해 "이 거래는 사기일 확률 73%"처럼 점수를 매긴다.

4. 실제 AI 탐지 시스템 작동 원리

[거래 요청 들어옴]
        │
        ▼
[실시간 특징 추출 (< 10ms)]
  ├── 디바이스 핑거프린트 생성
  ├── 사용자 행동 패턴 분석
  └── 거래 컨텍스트 수집
        │
        ▼
[ML 모델 점수 계산 (< 50ms)]
  위험 점수: 0 ~ 100
        │
        ▼
[결정 엔진]
  점수 0~30  → 자동 승인
  점수 31~70 → 추가 인증 요청 (SMS OTP, 3DS)
  점수 71~100 → 자동 차단 + 검토 큐 이동
        │
        ▼
[결과 처리]
  + 피드백 루프: 실제 사기 여부를 모델에 재학습

중요한 건 피드백 루프다. 차단한 거래 중 실제 사기였는지, 정상 고객을 잘못 차단했는지를 계속 모델에 반영해야 탐지 정확도가 높아진다.

5. 가짜 양성 문제 — 정상 고객을 막으면 안 된다

사기 탐지의 가장 어려운 부분은 사기를 잡는 것이 아니라 정상 거래를 막지 않는 것이다.

Baymard Institute 연구에 따르면, 이커머스 사이트들이 가짜 양성 문제로 인해 매년 정상 거래의 약 1~2%를 잘못 차단한다. 이는 사기 피해 규모보다 큰 경우도 있다.

가짜 양성을 줄이는 방법

방법	설명
단계적 인증	차단 대신 OTP 추가 인증으로 재확인
인간 검토 큐	경계선 사례는 사람이 최종 판단
고객 이력 가중치	오랜 고객은 기준을 완화
실시간 설명 제공	왜 차단됐는지 고객에게 안내, 이의제기 창구 제공

6. 국내외 사기 탐지 서비스 비교

서비스	특징	가격대	국내 적합성
Signifyd	사기 발생 시 100% 환불 보증	거래액의 0.3~0.5%	글로벌 서비스 우선
Kount (Equifax)	AI + 글로벌 네트워크	월정액 + 건당	중대형 커머스
네이버파이낸셜	국내 데이터 특화	협의	국내 서비스 적합
토스페이먼츠 내장	결제 연동 시 기본 제공	포함	소규모에 적합
자체 구축	완전 커스터마이징	개발비	대형 커머스

7. 중소 쇼핑몰에서 현실적으로 시작하는 방법

대형 AI 사기 탐지 서비스는 비용이 크다. 작은 쇼핑몰에서 현실적으로 시작할 수 있는 단계를 보자.

1단계: 사기 이력 데이터 쌓기 먼저 어떤 패턴에서 사기가 발생하는지 데이터를 기록해야 한다. 이메일 도메인, 배송지 패턴, 가입-결제 시간 간격 등.

2단계: PG사 제공 기본 탐지 활용 토스페이먼츠, KG이니시스 등 주요 PG사는 기본 사기 탐지를 제공한다. 이것만 잘 활용해도 기본 방어는 가능하다.

3단계: 고위험 패턴 수동 룰 적용 데이터 분석으로 발견한 고위험 패턴(특정 IP 대역, 특정 시간대, 특정 상품 조합)에 한해 추가 인증을 적용한다.

4단계: 거래액 성장 시 전문 서비스 도입 월 거래액 5억 원 이상이 되면 전문 AI 사기 탐지 서비스의 ROI가 나온다.

맺으며

사기는 이커머스가 성장할수록 함께 커진다. 사기 탐지를 "나중에 문제가 생기면 하자"는 식으로 미루면, 막상 피해가 생겼을 때 대응하기 훨씬 어려워진다.

가장 중요한 원칙은 하나다. 사기꾼을 막는 것과 정상 고객을 막지 않는 것 사이의 균형이다. 너무 느슨하면 사기가 늘고, 너무 엄격하면 정상 고객이 떠난다. AI는 이 균형을 사람보다 훨씬 정교하게 찾아낼 수 있다.