A/B 테스트 결과 확인하기
두 안의 오픈·클릭 지표를 비교하고, 그 숫자를 어떻게 읽어야 하는지 알려드려요.
A/B 테스트로 보낸 실험의 결과는 「A/B 테스트 결과」에서 확인합니다.
A안과 B안의 발송 성공수 · 오픈수 · 클릭수를 나란히 놓고 비교합니다. 어떤 문구가, 어떤 버튼명이 더 잘 통했는지 숫자로 확인하는 화면입니다. (바로가기)
센드온은 어느 쪽이 이겼는지 판정하지 않습니다.
두 안의 수치와 비율, 그리고 둘을 그대로 뺀 차이(B-A) 까지만 제공합니다.
통계적 유의성 검정은 제공하지 않습니다.
어느 안을 채택할지는 수치를 보고 직접 판단해 주세요.
결과는 언제부터 쌓이나요
수집 기간
발송일로부터 +2일까지 (3일 간) · 이후 데이터는 수집되지 않습니다
발송 요청수 · 성공수
건수 제한 없이 제공
오픈수 · 오픈율 · 클릭수
안(그룹)당 발송 성공수가 11건 이상일 때부터 수집
오픈수
중복 수신자 제외
클릭수
중복 클릭 포함
조회 단위
일 단위 (하루에 여러 번 보낸 경우 템플릿 기준 집계)
1. 결과 목록 보기
상태 필터
전체 / 진행중(집계 중) / 완료
검색
실험명 또는 템플릿 이름으로 검색
테스트 항목
B안에서 무엇을 바꿨는지 칩으로 표시 (첫 줄 · 버튼명 · 강조표현 · 직접 작성)
테스트 표본
발송 성공수 기준
실험명 옆 상태 뱃지
2. 결과 상세 보기
행을 누르면 실험 하나의 결과가 열립니다. 화면은 위에서부터 실험 정보 → A/B 비교 → 지표 비교 순서로 이어집니다.
실험 정보
발송 채널 · 타겟팅 · 테스트 항목 · 발송일자 · 수신자 분배(총원과 A/B 인원)를 표시합니다. 실험을 만들 때 설정한 값이라 여기서 수정할 수는 없습니다.
A/B 비교
A안 · B안 카드에 실제로 발송된 내용이 그대로 렌더링됩니다. B안에서 달라진 부분은 보라색으로 표시되므로 무엇을 실험했는지 바로 확인할 수 있습니다.
개별 통계 상세 — 카드 우측 상단의 버튼으로, 해당 안의 카카오 템플릿 통계 화면으로 이동합니다.
집계 기간 — 우측 상단에 표시되며, 실제로 데이터를 수집한 기간입니다.
지표 비교
M타입으로 보낸 실험은 카카오 통계에서 I와 N으로 나뉘지만, 이 화면에서는 둘을 합산해 한 안 단위로 보여드립니다. 그룹별 수치는 [개별 통계 상세 (I)] / [개별 통계 상세 (N)]에서 확인해 주세요.
3. 버튼별 클릭수 비교
테스트 항목에 '버튼명'이 포함된 실험, 그리고 직접 작성하기로 A안 · B안의 버튼 구성이 달라진 실험에만 이 섹션이 표시됩니다. 문구만 바꾼 실험에서는 지표 비교가 마지막 섹션입니다.
버튼명
각 안에 실제로 입력된 버튼명
n건 (n%)
그 버튼의 클릭수와, 해당 안의 전체 클릭수 대비 비중 · 열 기준 합이 100%
보라색 강조
B안에서 바뀌거나 추가된 버튼명
차이 (B-A)
같은 행에 놓인 두 버튼의 클릭수 차이
-
짝을 찾지 못한 버튼 (한쪽에만 있는 버튼)
같은 행에 어떤 버튼끼리 놓이는지는 실험 유형에 따라 다릅니다.
버튼명 수정하기 — 버튼의 개수와 순서가 바뀌지 않으므로 순번이 같은 버튼끼리 한 행에 놓입니다. A안 이름과 B안 이름이 나란히 보이고 차이도 계산됩니다.
직접 작성하기 — 버튼을 추가 · 삭제 · 수정할 수 있어 순번만으로는 같은 버튼인지 알 수 없습니다. 그래서 버튼명과 링크가 모두 같은 것끼리 묶고, 짝이 없는 버튼은 반대쪽 칸이
-로 표시됩니다.
4. 엑셀 다운로드
[엑셀 다운로드]를 누르면 실험 단위 통계를 받을 수 있습니다.
누적 통계
실험 전체 기간의 안별 집계
일별 통계
수집 기간의 날짜별 집계
설명
지표 정의와 A/B 안내 (50:50 분배 · 11건 기준 · B안 자동 등록)
집계 중이거나 표본이 부족할 때
집계 진행중
지표가 모두 -로 표시되고, 집계 기간에 (집계 중) 표기와 안내 배너가 붙습니다
안당 발송 성공 11건 미만
도달 지표만 수치로 나오고, 오픈 · 클릭 · 차이는 -로 표시됩니다
일부 발송 실패
해당 안 카드에 뱃지가 붙습니다. 실패 건수 · 사유는 발송 결과 상세에서 확인해 주세요
새 실험으로 복사하기
같은 조건으로 실험을 한 번 더 진행할 때 사용합니다. [새 실험으로 복사하기]를 누르면 설정이 채워진 상태로 A/B 테스트 만들기 화면이 열립니다.
실험 이름 ({원본 실험명} 사본)
수신자 명단
발신 채널
예약 일시
발송 대상 유형 (N · M이면 080 번호 포함)
A안 템플릿
B안 작성 내용 (실험 유형 · 입력값 · 템플릿명)
수신자 명단과 예약 일시는 복사되지 않습니다. 두 항목은 비어 있는 상태로 열리므로 다시 설정해 주세요.
실험 취소하기
발송 전(발송 대기) 실험만 취소할 수 있습니다. 결과 목록의 [발송 대기] 행에서 [실험 취소]를 누릅니다.
취소 마감 — 발송 10분 전입니다. 마감이 지나면 버튼이 비활성되고, 마우스를 올리면 이유가 표시됩니다.
환불 — 차감된 발송 금액은 취소 즉시 환불됩니다.
되돌리기 — 취소한 실험은 되돌릴 수 없습니다.
자주 묻는 질문
Q. 오픈율 · 클릭수가 계속 -로 나와요.
안(그룹)당 발송 성공수가 11건 미만이면 오픈 · 클릭 지표를 수집하지 않습니다. 표본이 너무 작아 의미 있는 비교가 어렵기 때문입니다. 다음 실험에서는 연락처를 더 넉넉히 등록해 주세요.
Q. 발송한 지 4일이 지났는데 수치가 늘지 않아요.
수집 기간은 발송일로부터 +2일까지(3일 간)입니다. 그 이후의 오픈 · 클릭은 집계되지 않습니다.
Q. 발송결과 메뉴의 숫자와 다릅니다.
두 메뉴의 데이터 수집 시점이 달라 일시적으로 차이가 날 수 있습니다. 집계가 확정되면 맞춰집니다.
Q. 차이(B-A)가 +6.0%p면 B안이 이긴 건가요?
단정할 수 없습니다. 이 값은 두 수치를 그대로 뺀 산술값이고 통계 검정을 거치지 않았습니다. 표본이 작으면 우연으로도 이 정도 차이가 나므로, 같은 실험을 반복해 방향이 일관되게 나오는지 확인해 주세요.
Q. 결과 행을 눌러도 상세가 열리지 않아요.
발송 대기 · 취소됨 · 발송 불가 · 전체 발송 실패 상태는 제공할 지표가 없어 상세 화면을 열지 않습니다.
Q. 발송 대기인데 [실험 취소]가 눌리지 않아요.
발송 10분 전부터는 취소할 수 없습니다. 이미 발송 준비가 시작된 시점이기 때문입니다.
참고사항
A/B 테스트는 베타 기능이라 일부 동작과 화면이 변경될 수 있습니다.
한 번에 하나의 항목만 바꾼 실험이 해석하기 가장 쉽습니다. 실험 설계는 A/B 테스트로 발송하기를 참고해 주세요.
상세한 지표는 엑셀 다운로드로 받아 보시는 것을 권장합니다.
Last updated