> For the complete documentation index, see [llms.txt](https://guide-user.sendon.io/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://guide-user.sendon.io/kakao/ab-test-result.md).

# A/B 테스트 결과 확인하기

두 안의 오픈·클릭 지표를 비교하고, 그 숫자를 어떻게 읽어야 하는지 알려드려요.

**A/B 테스트로 보낸 실험의 결과는 「A/B 테스트 결과」에서 확인합니다.**

A안과 B안의 발송 성공수 · 오픈수 · 클릭수를 나란히 놓고 비교합니다. 어떤 문구가, 어떤 버튼명이 더 잘 통했는지 숫자로 확인하는 화면입니다. ([바로가기](https://console.sendon.io/page/ab-test/result))

{% hint style="warning" %}
**센드온은 어느 쪽이 이겼는지 판정하지 않습니다.**

* 두 안의 수치와 비율, 그리고 둘을 그대로 뺀 **차이(B-A)** 까지만 제공합니다.
* 통계적 유의성 검정은 **제공하지 않습니다.**
* 어느 안을 채택할지는 **수치를 보고 직접 판단**해 주세요.
  {% endhint %}

***

## 결과는 언제부터 쌓이나요

<table><thead><tr><th width="227">항목</th><th>내용</th></tr></thead><tbody><tr><td>수집 기간</td><td><strong>발송일로부터 +2일까지 (3일 간)</strong> · 이후 데이터는 수집되지 않습니다</td></tr><tr><td>발송 요청수 · 성공수</td><td>건수 제한 없이 제공</td></tr><tr><td>오픈수 · 오픈율 · 클릭수</td><td><strong>안(그룹)당 발송 성공수가 11건 이상</strong>일 때부터 수집</td></tr><tr><td>오픈수</td><td>중복 수신자 <strong>제외</strong></td></tr><tr><td>클릭수</td><td>중복 클릭 <strong>포함</strong></td></tr><tr><td>조회 단위</td><td>일 단위 (하루에 여러 번 보낸 경우 템플릿 기준 집계)</td></tr></tbody></table>

{% hint style="info" %}
발송결과 메뉴와 통계 메뉴는 데이터 수집 시점이 달라 같은 실험의 수치가 일시적으로 다르게 보일 수 있습니다. 집계가 확정되면 맞춰집니다.
{% endhint %}

***

## 1. 결과 목록 보기

<figure><img src="https://1110439346-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F6pw8H9olRTkFFZrnyx0c%2Fuploads%2FCK4QQ0wjoBQ2Dx7CbLXd%2F12-%E1%84%80%E1%85%A7%E1%86%AF%E1%84%80%E1%85%AA-%E1%84%86%E1%85%A9%E1%86%A8%E1%84%85%E1%85%A9%E1%86%A8.png?alt=media&amp;token=e6ce90de-caa5-47ba-9bfd-4690d4ef96d2" alt=""><figcaption></figcaption></figure>

<table><thead><tr><th width="227">기능</th><th>설명</th></tr></thead><tbody><tr><td>상태 필터</td><td>전체 / 진행중(집계 중) / 완료</td></tr><tr><td>검색</td><td>실험명 또는 템플릿 이름으로 검색</td></tr><tr><td>테스트 항목</td><td>B안에서 무엇을 바꿨는지 칩으로 표시 (첫 줄 · 버튼명 · 강조표현 · 직접 작성)</td></tr><tr><td>테스트 표본</td><td><strong>발송 성공수</strong> 기준</td></tr></tbody></table>

### 실험명 옆 상태 뱃지

<figure><img src="https://1110439346-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F6pw8H9olRTkFFZrnyx0c%2Fuploads%2FDsZRRpZgn570YoMluW6N%2F13-%EA%B2%B0%EA%B3%BC%EB%AA%A9%EB%A1%9D-%EC%83%81%ED%83%9C%EB%B0%A5%EC%A7%80.webp?alt=media" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
실패 뱃지에 마우스를 올리면 사유가 표시됩니다. **발송 불가**는 A안 · B안 모두 발송되지 않은 상태이고, **전체 발송 실패**의 실패 사유는 발송 현황에서 확인할 수 있습니다.
{% endhint %}

***

## 2. 결과 상세 보기

행을 누르면 실험 하나의 결과가 열립니다. 화면은 위에서부터 **실험 정보 → A/B 비교 → 지표 비교** 순서로 이어집니다.

<figure><img src="https://1110439346-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F6pw8H9olRTkFFZrnyx0c%2Fuploads%2FfE9PTDMAuLSGPaTthBg6%2F14-%E1%84%80%E1%85%A7%E1%86%AF%E1%84%80%E1%85%AA%E1%84%89%E1%85%A1%E1%86%BC%E1%84%89%E1%85%A6-%E1%84%89%E1%85%B5%E1%86%AF%E1%84%92%E1%85%A5%E1%86%B7%E1%84%8C%E1%85%A5%E1%86%BC%E1%84%87%E1%85%A9.png?alt=media&amp;token=3b1b95e2-589d-49f0-9130-ad5588da102d" alt=""><figcaption></figcaption></figure>

### 실험 정보

발송 채널 · 타겟팅 · 테스트 항목 · 발송일자 · **수신자 분배**(총원과 A/B 인원)를 표시합니다. 실험을 만들 때 설정한 값이라 여기서 수정할 수는 없습니다.

### A/B 비교

A안 · B안 카드에 **실제로 발송된 내용이 그대로** 렌더링됩니다. B안에서 달라진 부분은 보라색으로 표시되므로 무엇을 실험했는지 바로 확인할 수 있습니다.

* **개별 통계 상세** — 카드 우측 상단의 버튼으로, 해당 안의 카카오 템플릿 통계 화면으로 이동합니다.
* **집계 기간** — 우측 상단에 표시되며, 실제로 데이터를 수집한 기간입니다.

### 지표 비교

<figure><img src="https://1110439346-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F6pw8H9olRTkFFZrnyx0c%2Fuploads%2F4k3crp4RBekJq78hnISc%2F15-%EA%B2%B0%EA%B3%BC%EC%83%81%EC%84%B8-%EC%A7%80%ED%91%9C%EB%B0%94%EA%B5%90.webp?alt=media" alt=""><figcaption></figcaption></figure>

M타입으로 보낸 실험은 카카오 통계에서 I와 N으로 나뉘지만, 이 화면에서는 **둘을 합산해** 한 안 단위로 보여드립니다. 그룹별 수치는 \[개별 통계 상세 (I)] / \[개별 통계 상세 (N)]에서 확인해 주세요.

***

## 3. 버튼별 클릭수 비교

**테스트 항목에 '버튼명'이 포함된 실험**, 그리고 **직접 작성하기로 A안 · B안의 버튼 구성이 달라진 실험**에만 이 섹션이 표시됩니다. 문구만 바꾼 실험에서는 지표 비교가 마지막 섹션입니다.

<table><thead><tr><th width="227">표기</th><th>뜻</th></tr></thead><tbody><tr><td>버튼명</td><td>각 안에 실제로 입력된 버튼명</td></tr><tr><td>n건 (n%)</td><td>그 버튼의 클릭수와, <strong>해당 안의 전체 클릭수 대비 비중</strong> · 열 기준 합이 100%</td></tr><tr><td>보라색 강조</td><td>B안에서 바뀌거나 추가된 버튼명</td></tr><tr><td>차이 (B-A)</td><td>같은 행에 놓인 두 버튼의 클릭수 차이</td></tr><tr><td><code>-</code></td><td>짝을 찾지 못한 버튼 (한쪽에만 있는 버튼)</td></tr></tbody></table>

같은 행에 어떤 버튼끼리 놓이는지는 실험 유형에 따라 다릅니다.

* **버튼명 수정하기** — 버튼의 개수와 순서가 바뀌지 않으므로 **순번이 같은 버튼끼리** 한 행에 놓입니다. A안 이름과 B안 이름이 나란히 보이고 차이도 계산됩니다.
* **직접 작성하기** — 버튼을 추가 · 삭제 · 수정할 수 있어 순번만으로는 같은 버튼인지 알 수 없습니다. 그래서 **버튼명과 링크가 모두 같은 것끼리** 묶고, 짝이 없는 버튼은 반대쪽 칸이 `-`로 표시됩니다.

{% hint style="info" %}
괄호 안의 비중은 **각 안 내부의 분포**를 보는 값입니다. 버튼 개수가 다르면 비중의 기준 자체가 달라지므로 안끼리 비중을 직접 비교하지는 마세요.
{% endhint %}

***

## 4. 엑셀 다운로드

\[엑셀 다운로드]를 누르면 실험 단위 통계를 받을 수 있습니다.&#x20;

<table><thead><tr><th width="227">시트</th><th>내용</th></tr></thead><tbody><tr><td>누적 통계</td><td>실험 전체 기간의 안별 집계</td></tr><tr><td>일별 통계</td><td>수집 기간의 날짜별 집계</td></tr><tr><td>설명</td><td>지표 정의와 A/B 안내 (50:50 분배 · 11건 기준 · B안 자동 등록)</td></tr></tbody></table>

{% hint style="info" %}
집계 진행중 · 표본 미달 · 발송 불가 · 전체 발송 실패 상태에서는 제공할 통계가 없어 버튼이 비활성됩니다.
{% endhint %}

***

## 집계 중이거나 표본이 부족할 때

<table><thead><tr><th width="227">상황</th><th>화면</th></tr></thead><tbody><tr><td>집계 진행중</td><td>지표가 모두 <code>-</code>로 표시되고, 집계 기간에 (집계 중) 표기와 안내 배너가 붙습니다</td></tr><tr><td>안당 발송 성공 11건 미만</td><td>도달 지표만 수치로 나오고, 오픈 · 클릭 · 차이는 <code>-</code>로 표시됩니다</td></tr><tr><td>일부 발송 실패</td><td>해당 안 카드에 뱃지가 붙습니다. 실패 건수 · 사유는 발송 결과 상세에서 확인해 주세요</td></tr></tbody></table>

***

## 새 실험으로 복사하기

같은 조건으로 실험을 한 번 더 진행할 때 사용합니다. \[새 실험으로 복사하기]를 누르면 설정이 채워진 상태로 A/B 테스트 만들기 화면이 열립니다.

<table><thead><tr><th width="303">복사되는 항목</th><th>복사되지 않는 항목</th></tr></thead><tbody><tr><td>실험 이름 (<code>{원본 실험명} 사본</code>)</td><td><strong>수신자 명단</strong></td></tr><tr><td>발신 채널</td><td><strong>예약 일시</strong></td></tr><tr><td>발송 대상 유형 (N · M이면 080 번호 포함)</td><td></td></tr><tr><td>A안 템플릿</td><td></td></tr><tr><td>B안 작성 내용 (실험 유형 · 입력값 · 템플릿명)</td><td></td></tr></tbody></table>

{% hint style="warning" %}
**수신자 명단과 예약 일시는 복사되지 않습니다.** 두 항목은 비어 있는 상태로 열리므로 다시 설정해 주세요.
{% endhint %}

***

## 실험 취소하기

**발송 전(발송 대기) 실험만 취소할 수 있습니다.** 결과 목록의 \[발송 대기] 행에서 \[실험 취소]를 누릅니다.

* **취소 마감** — 발송 10분 전입니다. 마감이 지나면 버튼이 비활성되고, 마우스를 올리면 이유가 표시됩니다.
* **환불** — 차감된 발송 금액은 취소 즉시 환불됩니다.
* **되돌리기** — 취소한 실험은 되돌릴 수 없습니다.

{% hint style="info" %}
A/B 실험의 취소는 「A/B 테스트 결과」 목록에서만 할 수 있습니다. 발송 현황 메뉴에서는 상태만 확인할 수 있고 건 단위 취소는 제공되지 않습니다.
{% endhint %}

***

## 자주 묻는 질문

**Q. 오픈율 · 클릭수가 계속 `-`로 나와요.**

안(그룹)당 발송 성공수가 **11건 미만**이면 오픈 · 클릭 지표를 수집하지 않습니다. 표본이 너무 작아 의미 있는 비교가 어렵기 때문입니다. 다음 실험에서는 연락처를 더 넉넉히 등록해 주세요.

**Q. 발송한 지 4일이 지났는데 수치가 늘지 않아요.**

수집 기간은 발송일로부터 +2일까지(3일 간)입니다. 그 이후의 오픈 · 클릭은 집계되지 않습니다.

**Q. 발송결과 메뉴의 숫자와 다릅니다.**

두 메뉴의 데이터 수집 시점이 달라 일시적으로 차이가 날 수 있습니다. 집계가 확정되면 맞춰집니다.

**Q. 차이(B-A)가 +6.0%p면 B안이 이긴 건가요?**

단정할 수 없습니다. 이 값은 두 수치를 그대로 뺀 산술값이고 통계 검정을 거치지 않았습니다. 표본이 작으면 우연으로도 이 정도 차이가 나므로, 같은 실험을 반복해 방향이 일관되게 나오는지 확인해 주세요.

**Q. 결과 행을 눌러도 상세가 열리지 않아요.**

**발송 대기 · 취소됨 · 발송 불가 · 전체 발송 실패** 상태는 제공할 지표가 없어 상세 화면을 열지 않습니다.

**Q. 발송 대기인데 \[실험 취소]가 눌리지 않아요.**

발송 10분 전부터는 취소할 수 없습니다. 이미 발송 준비가 시작된 시점이기 때문입니다.

***

## 참고사항

* A/B 테스트는 베타 기능이라 일부 동작과 화면이 변경될 수 있습니다.
* 한 번에 하나의 항목만 바꾼 실험이 해석하기 가장 쉽습니다. 실험 설계는 [A/B 테스트로 발송하기](/kakao/ab-test.md)를 참고해 주세요.
* 상세한 지표는 엑셀 다운로드로 받아 보시는 것을 권장합니다.

{% hint style="info" %}
한 번의 결과로 문구를 확정하기보다, 같은 방향의 실험을 두세 번 반복해 결과가 일관되게 나오는지 확인하시는 것을 권장합니다.
{% endhint %}