정량이랑 정성이 대치되면?

"근데 데이터는 이렇게 나왔는데요"

인터뷰 결과 발표하면 이런 말이 나올 때가 있어요.

"근데 우리 설문에서는 사람들이 이 기능 만족한다고 나왔거든요. 인터뷰 결과랑 다른 것 같은데요."

설문에서 만족도가 높게 나왔는데, 인터뷰에서는 불만 얘기가 많이 나온 거예요. 어느 쪽이 맞는 거예요?

둘 다 맞아요. 그리고 둘 다 틀릴 수 있어요. 포인트는 정량이랑 정성이 대치되는 게 아니라는 거예요.

역할이 달라요

이거 제일 먼저 이해해야 해요.

정량 조사는 대중을 봐요. 정성 조사는 고관여자를 타이트하게 관찰해요.

설문에 응한 100명, 그 중에는 이 서비스를 한 달에 한 번 쓰는 사람도 있고, 매일 쓰는 사람도 있어요. 만족도 평균이 높게 나왔다는 건 전체 평균이 높다는 거예요.

인터뷰에 온 8명은 헤비 유저예요. 이 서비스를 가장 많이 쓰는 사람들이죠. 이들이 불만을 얘기한 거예요.

같은 서비스를 보고 있는데, 보는 층이 다른 거예요.

라이트 유저는 불만이 크지 않을 수 있어요. 기대 자체가 낮으니까요. 근데 헤비 유저는 기대가 높고, 더 많이 쓰니까 불편함도 더 느껴요. 그들의 불만이 서비스 개선의 방향을 알려줘요.

성급한 일반화가 문제예요

"8명 인터뷰에서 불만이 나왔으니까 모든 유저가 불만이다" — 이게 잘못된 거예요.

"100명 설문에서 만족도가 높으니까 개선 안 해도 된다" — 이것도 잘못된 거예요.

정성 조사 결과를 전체로 일반화하면 안 돼요. 특정 세그먼트에서 나온 패턴이에요. 그 세그먼트에게 의미 있는 발견이에요.

반대로 정량 평균값만 보고 "다 괜찮다"고 하면, 평균 뒤에 숨어있는 헤비 유저의 이탈 신호를 놓쳐요. 평균은 항상 극단값을 희석시키거든요.

두 결과가 다를 때 어떻게 해요?

세 가지 상황이에요.

같은 방향이면 강화예요. 정량에서도, 정성에서도 같은 문제가 보이면 — 이건 진짜 중요한 이슈예요. 두 개 데이터가 가리키는 게 같으면 더 강하게 개선 근거가 생겨요.

다른 방향이면 분리해서 봐야 해요. 만족도는 높은데 인터뷰에서 불만이 나왔어요. 이건 "누가 만족하고 누가 불만인가"를 파봐야 해요. 세그먼트 차이가 있을 거예요. 그 차이가 뭔지 이해하면 더 정확한 방향이 나와요.

완전히 모순되면 측정 방법을 점검해요. 설문 문항이 좋은 질문이었나, 인터뷰에서 유도가 없었나, 각각의 조사가 제대로 된 건지 검토해야 해요.

정량과 정성은 싸우는 게 아니에요

같이 써야 하는 도구예요.

정성으로 "왜"를 파내고, 정량으로 "얼마나"를 확인해요. 또는 정량에서 이상한 패턴을 발견하고, 정성으로 "왜 이런 패턴이 나왔지"를 파내요.

어느 쪽이 더 진실인지를 싸우는 게 아니라, 어느 쪽이 어떤 질문에 답을 줄 수 있는지를 알고 써야 해요.

정량에서 나온 숫자를 정성으로 반박하려고 하면 안 되고, 정성에서 나온 이야기를 정량으로만 검증하려고 해도 안 돼요.

둘의 역할이 다르다는 걸 알고 있으면, 대치가 아니라 보완이 돼요.