재현성이란 무엇입니까?
같은 측정을 반복했을 때 같은 값이 나오는 정도를 말합니다. 온도계는 재현성이 높습니다. 같은 물을 두 번 재면 같은 값이 나옵니다.
생성형 AI는 다릅니다. 같은 질문을 두 번 해도 답이 달라집니다. 그래서 AI 노출을 측정한 숫자는 한 번 잰 값만으로는 믿을 수 없습니다.
[실측 2026-09-19] 브랜드 노출 진단
브랜드 3곳을 세 차례씩 측정했습니다. 그 가운데 질의문이 완전히 같은 회차 쌍 7개, 곧 91자리를 견주었더니 17자리에서 AI 판정이 달라졌습니다. 18.7%입니다.
[미측정] 같은 기간에 저희가 재지 못한 자리가 6자리(6.6%) 있었습니다. 그것은 AI가 흔들린 것이 아니라 저희가 못 잰 것이므로 위 숫자에 넣지 않았습니다.
질의문이 달라진 회차는 비교에서 뺐습니다. 그것을 섞으면 AI가 흔들린 것과 질문이 달랐던 것이 한 숫자에 들어갑니다.
홈페이지 접근 진단은
공개된 파일을 읽어 판정하므로 흔들림이 적을 것으로 봅니다. 다만 그 폭을 같은 방식으로 측정한 기록은 아직 없습니다. 재는 대로 이 자리에 적겠습니다.
불리한 숫자를 왜 적습니까?
18.7%는 좋은 숫자가 아닙니다. 적지 않으면 아무도 모릅니다. 그런데 적지 않고 파는 것이 더 위험합니다.
고객이 같은 진단을 두 번 수행해 보고 값이 다르면, 그때는 숫자 하나가 아니라 저희 전체를 믿지 못하게 됩니다.
그래서 저희는 2회 측정하여 두 값을 나란히 보여 드립니다. 한 값을 골라 제시하지 않습니다. 두 값이 다르면 다른 채로 보십니다. 그것이 지금 AI 검색의 실제 모습입니다.
줄이려는 노력은 하고 있습니다
질의문 구성과 판정 기준을 다듬어 갈림을 줄이는 작업을 진행 중입니다. 진척이 있으면 그때의 실측값으로 이 문서를 갱신합니다. 이 문서의 숫자가 오래되었다면 알려 주십시오.