AI 인용 확인, 몇 번 반복해야 믿을 만할까

챗GPT에 같은 질문을 20번 반복했더니, 인용된 페이지 가운데 40%가 넘는 비율이 딱 한 번만 등장했다는 연구 결과가 최근 나왔습니다. 한 번만 확인하고 우리 사이트가 인용된다고 안심하거나, 반대로 한 번 안 보인다고 해서 노출이 사라졌다고 판단하기에는 결과가 너무 자주 달라집니다. 그렇다면 몇 번 정도 반복해야 그 결과를 믿을 수 있을까요.

매번 결과가 다르게 나오는 이유

같은 질문을 던져도 AI가 답을 만드는 과정은 매번 조금씩 다릅니다. 검색 결과 순서가 바뀌거나, 참고하는 페이지가 달라지거나, 답변을 만든 모델 버전 자체가 다를 때도 있습니다. 이런 요소가 겹치면 똑같은 질문인데도 인용되는 출처가 매번 바뀔 수 있습니다.

문제는 이렇게 달라지는 비율이 생각보다 큽니다. 한 번 확인한 결과가 평소에도 늘 나오는 흐름인지, 아니면 그날 우연히 나온 결과인지 구분할 수 없다면, 그 결과만 보고 중요한 결정을 내리기는 어렵습니다.

반복 횟수를 정하는 기준

반복 횟수를 정할 때는 두 가지를 살펴보면 됩니다. 하나는 그 결과로 무엇을 결정할 것인가입니다. 가볍게 흐름만 보려는 거라면 서너 번으로 충분하지만, 콘텐츠 전략을 바꾸거나 예산을 다시 배분하는 결정이라면 훨씬 많이 반복해야 합니다.

다른 하나는 질문 자체의 성격입니다. 사실 하나를 확인하는 질문이라면 답이 비교적 고정돼 있어서 적게 반복해도 금방 패턴이 보입니다. 반면 추천이나 비교처럼 여러 선택지가 섞이는 질문은 반복할수록 새로운 출처가 계속 나올 수 있어, 그만큼 더 많이 반복해야 합니다.

몇 번이 적당할까

평소에 꾸준히 추적하는 핵심 질문이라면 한 번에 10회 정도 반복하는 정도로 충분합니다. 이 정도만 해도 가끔 튀는 결과 한두 번에 흔들리지 않으면서, 매번 지나치게 많은 시간을 쓰지 않을 수 있습니다.

예산을 옮기거나 콘텐츠 방향을 바꾸는 것처럼 중요한 의사결정을 앞두고 있다면 20회 가까이 늘려서 확인하는 편이 안전합니다. 반복할수록 어떤 출처가 꾸준히 등장하고 어떤 출처가 가끔 나타나는지 구분하는 기준이 더 뚜렷해집니다.

반복한 결과를 그냥 모아 두기만 하면 나중에 비교하기 어렵습니다. 전체 반복 횟수 가운데 몇 번 등장했는지를 비율로 적어 두면, 다음 번 확인 때 그 비율이 올랐는지 내렸는지 바로 비교할 수 있습니다.

등장 빈도로 결과 나누기

반복 확인을 마쳤다면 결과를 세 묶음으로 나눠 보는 방법이 유용합니다. 거의 매번 등장하는 출처, 절반 정도 등장하는 출처, 한두 번만 등장하는 출처로 나누면 각 출처의 안정성이 한눈에 보입니다.

거의 매번 등장하는 출처는 현재 콘텐츠나 구조가 잘 작동하고 있다는 신호로 볼 수 있습니다. 절반 정도 등장하는 출처는 조건에 따라 오가는 경계선에 있다는 뜻이므로, 다음 확인에서 비율이 어느 쪽으로 움직이는지 지켜보면 됩니다. 한두 번만 등장한 출처는 우연히 섞여 들어온 결과일 가능성이 높아, 그 자체로 큰 의미를 두지 않는 편이 낫습니다.

시간을 두고 다시 확인하기

한 번에 여러 차례 반복해도 결국 같은 날, 같은 조건에서 나온 결과일 뿐입니다. 그래서 반복 확인은 하루 안에서 끝내기보다, 며칠이나 몇 주 간격을 두고 다시 진행하는 방식과 함께 쓰는 편이 좋습니다.

같은 질문을 주기적으로 반복 확인하면서 그 비율이 시간이 지나며 어떻게 바뀌는지 기록해 두면, 특정 콘텐츠 변경이나 정책 변화가 실제로 영향을 줬는지 더 정확하게 판단할 수 있습니다. 비율이 꾸준히 비슷하게 유지된다면 안정적인 출처로, 널뛰듯 오르내린다면 조건에 민감한 출처로 분류해 두면 다음 분석에 도움이 됩니다.

질문 유형마다 다르게 접근하기

모든 질문을 같은 횟수로 반복할 필요는 없습니다. 브랜드명이나 제품명을 그대로 넣은 질문은 비교적 적은 반복으로도 패턴이 금방 드러나는 편입니다. 답이 가리키는 대상 자체가 좁기 때문입니다.

반면 "이런 상황에서 뭘 써야 하나" 같은 넓은 추천형 질문은 매번 다른 후보가 섞여 들어올 가능성이 큽니다. 이런 질문은 반복 횟수를 늘려도 등장 비율이 쉽게 안정되지 않을 수 있는데, 이 경우 횟수를 더 늘리기보다는 질문 자체를 조금 더 구체적으로 좁혀서 다시 확인해 보는 쪽이 효율적일 때가 많습니다.

경쟁사와 비교되는 질문이라면, 우리 사이트만 반복해서 확인하는 대신 주요 경쟁사가 함께 언급되는 빈도도 같이 기록해 두면 상대적인 위치를 가늠하는 데 도움이 됩니다.

도구를 쓸 때 주의할 점

반복 확인을 자동화해 주는 도구를 쓴다면, 그 도구가 실제로 몇 번 반복해서 결과를 만들어 내는지부터 확인해 보는 것이 먼저입니다. 한 번의 조회 결과만 보여 주는 도구라면, 지금까지 설명한 것과 같은 문제를 그대로 안고 있을 수 있습니다.

도구가 제공하는 숫자를 그대로 믿기보다, 가끔은 직접 같은 질문을 여러 번 던져 보고 도구의 결과와 비교해 보는 습관도 유용합니다. 두 결과가 크게 엇갈린다면 도구의 반복 횟수나 수집 방식을 다시 점검해 볼 신호로 받아들이면 됩니다.

작은 조직에서 실천하는 법

매번 20번씩 반복하기가 부담스럽다면, 핵심 질문 몇 개만 골라 우선적으로 반복 횟수를 늘리고 나머지는 가볍게 서너 번만 확인하는 방식도 괜찮습니다. 모든 질문을 똑같은 강도로 다룰 필요는 없습니다.

반복 확인에 들어간 질문과 날짜, 등장 횟수만 간단히 표로 남겨 두면, 담당자가 바뀌어도 같은 기준으로 이어서 확인할 수 있습니다. 처음부터 완벽한 체계를 만들기보다, 핵심 질문 한두 개로 먼저 시작해 익숙해진 다음 범위를 넓혀 가는 쪽이 꾸준히 이어가기에 수월합니다.