GEO 업체 제안서에서 무엇을 확인해야 하나

GEO 업체의 제안서를 볼 때 가장 먼저 확인할 것은 몇 번 반복해서 측정했는지, 어떤 AI 엔진을 대상으로 했는지, 언제 측정했는지 세 가지입니다. 이 세 가지가 제안서에 구체적으로 적혀 있지 않다면, 뒤에 나오는 인용률이나 순위 숫자는 근거를 확인하기 어렵습니다.

시장에 나온 제안서 대부분은 인용률이 몇 퍼센트 늘었다, 전환율이 몇 배 높아졌다는 요약 수치부터 내세웁니다. 정작 중요한 건 그 수치 자체가 아니라 수치가 어떻게 나왔는지이고, 이것부터 물어보면 제안서를 믿어도 될지 알 수 있습니다.

수치가 나온 과정을 확인하는 방법은 크게 다섯 가지로 나뉩니다. 업체에 별도 증빙 자료를 요구할 필요까지는 없이, 제안서를 다시 들여다보거나 몇 가지만 되물어보거나 직접 검색창에 넣어보는 것으로 충분합니다.

몇 번 물어봤는지부터 확인한다

생성형 AI는 같은 질문을 넣어도 매번 같은 답을 내놓지 않습니다. 한 번 물어서 나온 답을 근거로 "우리 브랜드가 1위로 추천된다"고 말하는 것은 동전을 한 번 던지고 결과를 단정하는 것과 다르지 않습니다.

제안서에 반복 횟수가 나와 있는지부터 봅니다. 몇 번 물었는지, 매번 새 대화창에서 물었는지 아니면 같은 대화창 안에서 이어 물었는지도 다른 조건입니다. 같은 대화창에서는 앞선 질문과 답이 다음 답에 영향을 줄 수 있기 때문입니다.

몇 번을 반복해야 충분한지 정해진 기준은 없습니다. 다만 한두 번으로는 우연과 실력을 가르기 어렵고, 열 번 가까이 반복해서 같은 결과가 나왔다면 그만큼 우연일 가능성은 줄어듭니다.

반복 횟수가 한두 번에 그친 자료라면 그 결과는 우연히 한 번 잘 나온 답일 수 있습니다. 몇 번 중 몇 번 등장했는지를 분수로 밝히는 자료와, 등장한 사례 하나만 캡처해 보여주는 자료는 신뢰도가 다릅니다.

어떤 엔진에서, 언제 확인했는지 살펴본다

ChatGPT에서 나온 회사가 Gemini나 Perplexity에서는 나오지 않는 경우가 흔합니다. "AI 검색에서 인용된다"는 표현만 있고 어떤 엔진인지 빠져 있다면 다시 물어봐야 합니다.

엔진 하나만 확인한 자료라고 해서 무조건 문제가 있는 것은 아닙니다. 어떤 엔진을 봤는지 밝히고 그 범위 안에서만 결과를 설명하는 자료라면, 나머지 엔진은 아직 확인하지 않았다는 뜻으로 받아들이면 됩니다.

측정 시점도 마찬가지입니다. AI 모델은 계속 업데이트되고, 같은 질문의 답도 몇 주 뒤에는 달라질 수 있습니다. 제안서나 실적 자료에 측정한 날짜가 없다면 그 결과가 지금도 유효한지 알 수 없습니다.

엔진 네 곳 중 한 곳에서만 나온 결과를 "AI 검색 전반에서 인용됐다"고 뭉뚱그려 쓰는 자료도 있습니다. 어떤 엔진에서 몇 번 중 몇 번 나왔는지, 엔진별로 나눠서 물어봐야 정확합니다.

직접 같은 질문을 넣어 재현해본다

제안서에 나온 질문 문장과 반복 횟수를 그대로 받아, 하루에 몰아서가 아니라 며칠에 걸쳐 나눠서 직접 넣어보는 방법이 있습니다. 하루에 몰아 물으면 그날 하루의 특이한 답 하나에 좌우될 수 있지만, 날짜를 나눠 물으면 결과가 꾸준한지 아닌지가 더 잘 드러납니다.

이때 문장을 토씨 하나 틀리지 않고 그대로 넣어보는 것만으로는 부족합니다. 실제로 사람들은 업체가 만든 그 문장을 그대로 검색창에 넣지 않고, 표현을 조금씩 바꿔 묻기 때문입니다. 같은 취지의 질문을 서너 번 다르게 물어보면, 문장 하나에서만 우연히 좋은 답이 나온 것인지 아닌지가 드러납니다.

나온 답은 화면을 캡처하거나 텍스트로 옮겨 물어본 날짜와 함께 남겨 둡니다. 몇 주 뒤 제안서 속 수치와 다시 비교할 때, 이런 기록이 있어야 무엇이 달라졌는지 알 수 있습니다.

제안서가 여러 엔진의 결과를 함께 제시했다면, 재현도 그 엔진들에서 각각 해봐야 정확합니다. 한 엔진에서만 확인하고 나머지는 제안서 내용을 그대로 믿는다면 검증의 의미가 그만큼 줄어듭니다.

업체가 질문 문장 자체를 밝히기를 꺼린다면, 그 자체가 결과를 재현해 확인받고 싶지 않다는 뜻일 수 있습니다. 반대로 질문 문장과 반복 횟수를 먼저 공개하는 업체는 이쪽에서 직접 검증하는 것을 자연스럽게 받아들입니다.

이렇게 직접 넣어본 결과와 업체 제안서의 결과가 크게 어긋난다면, 측정 시점이 다르거나 대화창 조건이 달랐을 가능성부터 확인해봐야 합니다.

다음 측정은 언제 하기로 했는지 확인한다

AI 모델은 계속 업데이트되고 같은 질문의 답도 시간이 지나면 달라질 수 있다는 점은 앞서 본 그대로입니다. 그렇다면 계약이 끝난 뒤가 아니라 계약 기간 안에 다시 측정해 보고하기로 했는지도 확인해야 할 부분입니다.

제안서 대부분은 계약을 시작할 때의 측정 결과나 종료 시점의 최종 성과는 담아도, 그 사이에 정기적으로 다시 측정해 보고하는 일정까지는 밝히지 않는 경우가 많습니다. 월 단위든 분기 단위든 재측정 주기가 제안서나 계약서에 적혀 있는지 확인해야 합니다.

재측정 주기가 없다면 계약 기간 내내 처음 제시한 숫자 하나에 기대는 셈이 됩니다. 몇 달 뒤 모델이 바뀌어 결과가 달라져도 그 사실을 확인할 방법이 없기 때문입니다.

회사가 낸 숫자와 직접 확인한 숫자를 구분한다

GEO 업체 홈페이지나 제안서에 나오는 인용률 증가율, 전환율, 고객사 성과 같은 숫자는 대부분 그 회사가 자체적으로 집계해 공개한 자료입니다. 이런 숫자 자체가 틀렸다는 뜻은 아니지만, 제3자가 같은 방식으로 다시 측정했을 때도 같은 결과가 나오는지는 별개 문제입니다.

제안서를 받을 때는 그 숫자를 누가, 어떤 방식으로, 몇 건을 대상으로 집계했는지 따져봐야 합니다. 대상 건수나 측정 기간을 밝히지 않고 증가율만 강조하는 자료는 그대로 받아들이기보다 근거를 한 번 더 물어보는 편이 낫습니다.

고객사 성과를 사례로 드는 자료도 마찬가지입니다. 몇 퍼센트 성장했다는 수치와 함께 측정 시작일과 종료일, 비교 대상 기간이 함께 적혀 있는지 봅니다. 시작일과 종료일 없이 성장률만 적힌 사례는 어느 구간을 비교했는지 알 수 없습니다.

같은 이유로 "AI 답변에 100% 인용", "몇 위 안에 보장" 같은 확정적인 문구도 그 자체로는 근거가 아닙니다. 앞서 본 것처럼 같은 질문도 반복할 때마다 답이 달라지는 만큼, 결과를 확정해 약속하는 것은 업체가 통제할 수 없는 영역까지 보장하겠다는 말과 같습니다.

반복 횟수와 대상 엔진, 측정 날짜를 묻고 직접 재현해본 뒤, 재측정 주기와 남은 숫자의 출처까지 가려내면 제안서 한 장으로는 보이지 않던 부분이 드러납니다.