우리 회사가 AI 답변에 나오는지 직접 확인하는 방법

확인 방법은 단순합니다. 고객이 실제로 입력할 만한 질문 하나를 정하고, 엔진마다 새 대화에서 같은 문장을 다섯 번 넣습니다. 회사 이름이 몇 번째 답변에 나왔는지, 그 답변이 어떤 출처를 링크했는지를 표에 적어 두면 다음 달 같은 조건으로 다시 재어 비교할 수 있습니다.

한 번 물어본 화면을 근거로 나온다, 안 나온다를 정하는 것이 이 측정에서 가장 흔한 실수입니다.

측정 조건부터 정해 둡니다

같은 질문이라도 서비스와 시점, 앞선 대화 내용에 따라 답변에 등장하는 회사와 출처가 달라집니다. GEO타임스가 한 질문을 엔진별로 반복해 기록하는 이유이기도 합니다(작성 원칙).

그래서 조건을 고정해야 두 시점의 결과를 나란히 놓을 수 있습니다. 질문 문장은 회차마다 그대로 두고, 매번 새 대화에서 시작합니다. ChatGPT는 로그아웃 상태나 임시 채팅으로, 로그인이 필요한 Gemini와 Claude는 평소 업무에 쓰지 않는 계정으로 다섯 번 모두 묻습니다.

측정은 같은 날 같은 시간대에 몰아서 합니다. 자기 계정으로 업무 대화를 오래 쌓아 둔 상태에서 물으면 그 이력이 섞인 답변을 보게 됩니다.

질문을 고를 때는 회사 이름을 넣지 않은 문장을 먼저 씁니다. Duane Forrester는 서치엔진저널 글에서 회사 이름을 넣어 설명해 달라고 묻는 방식이 가장 정보가 적은 테스트라고 적었습니다.

Forrester가 말한 빈칸 채우기는 회사 이름이 없는 질문에서 나타납니다. 지역과 업종만 넣은 추천 질문, 경쟁사 한 곳만 언급한 비교 질문이 여기 해당합니다.

모델 이름도 함께 적습니다

구글 AI 모드는 8월 14일 모델 메뉴에 Gemini 3.7 Flash가 추가됐고, 9월 2일에는 3.8 Flash가 유료 구독자 메뉴에 올라왔습니다. 출시 직후 3.8 Flash 답변에 출처 링크가 거의 붙지 않는 문제가 보고됐다가 하루 만에 되돌아왔습니다(구글, AI 모드에 Gemini 3.8 Flash 추가).

서치엔진저널은 이 소식을 전하며 테스트할 때마다 모델 이름을 기록하라고 적었습니다. 8월 중순 3.7 Flash에서 잰 값과 9월 3.8 Flash에서 잰 값의 차이는 우리 콘텐츠가 아니라 모델이 바뀐 결과일 수 있습니다.

무료 AI 모드에는 모델 선택 메뉴가 없으니 기본 모델의 답으로 적습니다. 표에는 유료 계정에서 고른 모델인지 기본 모델인지를 함께 남깁니다.

기록표에 넣을 항목

스프레드시트 한 장이면 됩니다. 회차마다 한 줄씩, 아래 여덟 개 열을 채웁니다.

열	적는 내용
측정일	날짜와 시간대
엔진과 모델	서비스 이름, 선택한 모델 이름
질문	실제 입력한 문장 그대로
회차	1에서 5까지
우리 회사 등장	나왔는지, 답변 안에서 몇 번째로 나왔는지
함께 나온 회사	답변에 적힌 이름 그대로
출처 도메인	답변이 링크한 페이지의 도메인
출처 구분	자사 사이트인지 제3자 사이트인지

표를 이렇게 나눠 두면 회사 이름이 본문에 나오는 것과 우리 페이지가 출처로 붙는 것을 따로 셀 수 있습니다. 둘은 따로 움직입니다. 이름은 나오는데 링크는 언론사나 블로그로 붙기도 하고, 이름 없이 우리 페이지만 출처 목록에 들어가기도 합니다.

함께 나온 회사 이름도 빠짐없이 옮겨 적습니다. 다섯 번 내내 같은 세 곳이 함께 나온다면 그 답변에서 우리가 비교되는 상대가 누구인지가 표에 그대로 남습니다.

출처 도메인을 적어 두면 다음에 손볼 페이지를 고를 때 근거가 생깁니다. 미국 B2B 콘텐츠 회사 Ten Speed가 프롬프트 170개로 모은 인용 7,387건에서는 제품 페이지가 24.1%로 가장 많았고, 비교 페이지와 리스티클이 각각 13% 안팎, G2 같은 디렉터리 프로필이 7.2%였습니다(제품 페이지가 AI 인용의 24%). B2B SaaS 고객사, 영어 질문, 단일 시점이라는 조건이 붙은 숫자이므로 국내 업종에서는 자기 표에 적힌 출처 도메인을 세어 보는 것이 정확합니다.

설명이 맞는지도 확인합니다

등장 여부만 세면 놓치는 것이 있습니다. Duane Forrester는 서치엔진저널에 9월 3일 쓴 글에서, 회사에 관한 자료가 웹에 별로 없을 때 모델이 그 빈칸을 비워 두는 대신 가장 가까운 자료를 끌어다 같은 확신으로 내놓는다고 적었습니다(When AI Has Nothing On Your Company, It Describes Someone Else).

Forrester가 든 네 가지는 경쟁사 설명을 우리 회사 설명으로 갖다 붙이는 것, 지난 정보를 현재형으로 말하는 것, 근거 한 건을 여러 건인 양 확신하는 것, 업종 일반론에 회사 이름만 붙이는 것입니다. 넷 다 문장은 그럴듯해서 빠르게 훑으면 지나치기 쉽습니다. 특히 업종 일반론에 회사 이름만 붙은 답변은 업종 설명으로는 틀린 데가 없어 그냥 통과되기 쉽습니다.

Forrester는 이런 어긋남이 자기 사이트 페이지를 아무리 점검해도 드러나지 않는다고 적었습니다. 우리가 쓰지 않은 문장이 답변에 있는지는 답변 쪽을 열어 봐야 보입니다.

표에 한 칸을 더 두고 답변에 나온 설명 중 사실과 다른 문장을 그대로 옮겨 적습니다. 회사 이름이 나온 다섯 번 가운데 설명이 맞은 것이 몇 번인지가 등장 횟수만큼 중요한 값입니다.

다시 잴 때 주의할 점

같은 조건으로 1주에서 2주 뒤 다시 잽니다. 결과가 달라지는 것 자체는 이상한 일이 아니므로, 다섯 번 중 몇 번인지로 읽습니다.

답변 화면은 회차별로 저장해 둡니다. 표에 숫자만 남으면 나중에 어떤 문장이 나왔는지 되짚을 수 없습니다.

질문 하나로 표가 채워지고 나면 같은 방식으로 두세 개를 더 붙입니다. 고객이 묻는 순서대로 늘리면 나중에 답변이 달라진 구간을 찾기 쉽습니다.

하지 말아야 할 것도 있습니다. 한 번의 답변으로 결론 내기, 회차마다 질문 문장 조금씩 바꾸기, 평소 대화 이력이 쌓인 계정으로 재기, AI에게 업체 순위를 매겨 달라고 시켜 그 점수를 측정값으로 쓰기입니다.