연구진, 구글 검색과 오픈AI API 모두 챗GPT 실제 인용 못 맞혔다고 밝혀

싱가포르국립대와 시안자오퉁대 연구진이 챗GPT가 실제로 인용한 출처와, 구글 검색이나 오픈AI API로 추정한 결과를 비교한 논문을 내놓았습니다. 서치엔진저널이 10월 18일 이 논문을 소개했습니다. 논문은 지난 10월 11일 아카이브에 먼저 올라왔습니다.

연구진은 GPT-5.2부터 5.5까지 네 가지 버전을 대상으로, 올해 3월 29일부터 7월 29일까지 영어와 중국어 질문 80개를 각각 최대 20차례씩 반복해 실제 챗GPT 답변 속 출처를 수집했습니다. 추천, 사실 확인, 정보 종합, 분석 네 가지 유형으로 질문을 나눴습니다.

같은 질문을 구글 검색과 오픈AI 서치 API에도 입력해, 챗GPT가 실제로 인용한 페이지와 얼마나 겹치는지 비교했습니다. 구글 검색은 질문당 최대 5페이지, 평균 43건의 결과를 가져왔고, 오픈AI API 쪽도 검색 기능을 켠 상태로 같은 횟수만큼 요청을 보냈습니다. 두 방법 모두 챗GPT의 실제 인용과는 거리가 있었습니다.

구글 검색만으로는 GPT-5.3 기준 9.4%, GPT-5.5 기준 6.4%의 페이지만 챗GPT의 실제 인용과 일치했습니다. 구글과 오픈AI API 결과를 함께 써도 각각 28.3%, 26.2%에 그쳤습니다. 사이트 단위로 범위를 넓혀도 절반을 넘지 못했습니다.

인용되는 페이지 구성도 매번 크게 흔들렸습니다. 같은 질문을 20번 반복했을 때, 나온 페이지 가운데 44.5%(GPT-5.5)와 40.8%(GPT-5.3)는 단 한 번만 등장했습니다. 한 번 인용됐다고 해서 다음에도 같은 페이지가 나온다고 보장할 수 없다는 뜻입니다.

연구진은 어떤 모델 버전이 그 답변을 냈는지도 함께 확인해야 한다고 짚었습니다. 수집 과정에서 중간에 모델이 바뀐 사례가 있었고, 질문의 원문 표현을 그대로 검색에 쓰는 경우도 흔치 않았기 때문입니다.

연구진은 모니터링 전략을 세울 때 챗GPT가 쓰는 모델이 바뀌는 시점마다 다시 점검해야 한다고 조언했습니다. 이번 결과는 GPT-5.6과 GPT-6가 나오기 전 데이터를 기준으로 했습니다. 최신 모델에서는 수치가 달라질 수 있습니다.

이번 조사는 시중에 나와 있는 순위 추적이나 GEO 측정 도구를 검증한 것은 아닙니다. 다만 검색 결과나 API 응답을 대신 활용하는 방식 자체가 지닌 한계를 수치로 보여 줬다는 점에서, 비슷한 방식으로 작동하는 도구 전반에 참고할 만한 자료입니다.

한국에서는

구글 순위나 특정 검색 API 결과만 보고 우리 사이트가 챗GPT에 얼마나 인용되는지 가늠하고 있었다면, 이번 연구는 그 방식이 실제와 꽤 어긋날 수 있다는 근거가 됩니다. 가능하면 같은 질문을 여러 차례 직접 던져 보는 방식을 함께 쓰는 편이 안전합니다.

원문: Search Engine Journal, 2026년 10월 18일. 확인일 2026년 10월 21일. 원문 보기