병원 구글 검색: 챗GPT·클로드 AI 크롤러, robots.txt에서 막혀 있진 않은가

AI 검색 노출을 위해 홈페이지에 FAQ 페이지를 만들고 구조화 데이터까지 넣어도, 정작 챗GPT·제미나이·클로드 같은 AI가 그 페이지를 아예 읽지 못하는 경우가 있습니다. 원인은 콘텐츠가 아니라 robots.txt 한 줄인 경우가 적지 않습니다.

실제로 한 지식iN 질문에는 "챗GPT나 제미나이, 네이버 클로바X한테 물어보고 병원을 선택한다는데, 우리 병원 이름이 AI 검색 결과에 나오게 하려면 어떻게 해야 하냐"는 원장님의 고민이 올라와 있습니다. 이 질문에 달린 답변 중 하나는 실행 방법으로 "글로벌 AI 크롤러 전면 허용: GPTBot(챗GPT), Google-Extended(구글), ClaudeBot(클로드) 등 주요 해외 AI 크롤러가 병원 사이트의 정보를 원활하게 수집할 수 있도록 robots.txt 파일 접근을 전면 허용하는 세팅이 선행되어야 한다"고 짚었습니다.

로봇배제표준(robots.txt)은 검색·AI 크롤러마다 자신을 알리는 User-agent 이름표를 갖고 있고, 사이트는 이 이름표 단위로 접근을 허용하거나 차단할 수 있습니다. 문제는 검색 노출용 크롤러와 AI 학습·응답용 크롤러의 이름표가 서로 다르다는 점입니다 — 일반 Googlebot을 허용해뒀다고 해서 AI 크롤러까지 자동으로 함께 허용되는 게 아닙니다.

특히 Google-Extended는 이름 때문에 오해하기 쉬운데, 이걸 막아도 구글 검색 자체(순위·색인)에는 영향이 없습니다. 검색 노출과 생성형 AI 학습이 구글 안에서도 별도 토큰으로 분리돼 있기 때문입니다 — 그래서 "구글 검색엔 잘 뜨는데 제미나이한텐 안 뜨는" 병원 사이트가 실제로 존재할 수 있습니다.

같은 질문에는 결이 다른 답변도 함께 달려 있었습니다. 한 답변은 위 세팅을 마치면 "짧게는 2주에서 평균 3~4개월 차부터 유의미한 인용이 나타난다"고 안내했지만, 다른 답변은 이 접근에 분명한 선을 그었습니다.

같은 답변은 구조화 데이터에 대해서도 "검색 결과 표시를 보장하지 않으며, 내용과 실제 운영 정보가 일치해야 한다"고 출처(Google Search Central, Structured Data Guidelines)를 밝히며 정리했습니다. 크롤러 허용은 AI가 사이트를 '읽을 자격'을 여는 것이지, 읽은 뒤 '좋게 언급할지'는 별개 문제라는 뜻입니다.

이 구분은 실무에서 중요합니다. robots.txt를 열어놓는 건 AI 인용의 필요조건이지 충분조건이 아닙니다. 크롤러를 허용해도 병원명·주소·진료과목 같은 기본 정보가 페이지마다 다르게 적혀 있거나, 실제로 하지 않는 진료를 기재해두면 AI는 그 정보를 신뢰하지 않거나 아예 다른 출처로 대체합니다. 게다가 치료 효과를 단정하거나 과장하는 표현은 의료광고법(의료법 제56조) 위반 소지까지 겹치므로, 크롤러 허용 작업과 별개로 콘텐츠 정확성·표현 수위 점검이 함께 가야 합니다.

robots.txt에서 AI 크롤러를 막아두면 아무리 좋은 콘텐츠도 애초에 읽히지 않으니, 이 확인이 다른 모든 AEO 작업보다 우선순위가 높습니다. 다만 앞서 본 것처럼 크롤러를 허용한다고 인용이 보장되지는 않습니다. 허용은 '경쟁에 참가할 자격'을 여는 일이고, 그 뒤 병원명·진료과목·진료시간 같은 정보를 페이지마다 일치시키고 근거 있는 콘텐츠로 채우는 작업이 실제 인용 여부를 가릅니다. 우리 병원 사이트가 AI 크롤러에 열려 있는지, 그 위에 쌓을 콘텐츠 구조는 어떻게 짜야 할지 궁금하시다면 구글 SEO 마케팅에서 확인해 보세요.

💡 함께 읽으면 좋은 포스팅

💡 이 포스팅과 관련된 서비스