우리 사이트, AI가 읽을 수 있을까?

무엇을 검사하나

AI 답변 엔진은 사람과 다른 경로로 사이트를 읽습니다. ChatGPT·Claude·Perplexity는 각각 전용 검색 크롤러(OAI-SearchBot, Claude-SearchBot, PerplexityBot)를 보내고, 사용자가 링크를 붙여넣으면 별도의 페치 봇(ChatGPT-User, Claude-User)이 그 자리에서 페이지를 읽습니다. 이 봇들이 robots.txt에서 막혀 있으면 사이트는 AI 답변에 인용될 수 없습니다. 학습용 크롤러(GPTBot, ClaudeBot)를 막는 것과는 별개의 문제라, 둘을 구분해서 보여드립니다.

그다음은 크롤러가 실제로 쓰는 신호들입니다. sitemap.xml은 페이지 발견 경로, 메타 description은 답변 요약문의 재료, JSON-LD는 상호·상품·FAQ를 구조화해 전달하는 표준, 서버 렌더링 본문은 자바스크립트를 실행하지 않는 에이전트가 읽을 수 있는 유일한 텍스트입니다. 점수의 대부분은 여기서 나옵니다.

llms.txt는 사이트가 AI에게 건네는 안내문입니다. 2026년 조사에서 실제로 이 파일을 요청하는 AI 크롤러는 아직 드물어 점수 비중을 낮게 두었지만, Cursor 같은 개발 도구와 일부 레지스트리는 읽고 있고 만드는 비용이 0이라 함께 생성해 드립니다. 중요한 페이지를 위로 올리고 설명을 다듬은 뒤 사이트 루트에 올리면 됩니다.

누구를 위한 도구인가

스마트스토어·카페24·자사몰을 운영하는 사장님, 지역 가게와 서비스 업체, 블로그와 미디어 운영자, 그리고 고객 사이트를 관리하는 개발자와 마케터. 검색 광고 없이도 “이 동네에서 ○○ 잘하는 곳”이라는 질문에 AI가 우리 가게를 꺼내 주길 바라는 모든 분입니다. 가입 없이 쓸 수 있고 결과는 저장하지 않습니다.