AutoAgentExtractor 접근 정책

사용자가 지정한 공개 HTML 페이지 한 개를 읽고 근거와 함께 정보를 반환합니다. 링크를 따라 전체 사이트를 수집하지 않습니다.

• User-Agent: AutoAgentExtractor/0.5
• robots.txt의 Allow/Disallow와 더 느린 Crawl-delay·Request-rate를 준수합니다.
• 기본 접속 간격 3.0초, 호스트·IP별 동시 1개, 각각 시간당 120회 이하. robots.txt와 리다이렉트도 포함합니다.
• 429·5xx에는 대기하고 401·403 접근 제한을 우회하지 않습니다. 프록시 회전·로그인·CAPTCHA 우회는 하지 않습니다.
• robots.txt 확인 실패 시 대상 페이지를 읽지 않습니다. 소스 응답 제한을 존중하는 짧은 메모리 캐시를 사용합니다.

수집 제외: robots.txt에 User-agent: AutoAgentExtractor와 Disallow: /를 서로 다른 줄로 지정하세요. robots 캐시는 최대 1시간 유지될 수 있습니다. 운영자 차단은 진행 중 요청 종료 후 새 접근에 즉시 적용됩니다.

운영자 문의

이 정책은 접근 허가나 무해함을 보장하지 않습니다. 서비스 약관·소유자의 명시적 거부도 따라야 합니다.