Azure App Services에서 크롤러 차단할 수 없나요? RRS feed

  • 질문

  • 현재 Azure App Services(windows) 를 사용중이며,으로 서비스중으로인데
    robots.txt 등 크롤러 차단 설정을 하였음에도 불구하고
    Application Insight에 Bot으로 
    계속하여 크롤러가 접속 시도를 하고있어
    CPU자원을 낭비하고 있습니다.
    완전히 막을 방법이 없습니까?

    I am currently using Azure App Services (windows).
    I'm serving (c#)
    Even though you've set up crawlers such as robots.txt
    Application Insight to Bot
    The crawler keeps trying to connect
    Wasting CPU resources.
    Is there any way to stop it completely?

    • 편집됨 엠씨효광 2019년 8월 14일 수요일 오전 3:28 영어 추가
    2019년 8월 14일 수요일 오전 3:20

모든 응답

  • 웹 애플리케이션 방화벽(WAF)을 사용하여 웹 애플리케이션을 집중식으로 보호 할 수 있습니다. 
    WAF는 블록 크롤러를 포함하여 아래 기능들이 있습니다.

    SQL-injection protection.
    Cross-site scripting protection.
    Protection against other common web attacks, such as command injection, HTTP request smuggling, HTTP response splitting, and remote file inclusion.
    Protection against HTTP protocol violations.
    Protection against HTTP protocol anomalies, such as missing host user-agent and accept headers.
    Protection against bots, crawlers, and scanners.
    Detection of common application misconfigurations (for example, Apache and IIS).
    Configurable request size limits with lower and upper bounds.
    Exclusion lists let you omit certain request attributes from a WAF evaluation. A common example is Active Directory-inserted tokens that are used for authentication or password fields.

    MSDN Community Support Ricky

    다른 커뮤니티 멤버에게 도움이 될 수 있게 문제를 해결 한 답변을 '답변으로 표시'를 클릭하시고 그렇지 않은 경우 '답변으로 표시 취소'를 클릭하시기 바랍니다. MSDN 서포트에 대한 의견이나 불만이 있을 경우 으로 연락하시기 바랍니다.

    2019년 8월 14일 수요일 오전 7:31