CATEGORIES
Python의 Flask 프레임워크 사용시 robots.txt 파일을 설정하는 방법을 알아봅니다. 먼저 robots.txt는 무엇일까요?# robots.txt 파일이란 검색엔진에 등록 할 페이지와 아닌 페이지를 바로 robots.txt에 설정할 수 있습니다. 만약 특별히 설정하지 않으면 검색엔진이 알아서 해당 웹사이트를 처리하게되며 이 경우 원치않는 페이지까지 크롤링하여 검색결과에 나타날 수 있습니다. 이런 이유로 반드시 제외할 부분이 있는 경우 robots.txt를 설정하여야합니다. 그렇다면 Python에서 robots.txt 파일을 설정하는 방법에 대하여 자세히 알아봅니다.(참고로 robots.txt를 사용하는 방법 외에도 meta 태그를 사용하는 방법 역시 존재합니다.)# Python Flask에서 /
Last Modified : 2018-01-30 08:00:05nextjs 앱에서 robots.txt 파일을 설정하는 방법에 대하여 알아봅니다.# nextjs에서 robots.txt 추가하기nextjs 환경에서 웹크롤러의 크롤링여부를 설정하는 robots.txt 파일을 추가하는 방법입니다.nextjs의 root에는 /public/ 이름의 디렉토리가 존재합니다. 이 디렉토리에 static 파일을 추가하면 바로 접근이 가능합니다. 즉 아래와 같이 사용할 수 있습니다.https://webisfree.com/robots.txt이제 robots.txt를 만들어봅니다. 먼저 순서대로 알아보면 다음과 같습니다./public/ 디렉토리 경로에 이동robots.txt 파일을 생성robots.txt에 필요한 설정을 입력 후 저장root에거 /public/으로 이동하여 robots.txt
Last Modified : 2020-09-21 10:24:43