웹개발 및 최신 테크 소식을 전하는 블로그, 웹이즈프리
Python의 Flask 프레임워크 사용시 robots.txt 파일을 설정하는 방법을 알아봅니다. 먼저 robots.txt는 무엇일까요?
# robots.txt 파일이란
검색엔진에 등록 할 페이지와 아닌 페이지를 바로 robots.txt에 설정할 수 있습니다. 만약 특별히 설정하지 않으면 검색엔진이 알아서 해당 웹사이트를 처리하게되며 이 경우 원치않는 페이지까지 크롤링하여 검색결과에 나타날 수 있습니다. 이런 이유로 반드시 제외할 부분이 있는 경우 robots.txt를 설정하여야합니다. 그렇다면 Python에서 robots.txt 파일을 설정하는 방법에 대하여 자세히 알아봅니다.(참고로 robots.txt를 사용하는 방법 외에도 meta 태그를 사용하는 방법 역시 존재합니다.)
# Python Flask에서 /robots.txt 읽도록 설정하기
먼저 robots.txt 파일을 하나 만들고 이를 읽을 수 있도록 라우팅하는 과정이 필요할 것입니다. Flask의 어플리케이션 파일에 아래와 같이 코드를 추가합니다.from flask import Flask, send_from_directory, request
@app.route('/robots.txt')
def robot_to_root():
return send_from_directory(app.static_folder, request.path[1:])
@app.route('/robots.txt')
def robot_to_root():
return send_from_directory(app.static_folder, request.path[1:])
여기서 app.static_folder가 가리키는 곳은 바로 static 파일이 있는 위치가 됩니다. 위와 같이 설정한 후 /static/ 경로에 robots.txt 파일을 위치시키면 라우팅된 설정에 따라 해당 파일, robots.txt를 읽게됩니다.
# 검색엔진 robots.txt 설정하는 방법
만약 robots.txt 파일을 설정하는 방법에 대하여 자세히 알고 싶으시다면 아래 링크에서 확인해보세요.https://webisfree.com/2014-09-22/[검색엔진]-검색엔진-robot이-검색-불가능하도록-설정하기
robots.txt 또는 meta태그를 사용하는 설정방법입니다.
아래의 글도 찾고 계시지 않나요?
- nextjs robots.txt 페이지 설정하기
Python flask에서 커스텀 에러 페이지 만들기, 404
Python Jinja2에서 문자열 길이 구하고 출력하는 방법
Python flask에서 디버깅(debug), 중단점(breakpoint) 사용 방법
Python flask, 여러개의 값을 서버에서 받아 mongodb 저장하기- Python Flask에서 api요청시 Method 값 알아내는 방법
- Python Flask 세션(session) 비우기, 초기화하는 방법
- python, flask에서 custom 404 page 만드는 방법