Python의 Flask 프레임워크 사용시 robots.txt 파일을 설정하는 방법을 알아봅니다. 먼저 robots.txt는 무엇일까요?



# robots.txt 파일이란
검색엔진에 등록 할 페이지와 아닌 페이지를 바로 robots.txt에 설정할 수 있습니다. 만약 특별히 설정하지 않으면 검색엔진이 알아서 해당 웹사이트를 처리하게되며 이 경우 원치않는 페이지까지 크롤링하여 검색결과에 나타날 수 있습니다. 이런 이유로 반드시 제외할 부분이 있는 경우 robots.txt를 설정하여야합니다. 그렇다면 Python에서 robots.txt 파일을 설정하는 방법에 대하여 자세히 알아봅니다.

(참고로 robots.txt를 사용하는 방법 외에도 meta 태그를 사용하는 방법 역시 존재합니다.)



# Python Flask에서 /robots.txt 읽도록 설정하기
먼저 robots.txt 파일을 하나 만들고 이를 읽을 수 있도록 라우팅하는 과정이 필요할 것입니다. Flask의 어플리케이션 파일에 아래와 같이 코드를 추가합니다.
from flask import Flask, send_from_directory, request

@app.route('/robots.txt')
def robot_to_root():
    return send_from_directory(app.static_folder, request.path[1:])

여기서 app.static_folder가 가리키는 곳은 바로 static 파일이 있는 위치가 됩니다. 위와 같이 설정한 후 /static/ 경로에 robots.txt 파일을 위치시키면 라우팅된 설정에 따라 해당 파일, robots.txt를 읽게됩니다.



# 검색엔진 robots.txt 설정하는 방법
만약 robots.txt 파일을 설정하는 방법에 대하여 자세히 알고 싶으시다면 아래 링크에서 확인해보세요.
https://webisfree.com/2014-09-22/[검색엔진]-검색엔진-robot이-검색-불가능하도록-설정하기

robots.txt 또는 meta태그를 사용하는 설정방법입니다.