nextjs 앱에서 robots.txt 파일을 설정하는 방법에 대하여 알아봅니다.


# nextjs에서 robots.txt 추가하기
nextjs 환경에서 웹크롤러의 크롤링여부를 설정하는 robots.txt 파일을 추가하는 방법입니다.

nextjs의 root에는 /public/ 이름의 디렉토리가 존재합니다. 이 디렉토리에 static 파일을 추가하면 바로 접근이 가능합니다. 즉 아래와 같이 사용할 수 있습니다.
https://webisfree.com/robots.txt

이제 robots.txt를 만들어봅니다. 먼저 순서대로 알아보면 다음과 같습니다.

  • /public/ 디렉토리 경로에 이동
  • robots.txt 파일을 생성
  • robots.txt에 필요한 설정을 입력 후 저장

root에거 /public/으로 이동하여 robots.txt파일을 생성합니다.
/public/robots.txt

robots.txt에 설정이 필요합니다. 만약 모든 크롤링을 허용하지 않도록 할 경우 아래처럼 설정하도록 합니다.

@ 모든 크롤링 허용하지 않음, disallow
User-agent: *
Disallow: /

더 자세한 설정 방법은 아래 링크를 참고하세요.

링크 바로가기 >
https://webisfree.com/2014-09-22/[검색엔진]-검색엔진-robot이-검색-불가능하도록-설정하기

여기까지 nextjs의 robots.txt 파일 추가 방법을 알아보았습니다.