nextjs 앱에서
robots.txt 파일을 설정하는 방법에 대하여 알아봅니다.
# nextjs에서 robots.txt 추가하기
nextjs 환경에서 웹크롤러의 크롤링여부를 설정하는
robots.txt 파일을 추가하는 방법입니다.
nextjs의 root에는 /public/ 이름의 디렉토리가 존재합니다. 이 디렉토리에 static 파일을 추가하면 바로 접근이 가능합니다. 즉 아래와 같이 사용할 수 있습니다.
https://webisfree.com/robots.txt
이제 robots.txt를 만들어봅니다. 먼저 순서대로 알아보면 다음과 같습니다.
- /public/ 디렉토리 경로에 이동
- robots.txt 파일을 생성
- robots.txt에 필요한 설정을 입력 후 저장
root에거 /public/으로 이동하여 robots.txt파일을 생성합니다.
/public/robots.txt
robots.txt에 설정이 필요합니다. 만약 모든 크롤링을 허용하지 않도록 할 경우 아래처럼 설정하도록 합니다.
@ 모든 크롤링 허용하지 않음, disallowUser-agent: *
Disallow: /
더 자세한 설정 방법은 아래 링크를 참고하세요.
링크 바로가기 >https://webisfree.com/2014-09-22/[검색엔진]-검색엔진-robot이-검색-불가능하도록-설정하기여기까지 nextjs의 robots.txt 파일 추가 방법을 알아보았습니다.