robots.txt 및 사이트맵 설정을 위한 SEO 플러그인 설치

robots.txt이란?

웹사이트에 웹 크롤러 같은 로봇들의 접근을 제어하기 위한 규약입니다.

주로 네이버나 구글 등의 검색엔진들의 인덱싱 목적으로 사용되는데, 웹사이트들 입장에서도 더 많은 검색 노출을 원하는게 일반적이므로 딱히 막을 이유는 없습니다.

다만 서버의 트레픽이 한정돼있거나 검색엔진에의 노출을 원하지 않는 경우, robots.txt에 명세하여 크롤링을 자제하는 것을 권고하는 기능이 있습니다. 지킬 의무가 없다고 하나 지켜주는게 상식이며, 마찬가지로 서버 주인 입장에서는 원치않는 크롤링이 들어오면 IP를 차단해주면 됩니다. 

robots.txt는 웹사이트의 최상위 경로(ROOT)에 있어야 합니다. 즉, 사이트를 치고 슬래시 후 바로 robots.txt를 넣으면 볼 수 있습니다. 

 

사이트맵이란?

사이트맵은 사이트에 있는 페이지, 동영상 및 기타 파일과 각 관계에 관한 정보를 제공하는 파일입니다. Google과 같은 검색엔진은 이 파일을 읽고 사이트를 더 지능적으로 크롤링하게 됩니다. 사이트맵은 내가 사이트에서 중요하다고 생각하는 페이지와 파일을 포털사이트에 알리고 이러한 파일에 관한 링크 등을 알립니다.

사이트 페이지가 제대로 링크되었다면 대개 포털사이트에서 대부분의 사이트를 찾을 수 있습니다. 그러한 경우에도 사이트맵을 사용하면 크고 복잡한 사이트나 전문화된 파일의 크롤링 속도를 개선할 수 있습니다.

 

다음과 같은 경우 사이트맵이 필요하지 않을 수 있습니다.

• 웹페이지가 500개 미만인 작은 웹사이트
• 블로그나 단순 호스팅 서비스를 사용한 웹페이지

워드프레스를 이용한 단순한 블로그용 웹사이트는 SEO를 설정하는 부분이 그다지 미미하다고 할 수 있습니다.

그래도 나중을 대비하여 미리미리 설정해두는 것이 좋다고 생각합니다.

 

 

robots.txt 미 사이트맵 설정 관련  SEO 플러그인 설치

워드프레스를 설치하면 기본 설치 플러그인 중 All In One SEO Pack 이 설치되어 있습니다.

All in One SEO Pack 활성화 후

SEO를 위한 다양한 플러그인을 제공하는데 플러그인 추가하기에서 다른 플러그인을 설치하실 수도 있습니다. 

Yoast SEO라는 SEO 플러그인도 존재합니다. 

 

 All In One SEO Pack을 활성화합니다.

활성화 후 다음과 같이 관리자페이지에서 확인할 수 있습니다. 

기본적인 설정은 기본값으로 두시고 XML사이트맵 메뉴에서 사이트맵을 설정할 수 있습니다.

 

또한 기능 관리자를 클릭하시면 다양한 기능을 추가할 수 있습니다.

무료로 사용가능한 기능은 모두 활성화하고 기본설정값으로 변경하였습니다.

무료 사용가능 기능 중에 robots.txt 파일 생성 및 관리하는 기능도 있으며 활성화 시키면 

좌측 사이드바 메뉴에서 Robots.txt를 확인하실 수 있습니다.

 

Robots.txt 기능을 잠시 살펴보면

기본 설정값이 모든 검색엔진이 내 콘텐츠를 모두 가져갈 있으며 (User-agent: *)

/wp-admin/의 카테고리 콘텐츠는 가져가는 걸 거부한다 (Disallow: /wp-admin/)

그러나 /wp-admin/ 카테고리 중 admin=ajax.php는 콘텐츠를 가져가도 좋다. (Allow:/wp-admin/admin-ajax.php)

대략 이런 뜻입니다. 

다른 변경사유가 없다면 그냥 두시면 됩니다. 

행여 포털 검색엔진에서 긁어가는 걸 방지하시려면 Disallow: 카테고리로 설정하시거나 파일을 따로 설정하시면 됩니다.

이것은 규칙이며 법은 아닙니다. 

 

다른 기능들은 천천히 살펴보시면서 본인의 블로그에 적용해보시기 바랍니다. 

 

 

그 외 글을 작성할 때마다 해당 글의 SEO를 설정하는 페이지가 나오며 

포스팅한 글의 SEO에 도움을 줄 것입니다.

글을 작성할 시 글마다 All in one SEO pack에 대한 설정을 해줘야합니다. 

기본설정으로 두고 글을 작성하면 됩니다.