Monitoring

Datadog을 활용한 클라우드 통합 모니터링

Joon0464 2021. 7. 6. 16:47

Datadog의 정의

  • APM, log, Infrastructure를 통합적으로 모니터링하고 관리하는 클라우드 모니터링 솔루션
  • 여러 클라우드 환경에서 이곳저곳 산재되어 있는 클라우드 리소스들을 통합적으로 모니터링이 가능하다.
  • Datadog는 hybrid-cloud 환경에서의 서버, 컨테이너, 애플리케이션, 서비스 등에 대해 end-to-end 가시 성을 제공하는 DevOps 환경을 위한 모니터링 및 분석 서비스이다.

 

Datadog 사용시 이점

  • 역동적으로 신시간 변화하는 클라우드 인프라 환경에 적합
  • 단순하고 직관적으로 사용 가능한 플랫폼
  • 개발자, 운영팀, 비즈니스 유저간 긴밀히 협업하기에 최적화된 플랫폼
  • 고객사들의 복잡 다단한 요구조건들을 맞춰줄 수 있는 플랫폼
  • 모든 클라우드 방식과 연계 가능한 유연한 플랫폼
  • 통합 데이터 플랫폼

 

Datadog 실제 사용 사례

1. 쇼핑몰의 서비스가 지연되는 상황이 발생

2. 운영 엔지니어가 인프라 Scale up 네트워크 트래픽을 늘리는 조치를 진행했지만 개선되지 않음

3. Datadog의 APM을 통해 애플리케이션 추가 분석을 진행

4. DB 쿼리 수행 지연과 api 응답 지연을 확인

5. 분석된 장애 요인 즉각 공유

6. 고객사에서 DB  튜닝 및 애플리케이션 개선을 통해 서비스 최적화

7. 장애 발생 전보다 더 적은 인스턴스로 더 나은 서비스가 가능해짐

 

클라우드 모니터링 솔루션

  • 클라우드의 상태나 상황을 지속적으로 감시, 관찰하여 예기치 못한 상황과 오류를 대비하고 극복하는 것

 

APM

  • Application Performance Management으 애플리케이션 내부에 심어, 애플리케이션의 성능을 분석하는 서비스이다.
  • 데이터독에서는 자바Java, 파이썬Python, 루비Ruby, 닷넷.NET, PHP, Go, 노드Node로 작성된 애플리케이션의 APM을 지원하고 있으며, APM을 활성화하려면 애플리케이션 코드 상에 추가 셋업을 해야한다.

 

Datadog agent

  • 모니터링하고자 하는 서버에 설치해서 해당 서버의 정보를 수집하는 역할을 한다.
  • 가적인 설정을 통해 DB, 메모리 스토어 등에서 추가적인 메트릭을 수집할 수 있다.
  • 특정 호스트에 데이터독 에이전트를 설치하면 자동적으로 해당 서버의 시스템 정보를 수집한다.

 

Datadog AWS 클라우드 모니터링 구현하기(Cloudformation 사용)

Datadog에 로그인하여 대시보드에서 AWS를 클릭한다.
CloudFormation을 사용한 자동 구축을 클릭한다.
자동으로 CloudFormation 콘솔로 넘어가는데 버지니아 북부로 설정되어 있으므로 반드시 원하는 리전으로 변경하고 진행한다.

 

\https://app.datadoghq.com/account/settings#api 에서 DdApiKey값을 확인하여 넣어준다.
스택을 생성한다.
위와 같이 4개의 스택이 생성된다.
각 스택의 역할은 위와 같다.
스택 생성이 완료되면 CloudWatch에 로그 그룹이 생성된다.
IAM 콘솔에서 역할에도 Datadog과 관련된 역할이 생성된다.
Lambda 함수도 위와 같이 2개 생성된다.
다시 Datadog 콘솔로 넘어와서 AccountID와 역할 이름을 적는다.
왼쪽 하단의 Install Integration을 클릭한다.
설치가 완료되면 Integration 탭에 접속시 수 많은 서비스가 설치되어 있다.
Dashboard List에 접속하면 서비스별로 생서된  AWS 대시보드가 있다.

 

테스트

테스트를 위해 EC2 인스턴스를 실행시키고 해당 EC2의 세부 모니터링 관리 탭으로 이동한다.
세부 모니터링을 위처럼 활성화해야 Datadog에서 지표를 정상적으로 받게 된다.
EC2 내부에 접속하여 Stress 패키지를 설치하고 CPU 부하를 가해본다.
기다리면 지표를 받아오기 시작한다.

 

EC2에 Datadog APM 설치하기

Datadog 콜솔에서 agent 탭으로 이동한다.
Agent 탭에서 Amazon Linux를 선택하면 APM 설치 명령어가 주어진다.
해당 명령어를 Amazon Linux 쉘에 입력한다.
Agent가 설치된 것을 위처럼 확인이 가능하다.