Cumulus(송현준)

※ 사용 시스템 AWS EC2 ubuntu 16.04 filebeat, apache2 => t2.micro logstash => t2.small ※ Filebeat -> NLB -> Logstash 1. Filebeat과 apache서버 구성 1.1 테스트를 위한 Apache 설치 $ sudo apt-get install -y apache2 apache2를 설치한다. $ sudo vi /var/www/html/index.html apache 서버의 메인 페이지를 원하는대로 수정한다. $ sudo systemctl enable apache2 $ sudo systemctl start apache2 $ sudo systemctl stauts apache2 아파치 서버를 시작 프로그램으로 등록 및 실행시켜주고 ..

Prometheus와 Grafana를 활용한 모니터링(1) 서버와 같은 머신들의 상태를 Prometheus와 Grafana를 사용하여 깔끔한 그래프로 모니터링이 가능하다. 서버에는 Exporter를 설치하여 각종 지표를 노출하고, Prometheus가 해당 지표를 모아 저장하며, Grafana가 데이터를 가져와서 각종 그래프로 보여준다. 서버 -> Exporter -> Prometheus -> Grafana -> Browser 프로메테우스 설치 $ wget https://github.com/prometheus/prometheus/releases/download/v2.27.1/prometheus-2.27.1.linux-amd64.tar.gz $ tar xvfz prometheus-2.27.1.linux-a..

1. 프로메테우스(Prometheus)란? 메트릭 기반의 오픈소스 모니터링 시스템이다. 이벤트 모니터링 및 경고에 사용되는 무료 소프트웨어 응용 프로그램이다. 유연한 쿼리(PromQL) 및 실시간 경고가 가능하다. 구조가 간단해서 운영이 쉽고, 강력한 쿼리 기능을 가지고 있으며, 그라파나(Grafana)를 통한 시각화를 지원한다. ELK와 같은 로깅이 아니라, 대상 시스템으로부터 각종 모니터링 지표를 수집하여 저장하고 검색할 수 있는 시스템이다. Go 언어로 작성되었으며 아파치 2 라이선스를 사용한다. 메트릭이란? 수집하는 시계열 데이터를 말한다. 프로메테우스의 메트릭은 "메트릭명{필드1=값, 필드2=값} 샘플링데이터" 와 같이 수집된다. 2. 기능 및 구성 메트릭 수집, 시계열 데이터 저장 유연한 쿼리..

1. Filebeat란? 경량 로그 수집기로써 보안 장치, 클라우드, 컨테이터, 호스트 또는 OT에서 수집하든 상관없이 로그와 파일을 경량화된 방식으로 전달하고 중앙 집중화하여 작업을 보다 간편하게 만들어준다. Harvester 파일의 내용을 읽는 역할을 한다. 하나의 Harvester가 각각 하나의 파일을 담당하는 구조를 가진다. 파일을 열고 닫는것까지 담당하기 때문에 Harvester가 실행되고 있다는 것은 file descriptor가 남아있다는 것이다. Harvester는 각 파일을 한 줄씩 읽고 내용을 Output으로 보낸다. Prospector 읽어야할 소스를 식별 및 구분하는 역할을 한다. log, stdin 타입을 지원하며 Prospector당 2개 이상의 type 선언이 가능하며, 어디까..

1. 테스트용 EC2 두 대 생성 ELK-WEB은 t4g.micro를 사용하였으며 ELK-Master는 t4g.large를 사용 ELK-WEB 에는 Filebeat와 Metricbeat를 설치하여 Apache log 및 시스템 metric data를 수집하도록 구성 ELK-Master에는 ELK(Elasticsearch, Logstash, Kibana)를 구성하여 web 서버의 data를 집계 및 시각화 2. java 설치 Elasticsearch 와 Logstash를 실행하기 위해서 반드시 자바 1.8 이상의 버전이 필요하다. $ sudo yum -y install java-1.8.0-openjdk-devel.aarch64 $ java -version openjdk version "1.8.0_282" ..

ELK Stack이란? ELK는 로그 및 데이터 분석도구로 Elasticsearch, Logstash, Kibana의 세 가지 오픈소스 프로젝트의 앞 글자 이니셜이다. Elasticsearch는 검색 및 분석 엔진이다. Logstash는 여러 소스로부터 데이터를 수집 및 변환하여 Elasticsearch와 같은 stash로 전송하는 서버 사이드 데이터 처리 파이프라인이다. kibana는 사용자가 수집된 데이터를 Elasticsearch에서 차트와 그래프를 사용하여 데이터를 시각화 해준다. ELK 솔루션에 Beats가 추가되면서 ELK Stack 이라고 불린다. Beats는 서버에 에이전트로 설치하여 다양한 유형의 데이터를 Elasticsearch 또는 Logstash로 전송하는 오픈 소스 데이터 발송자이..

Datadog의 정의 APM, log, Infrastructure를 통합적으로 모니터링하고 관리하는 클라우드 모니터링 솔루션 여러 클라우드 환경에서 이곳저곳 산재되어 있는 클라우드 리소스들을 통합적으로 모니터링이 가능하다. Datadog는 hybrid-cloud 환경에서의 서버, 컨테이너, 애플리케이션, 서비스 등에 대해 end-to-end 가시 성을 제공하는 DevOps 환경을 위한 모니터링 및 분석 서비스이다. Datadog 사용시 이점 역동적으로 신시간 변화하는 클라우드 인프라 환경에 적합 단순하고 직관적으로 사용 가능한 플랫폼 개발자, 운영팀, 비즈니스 유저간 긴밀히 협업하기에 최적화된 플랫폼 고객사들의 복잡 다단한 요구조건들을 맞춰줄 수 있는 플랫폼 모든 클라우드 방식과 연계 가능한 유연한 플랫..