본문 바로가기

클라우드/ElasticStack4

Elasticsearch 알람 도구 ElastAlert 설치부터 테스트까지 Elasticsearch 알람 기능을 위한 ElastAlert ElasticSearch로 서버로그를 분석하는 시스템을 만들던 중 로그의 특정 키워드값을 읽어서 알람기능을 제공하면 좋을것 같아서 ElastAlert를 학습 해보기로 했습니다. 설치 환경 OS : Centos7 Elasticsearch (5 이상) smtp 설치(안해도 될수있으니 테스트까지 진행해본후 해보길바람) 설치 과정 Python 설치 ElastAlert를 이용하려면 기본적으로 파이썬이 설치되있어야 합니다. 파이썬의 버전별로 ElastAlert의 버전이 다르다고 하니 참고하시기 바랍니다. $ yum install python3 python3을 설치했다면 python --version 명령으로 버전을 확인합니다. 제 vm에 설치한 버전은 .. 2021. 12. 14.
[ElasticStack] logstash 설치및 실행 Logstash 설치 이전에 쓴 logstash 설치및 실행 포스팅이 다소 부실하다고 생각되어서 리눅스 최초 설치시점 부터 좀더 자세하게 설명해보겠습니다. 우선 Logstash 설치를 하기전에 Java가 설치되있어야 합니다. 지원하는 Java 버전은 8, 11, 15버전인데 8 버전 기준으로 설치방법은 아래 글을 참고하시면 됩니다. 리눅스에 JAVA 설치 하기 리눅스에서 ELK를 설치해서 테스트해보기전에 필수로 설치해야 하는것중 하나가 Java입니다. 윈도우에선 자바 설치파일 받고 실행만하면 알아서 설치되지만 리눅스는 어느정도 사용자가 수동으 ksr930.tistory.com 그러면 자바가 설치된 상태에서 Logstash 설치를 해봅시다. 설치방법은 바이너리 파일 다운로드와 리눅스의 yum 을 통해서 설.. 2021. 12. 14.
[ElasticStack] Logstash 에서 Elasticsearch 로 데이터 전송하기 지난번에 Logstash 를 설치하고 실행하여 입력한대로 출력이 되는것까지 해봤습니다. 이번엔 파일비트에서 받아오는 로그 데이터를 파싱하는 방법에 대해 설명해보겠습니다. filebeat => Logstash 연동 filebeat 설치글은 https://ksr930.tistory.com/96 를 참고하세요. Logstash 에서 입력을 받는 input plugin 에는 여러종류가 있는데 그중 filebeat 에서 입력받을수 있는 Beats input 은 기본으로 설치되있습니다. filebeat 에서 Logstash 로 전송할 로그데이터는 엘라스틱서치 사이트에서 제공하는 샘플데이터를 이용합니다. https://download.elastic.co/demos/logstash/gettingstarted/logst.. 2021. 4. 21.
[ElasticStack] filebeat 설치와 실행 ELK 로그 수집기 filebeat ElasticStack에서 로그를 활용하려면 로그를 옮겨줄 무언가가 필요한데 ElasticSearch에서 제공하는 filebeat 입니다. 물론 filebeat 가 아니여도 Logstash에서 직접 로그파일을 지정하거나 소켓을 열어서 로그를 받을수도 있지만 엘라스틱서치에서 제공하는만큼 사용 해보겠습니다. filebeat 란 파일비트는 로그를 중앙집계해서 전송하는 경량 프로세스입니다. 로그파일을 모니터링하면서 로그 이벤트를 수집하고 Elasticsearch 또는 Logstash로 전송합니다. 파일비트가 기동되면 사용자가 지정한 경로에 존재하는 로그파일의 내용을 수집하여 집계한후 파일비트에서 설정한 곳으로 데이터를 전송합니다. filebeat 설치 Redhat 계열 리눅스.. 2021. 4. 20.