The Nirsa Way

kibana dashboard error : Could not locate that index-pattern (id: packetbeat-*) 해당 에러는 인덱스의 id가 잘못되어 발생하는 버그(?)로 보입니다. 인덱스 생성 시 아래와 같이 옵션으로 id값을 직접줘서 해결할 수 있습니다.

packetbeat + elasticsearch + kibana 설치/구성 방법 (packetbeat install, elasticsearch install, kibana install) packetbeat는 네트워크 레벨의 패킷 수집이 가능한 오픈소스 툴이며 아래와 같은 구성으로 사용이 가능합니다. 참고로 이 글에서는 모두 네트워크 대역을 0.0.0.0 으로 바인딩 해주었으니 각 환경에 맞게 셋팅 하시길 바랍니다. 우선 elasticsearch 7.8 버전과 kibana 7.8 버전을 설치하기 위해 repo를 추가해주신 후 yum 설치를 진행 합니다. 참고로 elastic repo가 빠를땐 빠른데, 느릴땐 굉장히 느려서 설치만 ELK 설치만 거의 한시간가량 걸릴수도 있습니다. # kibana repo ..

elasticsearch 7.8 외부에서 9200 포트로 접근하는 방법 (elasticsearch error network.host: 0.0.0.0) 기본적으로 elasticsearch는 127.0.0.1:9200 으로 바인딩 되어 있기 때문에 elasticsearch.yml 파일에서 바인딩할 네트워크 대역을 따로 수정 해주어야 합니다. (일반적으로 /etc/elasticsearch 경로에 elasticsearch.yml 파일이 존재 하지만, 없을 경우 find / -name elasticsearch.yml 명령으로 검색) 그렇다고 network.host: 0.0.0.0 만 수정 해주면 에러가 발생하면서 elasticsearch 서비스 실행이 안되기 때문에 discovery.seed_hosts도 같이 설..

Discover fields 검색 방법 (ELK Discover fields search) 좌측 매뉴에서 Discover를 누르면 아래와 같은 화면이 나타 납니다. beat.name은 filebeat을 설치한 호스트 명을 나타내는데, 여기서 보고싶은 서버의 우측 조그만한 + 모양의 돋보기를 클릭하시면 해당 서버의 로그만 확인할 수 있습니다. 반대로, 만약 되돌아오고 싶다면 - 모양의 돋보기를 클릭하시면 됩니다.

로그 파일 추출 방법 (ELK export logs, ELK CSV, ELK log data) ELK 환경에서 수집중인 로그를 파일(엑셀) 형태로 추출할 수 있습니다. 별도의 코드나 쿼리 필요 없이 kibana 웹 페이지 상에서 가능 합니다. 1) 좌측 매뉴 Discover 클릭 2) 우측 상단의 Save 선택 후 저장 3) 우측 상단의 Share 선택 후 CSV Reports 클릭하여 Create 4) 좌측 매뉴의 Management 클릭 5) Kibana의 Reporting 클릭 후 가장 우측에 보면 Actions에 다운로드 표시의 아이콘이 있는데, 이걸 클릭하면 다운로드가 진행 됩니다.

키바나 특정 로그 검색 방법 (kibana log search) 아래와 같이 키바나의 Logs에서 특정 호스트나 로그 타입을 기준으로 로그 검색을 할 수 있습니다. and 연산 또는 or 연산을 지원하므로 원하는 조건에 맞게 검색하시면 됩니다. fields.server_name.keyword : filebeat 로그 설정 시 fields의 server_name에 작성한 이름 fields.log_stype.ketword : filebeat 로그 설정 시 fields의 log_type에 작성한 이름 beat.hostname : filebeat을 설치한 서버의 호스트 이름

ELK filebeat 로그 인덱싱 설정 (ELK log monitoring) kibana 웹페이지에서 좌측 메뉴의 Management → Create index pattern 클릭 후 우측의 Index pattern 에 filebeat* 입력 후 Next step을 클릭 합니다. @timestamp를 선택하면 Create index pattern 버튼이 활성화 됩니다. @timestamp 선택 후 Create index pattern을 클릭하여 생성 합니다. 로그를 수집할 서버쪽에서 filebeat을 정상적으로 설치 및 설정하였다면 좌측 매뉴 Logs를 클릭하면 수집한 로그들을 확인할 수 있습니다.

ELK 설치 (Elasticsearch, Logstash, Kibana, ELK install) ELK를 설치하기위해 yum repo를 추가 해주어야 합니다. 아래 명령어들을 복사 + 붙여넣기하여 repo를 추가해주시면 됩니다. 만약, 7점대를 설치하고 싶다면 6.x로 되어있는걸 7.x로 변경하시면 7점대의 버전을 다운로드할 수 있습니다. 참고로 elastic repo가 빠를땐 빠른데, 느릴땐 굉장히 느려서 설치만 ELK 설치만 거의 한시간가량 걸릴수도 있습니다. # kibana repo cat { "message" => ["%{IPORHOST:[apache2][access][remote_ip]} - %{DATA:[apache2][access][user_name]} \[%{HTTPDATE:[apache2..

ELK 로그 수집을 위한 filebeat 설치 ELK에서 로그를 수집하기 위해 filebeat을 에이전트 노드에 설치해야 합니다. * ELK 서버에 filebaet을 설치하지 않고 ELK서버가 로그를 수집하기 위한 대상 서버들에게 설치합니다. wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.2-x86_64.rpm rpm -vi filebeat-6.6.2-x86_64.rpm systemctl start filebeat systemctl enable filebeat filebeat 로그 수집 설정 방법-1 위의 커맨드를 입력하여 설치 이후 filebeat modules list 를 입력하면 활성화된 모듈과, 비활성화된 모듈을 확..