본문 바로가기
반응형

Data Engineering4

[ELK] Elasticsearch 검색 Query 종류 (추천/비추천 패턴) 추천 쿼리 match 쿼리 - 문서의 필드에 설정해둔 analyzer를 사용하여 검색어의 토큰을 바탕으로 검색하는 가장 많이 사용되는 쿼리. match_phrase 쿼리 - 거의 사용할 필요는 없겠지만 검색어의 순서가 중요한 경우에 사용. 가령 “아이폰13” 검색 시 “13 아이폰” 문자열이 담긴 문서를 검색하고 싶지 않을 때. multi_match 쿼리 - 두 개 이상의 필드에 match 쿼리가 가능하므로 “제목+본문” 필터를 걸어 검색하는경우에 유용함. range 쿼리 - date 등 gte와 lte를 걸어 특정값 범위에 있는 문서를 검색할 때 유용. bool 쿼리 - query context(score값 존재)인지 filter context인지에 따라 must/should절과filter/must_n.. 2023. 6. 3.
[ELK] Elasticsearch 클러스터 트러블 슈팅 및 모니터링 1. Elasticsearch 트러블슈팅을 위한 cat API 0) _cat API 사람이 읽기 편하게 만든 api (상황을 빠르게 판단하는데 도움) 20개 이상의 API 제공 (아래 4가지가 제일 많이 사용) 1) _cat health GET _cat/health?v (v: verbose를 붙여주면 header까지 보임) cluster 이름, 상태, shard 개수 (primary, reload, init, unassign) status 확인 용 2) _cat nodes GET _cat/nodes?v e.g. GET _cat/nodes?h=ip,heap.percent,disk.avail,name&v jvm, node 메모리 사용률, cpu, load average, node.role, master(* .. 2023. 5. 5.
[ELK] Container 환경의 Elasticsearch에 대해 알아두면 좋은 것들 1. Elasticsearch 설치 시 TLS 인증 과정에서 CA Certificate와 HTTP/Transport 계층 keystore (key+certificate) 필요 - http_ca.crt, http.p12, transport.p12 파일이 Elasticsearch의 configuration 디렉토리에 생성됩니다. 이 파일들은 Kibana 인스턴스를 Elasticsearch 클러스터에 연결하고, 클러스터 내 노드끼리 통신하는데 사용됩니다. TLS configuration 설정은 elasticsearch.yml 파일에서 이뤄집니다. 1) http_ca.crt : The CA certificate that is used to sign the certificates for the HTTP layer.. 2023. 4. 8.
[Data Analyst] Prometheus & Grafana 이해와 활용 (오픈소스 모니터링 시스템) for 개발자, DevOps, Data Analyst/Scientist Prometheus : 메트릭 & 얼러트 기반 오픈소스 모니터링 솔루션 Grafana : 옵저버빌리티를 위한 오픈소스 기반 데이터 시각화 플랫폼 프로메테우스 개요 프로메테우스 아키텍쳐 Prom QL Data Collection Alert Grafana 개요 및 구성 리눅스 명령어/지식 필요, Docker, Docker-compose 사용 경험 있으면 좋음 1. Prometheus 개요 1) Prometheus란? Metric Collector + Metric DB 오픈소스 monitoring/alerting tool으로 SoundCloud에 의해 2012년 시작되어 2016년에 v1 출시함 메트릭 수집 + 시각화 + 알람이 핵심 기능.. 2021. 9. 10.
반응형

티스토리툴바