전체 글 318

[Linux] 마운트 개념 `df -h` 으로 이해하기

df -h 명령어란?df 명령어는 현재 시스템에 마운트 되어 있는 파일 시스템의 용량과 사용 현황을 보여줍니다. -h 옵션을 사용하면 사람이 읽기 편한 단위(GB, MB 등)로 표시하게 됩니다.예를 들어 다음과 같은 출력이 있을 수 있습니다.Filesystem Size Used Avail Use% Mounted on/dev/sda1 50G 30G 20G 60% //dev/sda2 100G 90G 10G 90% /home각 컬럼의 의미는 다음과 같습니다.Filesystem: 디스크 파티션 혹은 특정 스토리지 장치 경로Size: 해당 파일 시스템(파티션)의 총 용량Used: 현재 사용 중인 용량Avail: 남은 여유 용량Use%: 총 ..

CS/Linux 2024.12.11

로그 로테이트(Logrotate)

로그 로테이트(Logrotate)는 리눅스 시스템에서 로그 파일을 자동으로 관리해 주는 유틸리티입니다. 서버에서 생성되는 다양한 로그 파일을 주기적으로 압축, 삭제, 또는 백업하여 저장 공간을 절약하고 관리 효율성을 높여줍니다. 대부분의 리눅스 시스템에 기본적으로 설치되어 있으며, cron 작업으로 자동 실행되어 관리자의 개입 없이 로그 파일을 유지보수할 수 있습니다.로그 로테이트의 주요 기능로그 파일 주기 관리: 설정에 따라 매일, 매주, 매달 등의 주기로 로그 파일을 새로 생성합니다.백업 및 압축: 오래된 로그 파일을 gzip 등으로 압축해 저장 공간을 절약하고, 지정한 개수만큼만 보관합니다.자동 삭제: 설정된 개수를 초과하는 오래된 로그 파일은 자동으로 삭제해 불필요한 로그 파일이 누적되지 않도록 ..

DevOps 2024.11.12

[ElasticSearch] 클러스터와 노드

1. 엘라스틱서치 클러스터 개념클러스터 (Cluster)여러 개의 엘라스틱서치 인스턴스(노드)들이 모여서 하나의 클러스터를 구성합니다. 모든 노드는 클러스터 이름을 공유하며, 같은 클러스터 이름을 가진 노드들만이 클러스터의 일부로 간주됩니다.클러스터 ID 및 이름각 클러스터는 고유한 클러스터 ID를 가지며, 이름은 클러스터를 식별하기 위해 사용됩니다. 클러스터 이름은 설정 파일에서 정의할 수 있습니다 (elasticsearch.yml).2. 노드 유형엘라스틱서치 클러스터는 다양한 역할을 수행하는 여러 노드로 구성됩니다. 각각 하나의 역할만 할 수 있는 게 아니라 한 번에 여러 개의 역할을 할 수 있습니다.마스터 노드 (Master Node)클러스터의 상태를 관리하고 클러스터의 메타데이터(예: 인덱스, 노..

[ElasticSearch]모니터링: Prometheus와 X-Pack

Prometheus를 이용한 모니터링Prometheus는 오픈 소스 시계열 데이터베이스로, 메트릭 수집과 모니터링에 최적화된 도구입니다. Grafana와의 연동을 통해 시각화도 용이하게 할 수 있습니다. Elasticsearch 8과 통합하여 클러스터의 성능과 상태를 실시간으로 모니터링할 수 있습니다.Prometheus의 장점• 확장성: 대규모 클러스터에서도 성능 저하 없이 대량의 메트릭을 효율적으로 처리할 수 있습니다. • 경고 기능: Prometheus Alertmanager를 통해 다양한 조건의 경고를 설정하고 관리할 수 있습니다. • 강력한 시각화: Grafana와의 통합을 통해 고도화된 대시보드를 구축할 수 있습니다.Prometheus의 단점• 설치 및 설정 복잡성: Prometheus, Exp..

[ElasticSearch] 인덱스, 샤드, 세그먼트, 타입, 매핑

인덱스인덱스는 데이터를 저장하는 가장 큰 논리적 단위로, 각 인덱스는 샤드로 나누어져 저장됩니다. 인덱스는 관계형 데이터베이스의 테이블과 유사하게, 각 인덱스는 특정 유형의 데이터를 저장하며 여러 문서 (document)의 집합으로 이루어져 있습니다. 각 문서는 JSON 형식으로 저장됩니다.인덱스의 구조와 설정인덱스는 클러스터 내에서 유일해야 하며, 중복된 이름의 인덱스를 생성할 수 없습니다. 이는 데이터 관리와 검색의 효율성을 높이기 위한 것입니다.만일 nginx의 액세스 로그를 수집한다면 nginx-access-log-YYYY.MM.DD 식의 이름을 사용하는 것을 추천합니다.타입과거 엘라스틱서치에서는 하나의 인덱스에 여러 타입 (Type)을 정의할 수 있었습니다. 타입은 서로 다른 데이터 유형을 하나..

[K8S] 테인트와 톨러레이션

테인트(Taints)테인트는 특정 노드에 파드가 스케줄링되지 않도록 노드 자체에 부여하는 속성입니다. 테인트는 일반적인 파드가 해당 노드에 스케줄링되는 것을 방지합니다. 테인트는 다음과 같은 세 가지 속성으로 구성됩니다:Key: 테인트의 키를 지정합니다.Value: 테인트의 값을 지정합니다.Effect: 테인트가 파드 스케줄링에 미치는 영향을 정의합니다.Effect는 다음 중 하나일 수 있습니다:NoSchedule: 톨러레이션이 없는 파드는 해당 노드에 스케줄링되지 않습니다.PreferNoSchedule: 가능하면 해당 노드에 스케줄링하지 않지만, 불가피할 경우 스케줄링됩니다.NoExecute: 해당 노드에 이미 스케줄 된 파드는 즉시 퇴거되며, 톨러레이션이 없는 새로운 파드는 스케줄 되지 않습니다.톨러..

DevOps/K8S 2024.10.14

[K8S] StatefulSet

StatefulSet은 Kubernetes에서 상태가 있는 애플리케이션을 관리하기 위한 리소스이다. StatefulSet은 각 파드가 고유한 네트워크 ID와 영구적인 스토리지를 유지하도록 보장하며, 파드의 생성 및 삭제 순서를 관리한다. 이는 데이터베이스, 분산 파일 시스템, 캐시 시스템 등과 같은 애플리케이션에 매우 유용하다.주요 특징고유한 네트워크 ID: 각 파드는 고유한 DNS 이름을 가지며, 이는 재시작 후에도 유지된다. 예를 들어, StatefulSet 이름이 mysql이고 replicas가 3인 경우, 파드 이름은 mysql-0, mysql-1, mysql-2로 고정된다.고유한 영구 스토리지: 각 파드에 대해 고유한 PersistentVolumeClaim을 생성하여, 파드가 삭제되거나 재시작되..

DevOps/K8S 2024.10.10

[K8S] Metric Server

Metrics Server는 Kubernetes 클러스터 내에서 자원 사용량을 집계하는 경량화된 서비스이다.  CPU나 메모리 사용량에 기반하여 파드의 수를 자동으로 조절하고 노드와 파드의 자원 사용량을 확인할 수 있다. Prometheus와 같은 복잡한 모니터링 솔루션과 달리, Metrics Server는 오토스케일링에 필요한 단기적인 메트릭 수집에 특화되어 있다.Metric Server 설치Metrics Server는 여러 가지 방법으로 설치할 수 있다. 가장 일반적인 설치 방법은 kubectl을 사용한 매니페스트 적용과 Helm 차트를 사용하는 방법이다.kubectl 사용kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/relea..

DevOps/K8S 2024.10.10

[K8S] MetalLB

MetalLB는 Kubernetes 클러스터에서 외부 트래픽을 서비스로 라우팅 하기 위한 로드 밸런서를 제공한다. 클라우드 환경에서는 클라우드 제공업체의 로드 밸런서 서비스를 활용할 수 있지만, 온프레미스나 베어메탈 환경에서는 이러한 서비스가 제공되지 않는다. 이때 MetalLB가 중요한 역할을 한다.MetalLB가 하는 일외부 IP 할당:MetalLB는 Kubernetes 서비스에 LoadBalancer 타입의 외부 IP를 할당한다. 이를 통해 외부 사용자가 클러스터 내의 서비스를 접근할 수 있도록 한다.트래픽 라우팅: 할당된 외부 IP로 들어오는 트래픽을 적절한 Kubernetes 노드 및 파드로 라우팅 한다. 이는 ARP(Address Resolution Protocol) 또는 NDP(Neighbo..

DevOps/K8S 2024.10.10
728x90