I got IT

※ 해당 글은 가시다님의 AEWS 스터디 내용을 참고하고 스터디 협력자 이신 AWS 최영락 님의 도움으로 워크샵 실습을 내용을 토대로 작성하였습니다.들어가며서비스 디스커버리와 서비스 메시의 대두Service Discovery애플리케이션이 진화하고, 조직이 발전하면서 서비스들이 독자적인 VPC 및 Kubernetes 클러스터에 운영되기 시작하면서 클러스터 운영자들은 이런 VPC 간 / 클러스터 간의 애플리케이션 네트워킹에 대해서 고민하게 되었습니다.애플리케이션 끼리 통신을 하기 위해선 가장 먼저 내가 통신하고 싶은 서비스 혹은 마이크로 서비스가 어디에 있는지를 아는 것이 선행 되어야 합니다.하지만 쿠버네티스 환경에서는 파드의 IP가 유동적이므로 이를 서비스 라는 상위 스키마를 통해 접근 가능하도록 해주는 ..

※ 해당 글은 가시다님의 AEWS 스터디 내용을 참고하고 스터디 협력자 이신 AWS 최영락 님의 도움으로 워크샵 실습을 내용을 토대로 작성하였습니다. 실습 개요이 워크숍에서는 오픈소스 LLM을 기반으로 한 vLLM을 사용하여 생성형 AI 기반의 대화형 챗봇 애플리케이션을 구축합니다.이를 위해 다음과 같은 AWS 서비스를 다룹니다.Amazon EKS – 오케스트레이션 계층Amazon FSx for Lustre – LLM을 호스팅AWS Inferentia – 가속화된 컴퓨팅 리소스해당 워크숍에서는 Amazon FSx, EKS, AWS Inferentia에 각각 구성 요소를 배포하여 생성형 AI 챗봇 애플리케이션을 만들어 봅니다.또한 이러한 패턴을 쉽게 활용하여 나만의 생성형 AI 및 머신러닝 워크로드를 구축..

※ 해당 글은 Hashicorp 유형욱 님의 강의와 가시다님의 AEWS 스터디 내용을 참고하여 작성하였습니다. 들어가며현대 애플리케이션은 수많은 비밀정보(Secrets)에 의존합니다. 데이터베이스 사용자 인증 정보, 외부 API 키, 클라우드 액세스 토큰, 인증서 등… 어느 하나라도 유출되면 서비스 중단, 데이터 손실, 보안 사고로 이어질 수 있습니다. 특히 쿠버네티스(Kubernetes) 환경에서는 수많은 마이크로서비스가 동적으로 생성되고 사라지기 때문에, 이러한 시크릿을 안전하게 저장하고 주입하는 방식이 매우 중요해졌습니다.이를 위해 등장한 것이 바로 HashiCorp Vault입니다. Vault는 민감 정보를 중앙에서 안전하게 저장하고, 접근 제어, 시크릿 주입, 자동 갱신(Key Rotation)..

※ 해당 글은 AWS Workshop - Amazon EKS Upgrades: Strategies and Best Practices 과 가시다님의 AEWS 스터디 내용을 참고하여 작성하였습니다.EKS Upgrades들어가며K8s 업그레이드는 보안 취약점과 버그를 해결하고, 최신 기능을 도입해 클러스터 안정성과 성능을 향상시킵니다.지원되는 버전을 유지함으로써 지속적인 기술 지원과 호환성을 보장할 수 있습니다.또한 k8s 의 신규 기능은 끊임 없이 생겨나고 있으며 MSA 의 디팩토가 된 k8s 를 기반으로 다양한 새로운 오픈소스 및 개발 방법론이 진화하기 때문에 k8s 업그레이드를 f/u 하는 것은 굉장히 중요합니다.K8S 업그레이드EKS 업그레이드를 진행하기 전에 관리형 서비스가 아닌 자체 구축형 K8S ..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.이전 글 K8S 환경에서 CI/CD 구축하기 - 1 에 이은 내용입니다.3️⃣ gogs 리포에 push 합니다.git add . && git commit -m "Add nginx helm chart" && **git push -u origin main**  Argo CD Application 생성 1️⃣ argocd server에서 애플리케이션 생성애플리케이션 메뉴에서 create application 버튼을 클릭합니다.이후 애플리케이션 구성 페이지에서 다음과 같이 설정을 지정합니다.GENERALApp Name : dev-nginxProject Name : defaultSYNC POLICY : ManualAUT..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.들어가며CI/CD는 Continuous Integration과 Continuous Delivery(또는 Deployment)의 약자로, 소프트웨어 개발 과정에서 지속적으로 코드의 통합과 배포를 자동화하여 품질과 속도를 높이는 개발 방식입니다.특히 Micro Service Architecture 환경에서는 작은 단위로 나뉜 서비스가 독립적으로 빠르게 배포 및 업데이트되어야 하므로 CI/CD가 필수적입니다.또한, CI/CD는 소프트웨어 개발 주기(SDLC) 전반에 걸쳐 버그를 빠르게 발견하고 해결하여 신속한 배포와 안정성을 보장합니다.CI/CD 에는 다양한 툴이 사용되고 CNCF에 등록된 다양한 오픈소스들도 포함이..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다. 들어가며EKS 클러스터의 컴퓨팅 타입 선정에는 다양한 옵션이 있습니다. Amazon EKS 클러스터는 EKS 자동 모드 관리형 노드, 자체 관리형 노드, Amazon EKS 관리형 노드 그룹, AWS Fargate, Amazon EKS Hybrid Nodes의 옵션을 제공하고 이를 단독으로 사용하거나 조합해서 사용하는 등 사용환경 및 요구사항에 따라 다양하게 선택이 가능합니다.EKS 클러스터의 성능과 운영 효율성은 어떤 컴퓨팅 리소스를 선택하느냐에 크게 좌우됩니다. Managed Node Group, Fargate, Auto Mode와 같은 다양한 옵션은 각각 비용, 관리 부담, 확장성, 보안성 등 여러 측면..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.또한 다음 EKS Hands on lab 을 참고하였습니다. 🔗OPA 란?Open Policy Agent(OPA)는 클라우드 네이티브 환경에서 정책 관리와 보안 운영 자동화를 지원하는 오픈 소스 범용 정책 엔진입니다. CNCF 의 프로젝트로, 다양한 플랫폼과 서비스에서 일관된 정책 집행을 가능하게 합니다. 즉 쿠버네티스 환경에서의 거버넌스 관리 구성을 위해 사용되는 유용한 도구라고 볼 수 있습니다.OPA 도입 배경기존의 접근 제어 및 정책 관리 솔루션들은 모던 애플리케이션 환경을 고려하지 않고 설계된 경우가 많아, 과거에 비해 훨씬 더 동적이고 빈번한 호출을 처리하는 현대적인 시스템을 효과적으로 관리하기 어렵..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.또한 다음 EKS Hands on lab 을 참고하였습니다. 🔗 들어가며컨테이너 이미지는 애플리케이션을 실행하는 기반이므로, 보안이 취약하면 악성 코드 실행, 데이터 유출, 시스템 장악 등의 심각한 보안 사고가 발생할 수 있습니다. 특히, 공격자가 악의적인 이미지를 Kubernetes 클러스터에서 실행할 경우, 클러스터 전체가 위험에 노출될 수 있습니다.따라서 컨테이너가 루트 권한을 사용하지 못하도록 설정하는 것도 이와같이 이미지의 취약성과 탈취 문제의 이슈도 있기 때문입니다. 따라서 이미지를 검사하고 취약점을 분석하는 것은 보안에 있어서 매우 중요한 요소입니다.ECR ScanningAWS ECR(Amazon..

8. Karpenter8.1 Karpenter 란?Karpenter는 Amazon EKS에서 노드 프로비저닝을 자동화하는 도구로, Kubernetes의 Cluster Autoscaler와 AWS의 Auto Scaling Group(ASG)의 한계를 극복하기 위해 설계되었습니다.8.1.1 Karpenter 구성요소NodeClaim:새로운 노드가 필요할 때 생성되는 요청 객체.Pending 상태의 Pod 요구 사항(리소스 요청, NodeSelector, Affinity 등)을 분석하여 적합한 노드를 프로비저닝합니다.AWS EC2 API를 호출해 필요한 인스턴스를 생성.NodePool:노드에 대한 설정을 관리하는 추상화 계층.특정 노드 유형(인스턴스 크기, AMI, 네트워크 설정 등)을 정의합니다.다양한 워크..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.5. CAS - Cluster Autoscaler5.1 Cluster Autoscaler 란 ?위 과정 까지는 파드레벨의 오토스케일링 이었다면 지금부터는 노드 레벨의 오토스케일링에 대해서 다뤄보겠습니다. Cluster Autoscaler 이하 CAS 는쿠버네티스 공식 지원 기능으로 다음 링크를 참고 바랍니다.https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/aws/README.md작동 방식:CAS는 클러스터의 노드 그룹을 기반으로 작동하며, Auto Scaling Group(ASG)과 같은 클라우드 제공자의 ..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.들어가며Autoscaling 전략1. Application TuningAction: 애플리케이션 프로세스를 조정 (예: 스레드 수, 힙 크기 등).Scaling Example: Pod 내부의 프로세스 성능을 최적화하여 리소스 활용도를 높임.특징: Pod 자체는 변경하지 않고 내부 설정만 조정.2. Vertical Pod Autoscaler (VPA)Action: Pod의 컨테이너 리소스(CPU, 메모리 등)를 증가 또는 감소.Scaling Example: Pod가 더 많은 리소스를 사용할 수 있도록 조정.특징: Pod 수는 유지되지만 개별 Pod의 처리 능력을 향상.3. Horizontal Pod Autosca..

❓프로메테우스란Prometheus는 **CNCF(Cloud Native Computing Foundation)**가 후원하는 오픈소스 모니터링 및 알림 시스템입니다. 시계열(Time-series) 데이터 수집 및 분석을 주 목적으로 하며, Kubernetes와 같은 클라우드 네이티브 환경에서 성능 모니터링 및 메트릭 수집을 위해 널리 사용됩니다. 특징시계열 데이터를 처리 (Time-series DB == TSDB)주로 CPU, MEM 등 시스템 지표 수집에 사용됨CNCF 오픈프로젝트. 다른 CNCF 오픈소스 서비스와 호환이 좋음 (Istio, Jaeger).시각화 도구인 Grafana 와 연동하는 유스케이스가 많음장점풀링 방식 Pulling.모니터링 타겟이 프로메테우스의 YAML 설정값을 통해 Disco..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.실습 환경 배포실습 환경 아키텍처이번 실습 환경 구성 에서도 지난번과 마찬가지로 CloudFormation 을 활용할 것입니다.아키텍처 특징EFS 사용하여 PV 설정실무에서 흔히 사용하는 구조인 클러스터 운영용 서버를 퍼블릭에 프로비저닝(배스천)VPC Peering (상용 서비스의 경우 온프레미스 IDC 에서의 작업자 PC, DX 혹은 VPN 구성EKS optimized AMLX 2023 (최근에 나온 따끈따끈한 이미지 입니다. 자세한 내용은 다음 링크 참고🔗)다음은 CloudFormation 에 쓰일 파라미터 입니다. 본인의 용도에 맞게 설정하도록 합니다.운영 서버 관련KeyName : 운영서버 ec2에 S..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다. 이번 포스팅에서는 쿠버네티스 스토리지 개념과 EKS 환경에서 쿠버네티스 스토리지가 어떻게 작동하는 지에 대해서 말씀 드리도록 하겠습니다. 실습환경 구성하기지난 포스팅들과 마찬가지로 실습환경을 먼저 구성해 줍니다. 실습 환경 아키텍처2개의 VPC: EKS 배포용(myeks-vpc)과 운영용(operator-vpc)으로 구분myeks-vpc 에 각기 AZ를 사용하는 퍼블릭/프라이빗 서브넷 배치로드밸런서 배포를 위한 퍼블릭/프라이빗 서브넷에 태그 설정EFS 추가: myeks-vpc의 Public 서브넷에 배포VPC Peering 설정: 내부 통신을 위한 VPC 연결 구성Node Group 배포: EKS 클러스터 내..