I got IT

※ 해당 글은 가시다님의 AEWS 스터디 내용을 참고하고 스터디 협력자 이신 AWS 최영락 님의 도움으로 워크샵 실습을 내용을 토대로 작성하였습니다. 실습 개요이 워크숍에서는 오픈소스 LLM을 기반으로 한 vLLM을 사용하여 생성형 AI 기반의 대화형 챗봇 애플리케이션을 구축합니다.이를 위해 다음과 같은 AWS 서비스를 다룹니다.Amazon EKS – 오케스트레이션 계층Amazon FSx for Lustre – LLM을 호스팅AWS Inferentia – 가속화된 컴퓨팅 리소스해당 워크숍에서는 Amazon FSx, EKS, AWS Inferentia에 각각 구성 요소를 배포하여 생성형 AI 챗봇 애플리케이션을 만들어 봅니다.또한 이러한 패턴을 쉽게 활용하여 나만의 생성형 AI 및 머신러닝 워크로드를 구축..

※ 해당 글은 Hashicorp 유형욱 님의 강의와 가시다님의 AEWS 스터디 내용을 참고하여 작성하였습니다. 들어가며현대 애플리케이션은 수많은 비밀정보(Secrets)에 의존합니다. 데이터베이스 사용자 인증 정보, 외부 API 키, 클라우드 액세스 토큰, 인증서 등… 어느 하나라도 유출되면 서비스 중단, 데이터 손실, 보안 사고로 이어질 수 있습니다. 특히 쿠버네티스(Kubernetes) 환경에서는 수많은 마이크로서비스가 동적으로 생성되고 사라지기 때문에, 이러한 시크릿을 안전하게 저장하고 주입하는 방식이 매우 중요해졌습니다.이를 위해 등장한 것이 바로 HashiCorp Vault입니다. Vault는 민감 정보를 중앙에서 안전하게 저장하고, 접근 제어, 시크릿 주입, 자동 갱신(Key Rotation)..

※ 해당 글은 AWS Workshop - Amazon EKS Upgrades: Strategies and Best Practices 과 가시다님의 AEWS 스터디 내용을 참고하여 작성하였습니다.EKS Upgrades들어가며K8s 업그레이드는 보안 취약점과 버그를 해결하고, 최신 기능을 도입해 클러스터 안정성과 성능을 향상시킵니다.지원되는 버전을 유지함으로써 지속적인 기술 지원과 호환성을 보장할 수 있습니다.또한 k8s 의 신규 기능은 끊임 없이 생겨나고 있으며 MSA 의 디팩토가 된 k8s 를 기반으로 다양한 새로운 오픈소스 및 개발 방법론이 진화하기 때문에 k8s 업그레이드를 f/u 하는 것은 굉장히 중요합니다.K8S 업그레이드EKS 업그레이드를 진행하기 전에 관리형 서비스가 아닌 자체 구축형 K8S ..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.이전 글 K8S 환경에서 CI/CD 구축하기 - 1 에 이은 내용입니다.3️⃣ gogs 리포에 push 합니다.git add . && git commit -m "Add nginx helm chart" && **git push -u origin main**  Argo CD Application 생성 1️⃣ argocd server에서 애플리케이션 생성애플리케이션 메뉴에서 create application 버튼을 클릭합니다.이후 애플리케이션 구성 페이지에서 다음과 같이 설정을 지정합니다.GENERALApp Name : dev-nginxProject Name : defaultSYNC POLICY : ManualAUT..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.들어가며CI/CD는 Continuous Integration과 Continuous Delivery(또는 Deployment)의 약자로, 소프트웨어 개발 과정에서 지속적으로 코드의 통합과 배포를 자동화하여 품질과 속도를 높이는 개발 방식입니다.특히 Micro Service Architecture 환경에서는 작은 단위로 나뉜 서비스가 독립적으로 빠르게 배포 및 업데이트되어야 하므로 CI/CD가 필수적입니다.또한, CI/CD는 소프트웨어 개발 주기(SDLC) 전반에 걸쳐 버그를 빠르게 발견하고 해결하여 신속한 배포와 안정성을 보장합니다.CI/CD 에는 다양한 툴이 사용되고 CNCF에 등록된 다양한 오픈소스들도 포함이..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다. 들어가며EKS 클러스터의 컴퓨팅 타입 선정에는 다양한 옵션이 있습니다. Amazon EKS 클러스터는 EKS 자동 모드 관리형 노드, 자체 관리형 노드, Amazon EKS 관리형 노드 그룹, AWS Fargate, Amazon EKS Hybrid Nodes의 옵션을 제공하고 이를 단독으로 사용하거나 조합해서 사용하는 등 사용환경 및 요구사항에 따라 다양하게 선택이 가능합니다.EKS 클러스터의 성능과 운영 효율성은 어떤 컴퓨팅 리소스를 선택하느냐에 크게 좌우됩니다. Managed Node Group, Fargate, Auto Mode와 같은 다양한 옵션은 각각 비용, 관리 부담, 확장성, 보안성 등 여러 측면..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.또한 다음 EKS Hands on lab 을 참고하였습니다. 🔗OPA 란?Open Policy Agent(OPA)는 클라우드 네이티브 환경에서 정책 관리와 보안 운영 자동화를 지원하는 오픈 소스 범용 정책 엔진입니다. CNCF 의 프로젝트로, 다양한 플랫폼과 서비스에서 일관된 정책 집행을 가능하게 합니다. 즉 쿠버네티스 환경에서의 거버넌스 관리 구성을 위해 사용되는 유용한 도구라고 볼 수 있습니다.OPA 도입 배경기존의 접근 제어 및 정책 관리 솔루션들은 모던 애플리케이션 환경을 고려하지 않고 설계된 경우가 많아, 과거에 비해 훨씬 더 동적이고 빈번한 호출을 처리하는 현대적인 시스템을 효과적으로 관리하기 어렵..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.또한 다음 EKS Hands on lab 을 참고하였습니다. 🔗 들어가며컨테이너 이미지는 애플리케이션을 실행하는 기반이므로, 보안이 취약하면 악성 코드 실행, 데이터 유출, 시스템 장악 등의 심각한 보안 사고가 발생할 수 있습니다. 특히, 공격자가 악의적인 이미지를 Kubernetes 클러스터에서 실행할 경우, 클러스터 전체가 위험에 노출될 수 있습니다.따라서 컨테이너가 루트 권한을 사용하지 못하도록 설정하는 것도 이와같이 이미지의 취약성과 탈취 문제의 이슈도 있기 때문입니다. 따라서 이미지를 검사하고 취약점을 분석하는 것은 보안에 있어서 매우 중요한 요소입니다.ECR ScanningAWS ECR(Amazon..

8. Karpenter8.1 Karpenter 란?Karpenter는 Amazon EKS에서 노드 프로비저닝을 자동화하는 도구로, Kubernetes의 Cluster Autoscaler와 AWS의 Auto Scaling Group(ASG)의 한계를 극복하기 위해 설계되었습니다.8.1.1 Karpenter 구성요소NodeClaim:새로운 노드가 필요할 때 생성되는 요청 객체.Pending 상태의 Pod 요구 사항(리소스 요청, NodeSelector, Affinity 등)을 분석하여 적합한 노드를 프로비저닝합니다.AWS EC2 API를 호출해 필요한 인스턴스를 생성.NodePool:노드에 대한 설정을 관리하는 추상화 계층.특정 노드 유형(인스턴스 크기, AMI, 네트워크 설정 등)을 정의합니다.다양한 워크..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.5. CAS - Cluster Autoscaler5.1 Cluster Autoscaler 란 ?위 과정 까지는 파드레벨의 오토스케일링 이었다면 지금부터는 노드 레벨의 오토스케일링에 대해서 다뤄보겠습니다. Cluster Autoscaler 이하 CAS 는쿠버네티스 공식 지원 기능으로 다음 링크를 참고 바랍니다.https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/aws/README.md작동 방식:CAS는 클러스터의 노드 그룹을 기반으로 작동하며, Auto Scaling Group(ASG)과 같은 클라우드 제공자의 ..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.들어가며Autoscaling 전략1. Application TuningAction: 애플리케이션 프로세스를 조정 (예: 스레드 수, 힙 크기 등).Scaling Example: Pod 내부의 프로세스 성능을 최적화하여 리소스 활용도를 높임.특징: Pod 자체는 변경하지 않고 내부 설정만 조정.2. Vertical Pod Autoscaler (VPA)Action: Pod의 컨테이너 리소스(CPU, 메모리 등)를 증가 또는 감소.Scaling Example: Pod가 더 많은 리소스를 사용할 수 있도록 조정.특징: Pod 수는 유지되지만 개별 Pod의 처리 능력을 향상.3. Horizontal Pod Autosca..

※ 해당 글은 CloudNet@ gasida 님의 EKS 스터디 내용을 참고하여 작성하였습니다.실습 환경 배포실습 환경 아키텍처이번 실습 환경 구성 에서도 지난번과 마찬가지로 CloudFormation 을 활용할 것입니다.아키텍처 특징EFS 사용하여 PV 설정실무에서 흔히 사용하는 구조인 클러스터 운영용 서버를 퍼블릭에 프로비저닝(배스천)VPC Peering (상용 서비스의 경우 온프레미스 IDC 에서의 작업자 PC, DX 혹은 VPN 구성EKS optimized AMLX 2023 (최근에 나온 따끈따끈한 이미지 입니다. 자세한 내용은 다음 링크 참고🔗)다음은 CloudFormation 에 쓰일 파라미터 입니다. 본인의 용도에 맞게 설정하도록 합니다.운영 서버 관련KeyName : 운영서버 ec2에 S..

EKS 란?EKS는 AWS Managed Service로 K8S 클러스터를 자동관리 해주는 서비스 이다.이 때 관리형 서비스라고 해서 모든 영역을 관리해주는 것이 아니므로 기본적으로 쿠버네티스에 대한 지식과 개념을 알아야 구성할 수 있다. EKS 아키텍처 EKS 관리 영역EKS의 컨트롤 플레인은 AWS 에서 관리한다. 실제로 클러스터를 생성해 보면 해당 컨트롤 플레인의 노드는 사용자가 직접 접근할 수 없고 EKS를 생성할 때 지정한 VPC에 마스터 노드와 연결되는 ENI가 생기는데 해당 ENI 상세 정보를 보면 해당 ENI의 연결된 인스턴스의 소유자는 AWS 어카운트 인 것을 확인할 수 있다. 이는 컨트롤 플레인은 전적으로 AWS 에서 관리하겠다는 것이고 EKS 네트워크의 특징이다.    EKS 클러스터..