본문 바로가기

DevOps

 (102)
[AWS EKS] (31) EKS 스터디 12주차 ( EKS 규모에 따른 네트워킹 구조 ) CloudNet@팀의 EKS 스터디 AEWS 2기에 작성된 자료를 토대로 작성합니다.Kubernetes의 애플리케이션 네트워킹 변화 과정Gateway API의 등장Amazon VPC Lattice 한 개의 Kubernetes 클러스터를 사용할 때단일 클러스터 내부에 배포되는 Kubernetes 서비스들은 클러스터 내부의 DNS 인 CoreDNS 및 Ingress 리소스를 통해서 내부 서비스 간 통신 및 외부로의 통신을 모두 네이티브하게 구현할 수 있음.사용되는 방법들기본 Service 리소스로 시작NodePort, ClusterIP, LoadBalancer 타입의 서비스 구현Ingress 활용경로 기반 라우팅으로 서비스 구조화 및 관리 개선SSL/TLS 종단점 제공을 통한 보안 강화단순한 내부 통신과 외..
[AWS EKS] (30) EKS 스터디 11주차 ( AWS EKS ML Infra(GPU) workshop ) CloudNet@팀의 EKS 스터디 AEWS 2기에 작성된 자료를 토대로 작성합니다.Amazon EKS 클러스터에 vLLM과 WebUI 파드를 배포하여 생성형 AI 챗봇 애플리케이션을 Kubernetes에 배포합니다.Mistral-7B 모델은 Amazon FSx for Lustre 및 Amazon S3를 사용하여 저장하고 액세스하며, 생성형 AI 워크로드를 위해 AWS Inferentia 가속 컴퓨팅을 활용합니다.추가 파드 요청으로 인해 추가 노드가 필요한 경우, Karpenter를 사용하여 EKS 노드 수를 자동으로 확장하여 확장성과 운영 효율성을 확보합니다. Build Gen AI & ML using EKS , Amazon FSx and AWS InferentiaCloud9 검색 하여 클릭 Sele..
[AWS EKS] (29) EKS 스터디 11주차 ( AWS EKS ML Infra(GPU) ) CloudNet@팀의 EKS 스터디 AEWS 2기에 작성된 자료를 토대로 작성합니다.AI/ML 인프라의 GPU를 사용하는 워크로드들에 대해서 과거 사용하던 방식들에 대해 이해 하려 합니다.컨테이너의 장점을 통해 GPU 사용을 용이하게 하는 방식에 대해 이해하려 합니다.AI/ML 인프라에 대한 문제점 머신러닝과 딥러닝이 기업의 핵심 경쟁력으로 부상하면서, 데이터 과학자들은 점점 더 복잡하고 계산 집약적인 모델을 개발하고 있다. 이러한 모델을 효율적으로 학습하고 배포하기 위해서는 강력한 컴퓨팅 인프라가 필수적입니다. 특히 GPU를 사용하는 것은 병렬 처리 능력으로 딥러닝 워크로드를 가속화하는 데 있어 중요한 역할을 한다.전통적으로 ML 엔지니어들은 베어메탈 서버에 직접 GPU 드라이버와 라이브러리를 설치하..
[AWS EKS] (28) EKS 스터디 10주차 (Vault + ArgoCD Plugin 패턴) Argo CD에는 다양한 시크릿 관리 도구(HashiCorp Vault, IBM Cloud Secrets Manager, AWS Secrets Manager 등)플러그인을 통해 Kubernetes 리소스에 주입할 수 있도록 지원합니다.플러그인을 통해 Operator 또는 CRD(Custom Resource Definition)에 의존하지 않고 GitOps와 Argo CD로 시크릿 관리 문제를 해결할 수 있습니다.특히 Secret 뿐만 아니라, deployment, configMap 또는 기타 Kubernetes 리소스에도 사용할 수 있습니다.CloudNet@팀의 EKS 스터디 AEWS 2기에 작성된 자료를 토대로 작성합니다. 사이드카 컨테이너를 통한 설치:사이드카 컨테이너를 추가하여 플러그인과 필요한 도..
[AWS EKS] (27) EKS 스터디 10주차 ( Jenkins + Vault (AppRole) ) Vault KV Store에 저장한 username, password을 Jenkins을 활용해서 획득하는 방안CI 파이프라인에서 정적(Static) 시크릿을 외부에 저장하고 관리할 경우 사용할 수 있습니다.CloudNet@팀의 EKS 스터디 AEWS 2기에 작성된 자료를 토대로 작성합니다. 5. Jenkins + Vault (AppRole) - CI 최근 CI/CD의 공격사례(CVE-2025-30066) : GitHub Action tj-actions/changed-files 공격Vault - Jenkins Plugin with AppRole 인증방식 워크플로우 - Docs Best practices for AppRole authentication | Vault | HashiCorp DeveloperFo..
[AWS EKS] (26) EKS 스터디 10주차 ( Vault ) CloudNet@팀의 EKS 스터디 AEWS 2기에 작성된 자료를 토대로 작성합니다. 1. Vault 개요HashiCorp Vault는 신원 기반(identity-based)의 시크릿 및 암호화 관리 시스템입니다. 이 시스템은 인증(authentication) 및 인가(authorization) 방법을 통해 암호화 서비스를 제공하여 비밀에 대한 안전하고 감사 가능하며 제한된 접근을 보장합니다. 시크릿(Secret)이란 접근을 철저히 통제하고자 하는 모든 것을 의미하며, 예를 들어 토큰, API 키, 비밀번호, 암호화 키 또는 인증서 등이 이에 해당합니다. Vault는 모든 시크릿에 대해 통합된 인터페이스를 제공하면서, 엄격한 접근 제어와 상세한 감사 로그 기록 기능을 제공합니다.대표적인 Secret 종류..
[AWS EKS] (25) EKS 스터디 8주차 (Blue-Green Upgrade) CloudNet@팀의 EKS 스터디 AEWS 2기에 작성된 자료를 토대로 작성합니다. 앞서 테스트한 inplace 업그레이드 전략은 단점이 명확하다. inplace 업그레이드 전략: 순차 업데이트, 서비스 순단 발생 이슈 발생 시 롤백 불가능 Blue-Green 업그레이드 전략 : 새 EKS 클러스터(addon, apps)를 만들고 트래픽을 이전 클러스터에서 새 클러스터로 점진적으로 전환Blue-Green 업그레이드 전략 : 새 EKS 클러스터(addon, apps)를 만들고 트래픽을 점진적으로 전환원하는 Kubernetes 버전 및 구성으로 새 EKS 클러스터(Green Cluster)를 만듭니다.새 클러스터에 애플리케이션, 애드온 및 구성을 배포합니다.새 클러스터가 예상대로 작동하는지 확인하기 위해 ..
[AWS EKS] (24) EKS 스터디 8주차 (In-place Upgrade) CloudNet@팀의 EKS 스터디 AEWS 2기에 작성된 자료를 토대로 작성합니다. in-place Cluster Upgrade : 1.25 -> 1.26업그레이드 단계클러스터 제어 평면 업그레이드Kubernetes 애드온 및 사용자 정의 컨트롤러를 업데이트하세요.클러스터의 노드를 업그레이드하세요 목표:필요한 경우 사용되지 않는 API를 제거하고 Kubernetes 매니페스트를 업데이트하여 적절한 리소스를 수정한 후, 위의 순서대로 클러스터를 업그레이드할 수 있습니다. 이러한 단계는 테스트 환경에서 완료하는 것이 가장 좋으므로 프로덕션 클러스터에서 업그레이드 작업을 시작하기 전에 클러스터 구성과 애플리케이션 매니페스트의 문제를 발견할 수 있습니다.방법 1 : eksctl 아래 실행하지 않음!이 명령에서..

티스토리툴바