AWS Summit 2023 Day.1

By Jimmyberg
aws awssummit awssummit2023

Session. Key Note: AWS 클라우드 서비스와 AI 인공 지능 & 글로벌 서비스

AWS Summit Day.1 첫째 날에는 최근 많이 회자되고 있는 주제인 AI 인공 지능과 다AWS 클라우드 서비스를 이용한 각 사업 부문들의 다양한 사례에 대해 알아볼 수 있는 시간이었.

KB국민은행의 금융에서의 “AI”

ChatGPT 의 등장으로 더욱 관심받고 있는 ML, AI 등과 같은 고성능 계산이 필요한 서비스 또는 많은 리소스가 필요한 사업까지도 클라우드 서비스를 통해 인프라 구축하고 상용 서비스를 많은 기업에서 운영하고 있다. 이제 AWS 는 클라우드 서비스를 통해서 단순 클라우드 컴퓨팅, DB, 스토리지 뿐만 아니라 IT 사업의 전반적인 인프라를 구축할 수 있는 여러 서비스를 이미 제공하고 있다.

야놀자 성장동력 “클라우드”

클라우드 서비스는 AI 뿐만 아니라 글로벌 서비스를 구축에도 편의성을 제공한다. 해외 시스템을 활용하거나 해외 외부 업체와 연동할 때, 온프레미스 기반으로 국내 인프라만 사용한다면 네크워크 연결과 같은 문제를 해결하기란 쉽지 않을 것이다. AWS 클라우드 서비스를 통한다면, 해외 리전을 활용하고 AWS 보안 서비스를 이용하여 위와 같은 문제를 보다 쉽게 해결할 수 있다고 한다.

그리고 RDBMS 로 저장하고 처리하기 어려운 비정형 데이터를 통합하고, 새로운 데이터 스트림과 흐름을 제어하여 새로운 가치를 창출하고, 개발 속도 단축과 유연한 시스템 아키텍처 설계를 가능하며, 시스템 배포 환경 또한 기존 온프레미스 배포 인력보다 적은 인력으로 더 많은 업무를 소화한다고 한다.

Session. 천만 사용자를 위한 카카오의 AWS Native 글로벌 채팅 서비스

글로벌 채팅 서비스 요구 사항

  • 중요한 것에 집중하자
    • 글로벌 서비스를 구축하기 위한 중요한 것들 네트워크 안정성, 비정형 데이터 처리, 성능 최적화 등
  • 빠르고 올바른 의사결정
    • 빠른 결정이 필요하지만, 올바른 결정을 놓치면 안된다.

클라우드 네이티브 구축

  • 글로벌 Infra 구축
    • AWS 리존을 활용한 세계 각지 구분된 네트워크 구축
    • Direct-Connector(전용선) 연결을 통해서 온프레미스와 클라우드간 네트워크 구축
    • 복잡한 회선 연결을 통해서 어느 하나가 장애가 발생하더라도 리커버리가 가능하도록 구축
  • Server-less 서버리스 서비스 사용
    • 소규모 인원으로 대규모 서비스 운영하기 위한 AWS 서비스 이용 결정
    • “IT 자원 유지보수는 클라우드에게 양보하세요.”
    • AWS Lambda
      • 이벤트 소스로부터 변경 감지되면 처리 후 응답하는 서비스 구축
    • Amazon DynamoDB
      • 관계형처럼 정형화된 데이터보다는 비정형된 데이터를 빠르고 쓰고, 읽기를 제공
    • AWS IoT
      • 서버리스 Connectivity 환경 구축
      • 천만 대의 스마트폰이 클라우드에 잘 접속할 수 있도록 네트워킹 지원 처리
  • 프로토타이핑
    • 프로토타입 버전 제품을 구현하고 비즈니스 성과를 예측하여 의사결정을 위한 적절한 비용을 투자
    • 생각하는 아키텍처가 충분히 동작한다고 생각한다면 서비스 오픈

구축 과정

  • Amazon API Gateway 에서 WebSocket 지원을 시작하면서 실시간 처리에 대한 새로운 가능성을 확인
  • Amazon API Gateway <-> AWS Lambda 기반의 REST API 통신으로 실시간 데이터 처리
  • AWS 서비스 이용으로 관리 포인트 감소
    • Session, …, RDBMS 구축 등 다양한 서버 관리 포인트가 AWS 서비스 3개로 단축
  • DynamoDB 활용하여 실시간 변경이 가능한 데이터를 수집 가능
  • Anti-Pattern 배제
    • RDBMS 전환 과정 또는 신규 구축할 때, 안티 패턴을 컨설팅을 통해서 배제하고 완전 새로 구축
  • Amazon CloudFront 서비스를 통해서 Proxy 서버 역할 처리
  • Cloud Native 클라우드 네이티브 기반 잘 활용하면 코드 기반 운영 자동화가 가능
  • 클라우드 네이티브는 비용 절감, 효율성 증가, 가용성 증가

Session. 삼성전자/쿠팡의 대규모 트래픽 처리를 위한 클라우드 네이티브 데이터베이스 활용

Session. 투자를 모두에게, 토스증권의 MTS 구축 사례

MTS Mobile Trading System : 모바일 기기에서 주식 시세 변동에 대한 실시간 데이터 처리 시스템

토스증권 서비스 구축

스마트폰을 포함한 모바일 기기 파급적인 보급률을 통해 MTS 와 같은 모바일 기기를 지원하는 시스템들에 대한 성능, 안정성도 중요하게 되었다. 높은 트래픽 치러, 방대한 데이터 수집 및 가공, 실시간 데이터 전송 등 개발자로서 신경 써야할 부분이 한두가지가 아니지만, 최근 많은 기업에는 빠른 Time to Market 을 강조하고, MVP 기반의 작고 빠른 서비스 런칭을 통해 시장 반응을 빠르게 파악하고 운용하고 있다.

토스증권 은 출범 이후 얼마 지나지 않아 왠만한 증권 서비스를 추월하였다고 한다. 그 바탕 중 하나가 Blitzscaling 전략 방식이 있다.

Blitzscaling : 회사가 빠르게 성장하도록 설계된 전략
  • 기업이 빠르게 성장하면서 새로운 시장을 진입하고, 높은 성장률을 유지
  • 초기에는 수익보다는 시장 점유율 우선, 대규모 투자와 높은 위험을 감수하고 빠른 성장을 추구
  • Blitzscaling 은 여러 기업에서 적용되는 전략 중 하나

토스증권의 Blitzscaling 전략 전,

  • 사람과 기업 문화 진단을 통해 실행 가능성과 역량을 확인
  • 충분한 소통 후에 진행
  • 기업의 이윤 목표보다 시장 우위점을 위해 공격적인 마케팅 으로 고객 유치에 성공하였다고 한다.

토스증권 서비스의 Trouble-Shooting

😵 금융 공용망 사용 제한
  • 금융 거래를 위해 사용했던 금융 공용망이 많은 회원이 몰리면서 토스증권 트래픽으로 사용량이 너무 증가해 다른 기업들의 공용망 사용량까지 침범
  • 해결 방안으로, 금융 공용망 임계치를 산정하고 공용망 사용 제어할 수 있도록 아키텍처 변경
😵 금융 망분리 문제
  • 금융 망분리 해결을 위해 클라우드를 적극 사용
  • AWS 클라우드의 IAM 서비스를 이용하여 업무망, 개발망, 운영망 분리 대응
  • IDC 기반의 개발 환경도 EKS 기반의 클라우드 전환하여 개발 생산성 증대

Multi-Cast 기반 MTS 시세 시스템 구축

MTS 시스템은 실시간으로 한국증권거래소를 통해서 받은 주가 시세 정보를 Multi-Cast 멀티캐스트 방식을 통해 다수의 사용자들에게 동시 전송이 필요하다.

토스증권 시세 시스템 데이터 흐름

토스증권은 초기 온프레미스 인프라 구축 후 서비스 런칭하였지만, 대규모 WebSocket 으로 멀티캐스트 전송은 무리가 되었다.

AWS Transit Gateway 활용

토스증권 AWS Transit gateway

  • 멀티캐스트 서브넷 설정을 위해 AWS Transit gateway 활용
  • 가상 라우터를 활용한 전용선 연결하여 온프레미스와 클라우드 간의 네트워크 통신 연결한 하이브리드 인프라 구성

AWS 시세 인프라 구축 결과

토스증권 AWS 활용 결과

Session. 금융 디지털 서비스 혁신을 리딩하는 교보정보통신의 클라우드 마이그레이션 사례 소개

교보정보통신에서 바라보는 금융 IT 트렌드

교보정보통신 에서는 금융 IT 트렌드는 슈퍼앱, 클라우드 기반 AI 서비스, 애플리케이션의 현대화 가 있다고 한다.

클라우드 네이티브와 애플케이션의 현대화

유동적인 변화가 많은 IT 서비스를 클라우드 전환하는 것은 이제 필수적인 조건이 되어가고 있고, 그로인해 인프라 전체를 클라우드 기반으로 구축하는 클라우드 네이티브 서비스에 대한 관심이 높아지고 있다.

사업적인 측면에서도 운영 비용과 생산성 향상을 고려해보아도 온프레미스 기반의 인프라보단 클라우드로 전환하는 것이 훨씬 효율적이란 관점이다.

교보정보통신의 애듶리케이션 현대화

AWS 다양한 서비스를 활용한 하이브리드 인프라 구조

인프라 전체를 클라우드 전환이 불가하다면, 하이브리드 인프라 구조를 선택할 수도 있다. AWS 또한 온프레미스 인프라와 연동을 위한 여러 서비스를 지원하며, 다양한 VPC 활용 방법과 네트워킹 방식을 통해 구축 가능하다.

교보문고 하이브리드 인프라 구조

SOCAR는 어떻게 2만대의차량을 운영할까?: IoT Data의 수집부터 분석까지

데이터가 더 중요한 제조업의 변화

IT 산업의 발전으로 제조업도 더이상 납품을 위한 제품 생산보다 제품을 통해 얻은 데이터를 어떻게 활용하느냐가 큰 관건이 되었다.

SOCAR가 제시하는 제조업의 변화

데이터를 활용할 수 있는 FMS 시스템

SOCAR 에서는 데이터를 기반으로 자체 차량 관리 시스템인 FMS (Fleet Management System) 서비스를 구축하였다. FMS 시스템은 AWS 의 다양한 IoT 기술 서비스를 활용하여 1,300만건의 회원 데이터와 2만대의 차량 데이터를 수집하고, 수집된 데이터를 각 요건에 맞는 데이터로 변환 가농한다. 이렇게 관리되는 데이터를 활용하여 다이나믹 가격 모델 을 구성하고 운영하여 보다 고객한테도 실용적인 서비스를 제안하고 있다.

또한, FMS 시스템은 SOCAR 내부 차량 관리 시스템 뿐만 아니라 모빌리티 사업하는 외부 업체에게도 구축하여 차량 관리를 지원하고 있다.

SOCAR FMS의 AWS IoT 서비스

AWS 서비스를 활용한 IoT 데이터 수집과 분석 시스템 구축

SOCAR 에서도 처음부터 AWS 의 서비스를 활용한 IoT 데이터 수집을 한 것은 아니다.

데이터 수집/분석 시스템 구축 과정을 간단하게 정리하면,

  1. 자체 IoT 디바이스를 개발하고, 차량에 연결하여 HTTP 기반 서버로 전송
    • 🤯 트래픽 부하 발생 🤯
  2. AWS IoT Core 를 활용하여 데이터 수집 방법 변경
    • 🤯 데이터 가공 과정에서 RDBMS 부하 발생 🤯
  3. 데이터 특성에 맞게 데이터베이스 분리
    • Real-Time : 실시간 데이터는 짧은 지연 시간을 보장하기 위해 In-Memory DB 사용
    • Historical : 내역 저장 데이터는 관계성 Relationship 보다 빠른 read/write 를 보장하기 위해 AWS DynamoDB 사용
    • MSK 를 활용하여 데이터 스트림을 구성하고 라우팅 역할 수행
  4. MSK 로 수집된 데이터를 자체 Connector 인 RTVF 를 통해 가공 후 DB 저장 처리

SOCAR의 다중 DB 데이터 스트림

자체 Connector 고가용성 RTVF

  • 실시간 데이터 빠른 처리 : 하나의 RTVF 멀티스레딩 방식으로 데이터를 처리하도록 구현
  • 높은 성능 최적화 : 높은 처리를 위해 Go 언어 기반으로 개발하여 성능 최적화
  • 다중 메시지 프로토콜 처리 : 데이터 전송 방식 프로토콜에 제한없도록 구현. Bulk 성 데이터 처리를 위해 고루틴의 tick() 을 활용하여 1초 단위로 처리
  • 유연한 변경 대응 : Topic 별로 RTVF 를 구성하여 Topic 변경에 대한 유연한 대응 처리
👍 RTVF 개발을 통해서 기존보다 7배 정보의 높은 성능과 적은 리소스로 운영 가능하게 되었다.

AWS Summit 2023 공식 페이지