지난주에는 세계 최대 정보 기술 연구 및 자문 회사인 가트너가 발표한 ‘2022 가트너 테크 트렌드 12’에 대해 소개했습니다. Δ 데이터 패브릭(Data Fabric) Δ 사이버 보안 메시(Cyber Security Mesh) Δ 프라이버시 강화 컴퓨팅(Privacy-Enhancing Computation) Δ 클라우드 네이티브 플랫폼(Cloud-Native Platforms) Δ 복합 애플리케이션 (Composable Applications) Δ 의사 결정 인텔리전스(Decision Intelligence) Δ 하이퍼 자동화(Hyper Automation) Δ AI 엔지니어링 Δ 분산 기업 Δ 전체 경험(Total Experience) Δ 자율 시스템(Autonomic Systems) Δ 생산형 AI(Generative AI) 총 12개의 트렌드였는데요. 오늘부터 3주에 걸쳐 테크 트렌드 12가지에 대해 상세하게 정리해드릴게요. 2022년 핵심 기술이 될 수 있는 테크 트렌드를 미리 확인하시고, 내년을 준비해 보세요. 

트렌드 1: 데이터 패브릭(Data Fabric)

데이터는 기업의 디지털 변화에 필수적인 요소입니다. 하지만 데이터를 활용하는 것은 그리 쉽지 않습니다. 다양한 데이터 소스, 유형, 구조, 환경, 플랫폼 등에 의해 문제가 발생하기 때문입니다. 특히 기업이 하이브리드 및 멀티 클라우드 아키텍처를 채택할 경우 다차원적인 데이터 문제에 직면하게 되어 더욱 복잡해집니다.

많은 기업의 운영 데이터는 대부분 데이터 사일로(Silo)현상으로 유지되고 있습니다. 데이터 사일로란, 데이터가 조직 전체적으로 통합되지 않고 사업 부문이나 개별 부서 단위로 고립되어 활용되는 현상입니다. 즉, 방대한 데이터가 조직 내 여기저기 흩어져 있어, 조직 전체 관점에서의 의사결정에 유용하게 사용되지 못하는 것입니다. 이 때문에 엄청난 양의 숨겨진 데이터, 즉 다크 데이터(dark data)가 발생합니다. IBM의 통계에 따르면 기업 데이터의 약 68%가 사용되지 않고 있다고 합니다. 기업들은 이러한 다크 데이터가 언젠가 활용될 것이라는 기대감에 데이터를 저장하지만 비용이 발생합니다. 데이터 양이 많아질수록 비용은 증가하고 데이터 저장에 따른 ROI는 매우 낮아집니다.

이로 인해 시간이 갈수록 데이터는 분산되고 다양해지며, 아주 복잡해집니다. 이러한 데이터 환경에서 민첩성은 그 우선순위가 날로 높아지고 있습니다. 사람이 오류를 범할 가능성뿐만 아니라 전체 비용을 줄이기 위해, 데이터&분석(D&A) 리더는 기존의 데이터 관리 방식에서 벗어날 필요가 있습니다. AI 지원 데이터 통합과 같은 최신 솔루션으로의 전환을 고민할 시기가 왔다는 뜻입니다.

가트너의 데이터 분석가 마크 베이어(Mark Beyer)에 의하면 데이터 패브릭이라는 개념은 고비용 및 저가치 데이터 통합 방법론이며, 기존 데이터 통합을 실행 및 유지관리하게 해주고, 실시간 및 이벤트 중심 데이터 공유 분석을 가능하게 해주는 솔루션입니다. 분산되어 있던 기업의 데이터를 한곳으로 모아 장소, 플랫폼, 유형에 상관없이 활용 가능하게 합니다.

데이터 패브릭의 활용 예시로 자율주행 자동차 관련 두 가지 시나리오를 봅니다. 첫 번째 상황은 운전자가 적극적이고 조심스러움으로 차선 변경에 대한 집중도가 높은 편이며 자동차 자율주행요소는 개입이 최소화되거나 아예 없습니다. 두 번째는 운전자가 집중력을 잃고 졸음 운전을 하여 차선을 변경하게 됩니다. 자동차는 바로 반자율 모드로 전환해 필요한 코스를 수정하고 위험을 운전자에게 알립니다.

두 시나리오를 보면 데이터 패브릭의 작동 방식을 말합니다. 수동적인 관찰자로서 데이터 파이프라인을 모니터링하고 향후 훨씬 더 생산적인 대안을 제시하기 시작합니다 . 하나의 데이터 패브릭을 통해 운전자의 행동을 관찰합니다. 운전자의 데이터가 쌓이는 동시 자율주행 요소는 이러한 데이터 패브릭에서 운전자의 습관에 대해 배우며 문제 발생 시 위험에서 자동차와 운전자가 벗어날 수 있도록 노선을 수정합니다. 하나의 데이터를 보고 machine learning과 자율주행을 빠르게 동시에 실행하는 예시입니다.

데이터 패브릭을 활용한 머신러닝/데이터 분석 소프트웨어는 1) 모든 종류의 메타 데이터를 분석할 수 있어야 하며, 2) 활용되고 있지 않는 데이터에서 인사이트를 도출해 낼 수 있어야 합니다. 3) 이러한 인사이트를 통해 knowledge graph를 만들 수 있어야 합니다. 4) 마지막으로 ETL, 스트리밍, 메시징, 버추얼 데이터를 포함한 다양한 데이터를 통합하고 분석할 수 있어야 합니다.

마지막으로 Datamation, “What is a Data Fabric”의 저자 Andy Patrizio의 말을 인용하자면“2026년까지 데이터 패브릭의 가치는 46억 달러에 달할 것이며, 아직 들어보지 않았다면 조만간 Data Fabric이라는 말을 자주 듣게될 것이다. 데이터와 긴밀한 관계를 가진 기업으로서 데이터 패브릭에 대한 투자를 하지 않는 다면 많이 뒤쳐지게 될 것이다.”

<참고>
Datamation, “What is a Data Fabric”
Gartner. Gartner Top Strategic Technology Trends for 2022
Gartner, D&A leaders should understand the key pillars of data fabric architecture to realize a machine-enabled data integration.
IBM, “What is Data Fabric”