IT 환경이 진화할수록 데이터 가치는 더욱 커집니다.
세상은 IT 환경 변화에 현혹되지만 디엑스메이븐은 여전히 데이터에만 집중합니다.
더 많은 데이터를, 더 높은 품질로, 더 빈번하게 활용하고자 하는 조직의 욕구는 IT 기술 발전을 촉진합니다. ‘IT는 데이터가 핵심가치’라는 명제를 입증이라도 하려는 듯 새로운 DBMS, 플랫폼, AI 발전 소식이 연일 쏟아지고 있습니다.
4차 산업혁명의 본 모습을 경험하기도 전에 5차 산업혁명을 준비해야 하는 기술익힘에 대한 숨 돌릴 틈조차 허락하지 않는 이 시대에 디엑스메이븐은 여전히 데이터에만 집중합니다. 데이터가 핵심이기 때문입니다.
디엑스메이븐은 오랜 기간 데이터에만 매진해 온 전문인력으로 구성되어 있으며 다음의 데이터 기술분야에 집중하고 있습니다.
데이터 모델링
데이터 모델링은 데이터의 의미와 관계, 속성을 명세화 하는 것인데 미리 정해둔 표기법과 형식에 의거합니다. 상품 명세서에 상품의 특성이 정확하게 기술되어 있어야 하는 것처럼 데이터에 관한 명세서인 데이터 모델은 데이터의 특성이 누락 없이 정확하게 기술되어 있어야 합니다.
데이터 명세서인 데이터 모델은 흔히 ERD(Entity Relationship Diagram)로 도식화되는데 이를 위한 IE, Barker와 같은 표기법이 적용되고 데이터 모델링 도구를 이용합니다.
데이터 모델을 데이터베이스에 테이블을 생성하기 위한 산출물 정도로만 여기는 경향이 보편화된 것은 매우 안타까운 일입니다. 데이터 모델은 정해진 표기법으로 데이터를 설명할 수 있는 언어적 특성이 있기 때문에 명세서가 될 수 있는 것입니다. 데이터베이스 성능 보장, 유연성 확보, 정규화 등이 만족되어야 좋은 데이터 모델이라고 합니다만 잘 표현된, 즉 데이터 특성이 설명될 수 있도록 정해진 표기법을 최대한 활용하여 구체적으로 설계하는 것이 더욱 중요합니다.
잘 표현된 데이터 모델이 제공하는 경험해보지 못했던 이점을 디엑스메이븐과 함께 해보십시오.
데이터 표준화
데이터 표준화는 쉽게 말해서 관계형 데이터베이스의 테이블, 컬럼과 같은 요소들의 명칭, 데이터타입, 길이, 값의 형식이나 종류 등을 일치시키는 작업이라고 할 수 있습니다. 우선 “표준”을 제정하고 데이터베이스 요소들을 표준에 “일치”시키는 작업이 데이터 표준화입니다.
데이터 표준화의 목적은 상호운용성(Interoperability) 확보 등이 있지만, 무엇보다 데이터 명세서의 이해도와 정확도를 높여서 각종 정보 서비스 품질 및 이용 활성화에 기여할 수 있다는 큰 이점이 있습니다.
데이터 품질관리
데이터베이스에는 조직의 모든 역사가 기록되어 있습니다. 논어에 온고지신[溫故知新]이라 했습니다. 옛것을 익혀 새것을 알다라는 뜻이지요. 현대사회에서는 옛것이 데이터베이스의 데이터로 남아 있고 옛것을 익히고 새것을 알기 위해 데이터 웨어하우스, 데이터 분석 플랫폼 등을 활용하고 있습니다.
데이터 품질관리는 바로 이 옛것, 즉 데이터베이스 데이터의 품질을 높이는 활동이나 관련 기술을 의미합니다.
데이터의 품질은 어떻게 평가하는 것일까요? 이 일을 해보신 분들은 아시겠지만 도메인규칙, 데이터규칙, 업무규칙 등 데이터 품질점검 규칙을 우선 도출하고 데이터베이스의 데이터가 이 규칙에 부합되는지 확인함으로써 품질 수준을 평가합니다.
데이터 모델링, 데이터 표준화에서 언급한 데이터 명세서로 다시 돌아가보겠습니다. 데이터 명세서는 데이터를 정의하거나 설명하는 문서 혹은 산출물입니다. 데이터는 명세서대로 발생되어야 합니다. 다시 말해, 데이터 명세서 그 자체로서 데이터 품질점검 규칙입니다. 데이터 명세서를 잘 관리하고 있는 조직은 데이터 품질도 건강할 것입니다.
옛것이 바르면 새것도 바릅니다.
데이터 관리체계 수립
데이터는 IT 환경에서 대상(What)에 해당되는 지위에 있습니다. 그런데, 이 대상이 사람들의 눈에는 잘 보이지 않습니다. 사람들은 화면이나 기능의 편리함 등 눈과 손의 감각에만 집중하는 경향이 있습니다. 화면에 조회되는 몇 줄 안되는 데이터만이 순간적인 관심의 전부일 뿐입니다. 이로 인해 데이터는 관리 대상에서 소외되고 응용(애플리케이션)의 일부로 간주되어 조직이 성장하고 데이터 량이 증가할수록 데이터 속앓이의 원인이 되고 비로소 데이터 전문성의 필요성을 인식하게 됩니다.
데이터 관리체계는 조직 내에 데이터 관리 업무를 구체화하여 명시선언하는 것입니다. 데이터 전문성 조직이 탄생하고 응용 업무에 묻혀 있던 업무가 별도 독립된 것으로 구체화되어 다른 업무들과 상호작용하게 됨을 조직 내에 선언하는 것입니다.
DA(Data Architect)는 데이터 관리체계의 핵심입니다. 디엑스메이븐은 많은 조직의 데이터 전문성을 지향하는 DA들이 조직 내에 든든히 자리매김하고 역할가치가 존중받기를 기대하고 협력하고자 합니다.
데이터 웨어하우스(정보계) 구축
조직의 업무 수행 기록은 데이터베이스의 데이터로 남습니다. 이 데이터는 그 자체로도 가치가 있지만 이를 정보로 가공하여 과거와 현재의 상태를 확인하고 미래를 조망하거나 예측하거나 무엇인가를 생성하는데 쓰일 수 있다면 더욱 가치 있을 것입니다.
데이터 웨어하우스(Data Warehouse) 시스템은 흔히 정보계 시스템이라고 불립니다. 조직이 필요한 정보를 제공해주는 시스템이라는 의미입니다. 조직 내외부의 데이터를 한 곳에 모으고 이를 정보로 가공(가공의 결과도 결국 데이터)하고 그 결과를 BI 등을 통해 이용할 수 있도록 합니다.
데이터 웨어하우스는 조직의 정형 데이터 즉 데이터베이스의 테이블과 같이 규격화 및 통제되어 있는 데이터들을 대상으로 합니다. 조직의 주변에는 정형 데이터뿐만 아니라 로그, 스트리밍, 음성, 영상 등 많은 비정형 성격의 데이터가 존재하여 이를 활용하기 위해 빅데이터 플랫폼 등 데이터 웨어하우스 대제재가 계속 탄생하고 있습니다. 다만, 조직의 핵심 데이터는 여전히 정형 데이터이기 때문에 이를 정보로 가공하여 관리하는 정보계 시스템은 대체재로 대체되지 않고 그 필요성이 여전히 유지되고 있습니다.
디엑스메이븐은 정보계의 활용성을 높이기 위한 여러 조직에 알리고 싶은 비밀(?) 레시피를 확보하고 있습니다.
데이터 플랫폼 구축
조직의 대내외 정형 및 비정형 데이터를 수집하고 가공하여 활용할 수 있는 체계를 데이터 플랫폼이라고 할 수 있습니다. 빅데이터 플랫폼, 기계학습과 같은 AI 환경을 위한 데이터 분석 플랫폼 등이 이에 속합니다.
데이터 웨어하우스(정보계)도 데이터 플랫폼의 한가지 유형이라고 할 수 있습니다. 데이터 레이크도 마찬가지입니다. 데이터 웨어하우스와 데이터 레이크가 통합된 databricks와 같은 레이크하우스라는 개념도 각광을 받고 있고 디엑스메이븐은 레이크하우스의 효용성에 대해 적극 지지하고 있습니다.
조직의 데이터는 업무를 처리하는 시스템(계정계, 기간계, 업무계 등)에서 처음 만들어져서 데이터 웨어하우스(정보계)를 거쳐 빅데이터 플랫폼을 거쳐 데이터 분석 플랫폼에 전처리 과정을 거치는 매우 긴 파이프라인을 통한 흐름 끝에 비로소 정보로 소비되기도 합니다. 여기서 절대 간과해서는 안 될 것이 데이터 플랫폼의 핵심은 여전히 데이터라는 것입니다. 긴 파이프라인 상을 흐르는 데이터는 명세로 관리되어야 하고 품질이 유지되어야 하며 누락 없이 적시에 흐름을 관통하여 정보로 제공될 수 있어야 합니다.
데이터에 대한 깊은 통찰력과 풍부한 경험을 가진 디엑스메이븐과 함께 조직 데이터 여정에 더 많은 가치를 부여하십시오.
데이터 전환
전환(轉換)의 본질에는 대상이 있고 방향이 있고 변환이 있습니다. 데이터 전환은 저쪽 데이터베이스의 데이터를 이쪽 데이터베이스로 어떤 목적을 달성하기 위한 변환을 거쳐 옮기는 것입니다.
정보 시스템을 구축할 때 기존 응용 프로그램과 인프라는 폐기 후 재구축 및 신규 도입할 수 있지만 데이터는 폐기하지 않고 유지합니다. 다만 데이터가 저장되는 인프라 환경 변화 혹은 데이터 구조 변화 등의 요인으로 기존 데이터를 새로운 인프라 및 데이터 구조에 맞게 변환하여 저장하게 됩니다.
데이터 전환에서 변환은 기존 데이터 명세서에 따라 기록되어 있던 데이터를 새로운 데이터 명세서에 맞게 변환하는 것을 의미하므로 기존 데이터 명세서와 새로운 데이터 명세서를 잘 이해하고 이것들 간의 차이를 변환 로직으로 구체화하는 것이 중요합니다.
디엑스메이븐은 데이터 모델링, 데이터 표준화 등을 통해 데이터 명세서를 설계하고 이를 기반으로 데이터 전환을 수행하므로 전환 설계와 개발이 분리되는 상황에서 발생될 수 있는 R&R 문제 및 소통 오류 가능성을 차단, 정확한 데이터 전환 작업 및 전환 후 우수한 데이터 품질 수준을 획득할 수 있습니다.
주식회사 디엑스메이븐
서울특별시 마포구 독막로9길 18, 2층 C7호 | 04048
자유로운 기술 문의 및 사업 문의는 contact@dxmaven.com
Copyrightⓒ DXMAVEN Co., Ltd. All rights reserved.