데이타 이전(마이그레이션) 작업

저는 사실 프로그램 코딩보다 데이타에 관심이 많았고 DBA (데이타베이스관리자)가 되고 싶었습니다.

마이그레이션 작업도 많이 했고, 또 그런 분야를 좋아합니다.

데이터 마이그레이션은 데이터를 한 위치에서 다른 위치로, 한 형식에서 다른 형식으로 또는 한 애플리케이션에서 다른 애플리케이션으로 이동하는 프로세스입니다. 

 

최근에도 가끔 요청에 따라 작업을 하는데,

오래된 프로그램에 저장된 데이타를 새로 만든 프로그램의 DB에 새로운 형식으로 옮기는 작업입니다.

DB 타입이 다르고 스키마(구조)가 다른데도 가능하냐고 묻는사람도 많습니다.

물론 가능합니다.

오래된 역학프로그램의 인명저장 데이타를 새 프로그램의 디비에 넣어달라는 요청도 가끔 있습니다.

 

예를들면, 연도, 월, 일, 양력, 핸드폰, 집전화, 주소,메모 이런 식으로 구성된 DB를

양력 년월일시, 음력 년월일시, 핸드폰, 메모 이런 형식의 DB에 옮기는 작업이 많습니다.

 

년도 따로, 월 따로, 일 따로 있는 칼럼을 

년월일시(1980-09-07)형태로 합치고 

음력 또는 양력 정보밖에 없는데

양력 1980-09-07, 음력 1980-07-28일  이렇게 양력,음력 다 채워넣고 불필요한 항목은 제외하고 

필요한 항목만 가져오는등 이러한 작업들이 모두 가능합니다.

상황에 따라 엑셀 함수를 활용해야 하는 경우도 있지요.

 

데이타관련과 너무 오래 떠나 있어서 마이그레이션에 대한 최신 트렌드는 잘 모르겠지만 

예전에 포트란(Fortran)으로 만들어진 프로그램의 릴 테이프에 담긴 데이타를 MS-SQL 서버로 이동하는 작업도 했었는데, MS-SQL의 DTS와 비슷한 기능의 프로그램을 직접코딩해서 마이그레이션 작업을 했던 기억도 있습니다.

 

이런 작업들 중에는  DTS로 해결되지 않는 경우도 많이 있는데 이런 경우에는 복잡한 과정을 거쳐야 합니다. 물론 시스템 DB를 다뤄본 사람에게는 쉬운 일이지만 그렇다고 누구나 할 수 있는 일은 아닙니다.

즉, 돈을 많이 받아야 하는 작업인데 요청하는 입장에서는 작업자의 고충을 이해하기 힘들겁니다.

 

같은 관계형 데이타베이스라 해도 MS-SQL, 오라클, 사이베이스 정도라야 시스템 데이타베이스라 할 만하고

My SQL, SQLite 등은 성능이 뛰어나다 하더라도 시스템DB라고 말하기 어렵습니다. 

 

*관계형 데이터베이스는 서로 관련된 데이터 지점에 대한 접근을 저장 및 제공하는 데이터베이스 유형입니다. 관계형 데이터베이스는 데이터를 테이블에 직관적으로 간단하게 나타내는 관계형 모델을 기반으로 합니다. 관계형 데이터베이스에서 테이블의 각 행은 키라는 고유 ID가 포함된 레코드입니다. 테이블의 열에는 데이터의 속성이 들어 있으며, 각 레코드에는 일반적으로 각 속성에 대한 값이 있으므로 데이터 포인트 간의 관계를 손쉽게 설정할 수 있습니다.

 

또한, 개인적으로 오래전 부터 역학부분에 데이타마이닝 기법을 적용하고 싶었는데 임상자료를 구하기 힘들어 미루어온 것이 세월이 얼마나 흘렀는지 모릅니다.

누군가는 이미 지금쯤 그 작업을 하고 있을 겁니다.

즉, 수백만건의 데이타가 쌓이면, 검색을 통해 이러한 경우가 있으면 결과가 이러하더라 는 여태 몰랐던 새로운 내용을 발견할 수 있기 때문입니다.

 

데이타 마이닝 기법의 다른 예로,

만약에 수백만건의 날씨 데이타가 있다고 한다면 달무리가 지니까 다음날 비가 오더라 하는식으로

여태 몰랐던 내용을 밝혀낼 수 있는 기법입니다.

데이타마이닝 기법의 예를 들기 위해 적었지만 아직 일기(날씨)데이타는 빅데이타가 될 수 없습니다.

날씨를 기록한 것이 약 100년 정도밖에 안되고 일년 이라 해도 약 365일.

36500건은 빅데이타라고 부를 수 없지요. 

 

아무튼 결론은, 오래된 프로그램의 데이타 마이그레이션(데이타 이전작업) 해 드립니다. ㅎ