1. 데이터 사이언티스트 (데이터분석가) 회사 일 이야기 시작하며

안녕하세요. 정말 오랜만에 인사드립니다. 예전에 잠깐 공개해두었던 이메일로 일하는 거에대해 공유해달라는 문의를 종종 받곤 했는데요. 답변드리다가 공개로 글 쓰면 좋겠다 싶어서 이렇게 글을 쓰게 되었습니다. 사실 어디서부터 시작해야할지 몰라서, 일단 이렇게 시작은 해두고, 틈틈히 제 회사일에 대한 불평 및 불만사항을 올릴지도 모르겠네요. 궁금하신 사항은 댓글 주세요 :)

이미지출처 : http://houseofbots.com/news-detail/2685-4-understanding-big-data-data-mining-and-machine-learning-in-5-minutes 지

데이터과학자 / 데이터 분석가 / Data Scientist 무슨 일을 하는가??

일단 전 토론토에서 데이터 사이언티스트로 일하고 있습니다.  일 시작한지 8개월이 되었습니다. 성과가 좋아서 3개월 수습기간이 끝나서 Junior 에서 Intermediate 레벨로 승진하였고요. 컨설팅회사라 많은 데이터를 보고 있습니다. 하지만 한국에서 회사 다녔던것보다 훨씬 일이 수월하게 느껴집니다. 취업얘기는 다음에 차근차근 자세히 적어보도록 하고요. 지금은 간략하게 제가 어떤 일을 하는지정도만 적어보겠습니다. 

Big Data + Cloud Platform + Machine Learning 관련 일을 합니다. 

Big Data (빅데이터) 라면 사이즈가 작은 사이즈는 GB에서 큰 사이즈는 PB정도까지 합니다. 영화 1G짜리도 있는데 정말 텍스트로 된 파일이 PB로 된거면 정말 어마어마어마어마 한 사이즈죠. 그렇다고 다 의미있는건 아니고, 의미있는 데이터만 추출해서 분석하죠. 다 불러올수도 없고요. 

그래서 Cloud Platform를 사용해야합니다. 데이터를 어딘가에 저장해야하는데 그게 데이터센터가 아니라 구글이나 아마존이 제공하는 Cloud Platform을 통해 데이터가 저장될 수 있도록 길을 깔고 (보통 pipeline을 깐다고 해요) 데이터를 저장하고, 저장했으면 분석하고, 분석했으면 대시보드로 예쁘게 정리하고 이런 일을 하죠.

Machine Learning은 예측하는데 사용하는데요. 이렇게 데이터가 있으면 뭔가 써먹어야겠죠. 모델을 만들어서 예측하는데 써서 의사결정할때 참고할 수 있도록 도와주죠. 워낙 굵직굵직한 내용이니 여기까지만 적어보겠습니다. 

그럼 어떤 데이터를 보느냐!! 즉 제 클라이언트는... 

클라이언트로 캐나다 주요 은행 중 하나이고요. 회사 방침상 제 클라이언트이름을 말하면 안됩니다. 이건 뭐 아버지를 아버지라 부르지 못하고 형을 형이라부르지 못하는 그런 상황이라나 뭐라나... 이유는 클라이언트 확보와 데이터 보호때문입니다. 친구까지는 괜찮은데 리쿠르터나, 잘 알지도 못하는 사람에게 제 클라이언트를 말하면 안돼요. 클라이언트 회사 사진도 찍어선 안돼고 인스타나 블로그에서도 말하면 안됩니다. 왜냐하면 제가 A라는 클라이언트랑 일하고 있는 상황에서 B라는 클라이언트도 저희랑 계약할때 제 조건이 같은 인더스트리인 A라는 클라이언트랑 일하는걸 알면 보통 계약을 안하죠. 제가 A라는 은행 데이터를 보고있는데 B라는 은행데이터를 본다면 서로 정보가 유출될 우려가 있어서요. 

한국은 어떨지 모르겠으나, 사실 다른 회사는 어떨지 모르겠으나 데이터를 보기까지 Security와 Privacy에 관한 트레이닝을 클라이언트 회사로부터 많이 받고요. 회사입장에서도 정말 주의하는 편입니다. 

데이터, 어디까지 추적하니?!!

제가 봤던 데이터 중 하나는... 클라이언트가 여러 웹사이트를 통해 온라인 광고를 올릴때 이 광고를 어떤 사람들이 보고 클릭하고 액션을 취하는지를 봤었어요. 그래서 비즈니스별로, 그 안에 제품마다, 그 안에 제품별 캠페인마다, 그 안에 캠페인의 광고 모습마다 어떤 광고가 좋은지, 사람들이 어떤 광고를 클릭하고, 클릭해서 웹사이트에 들어가면 어떤 행동을 취하는지를 봤습니다. 그래서 인터넷 유저들의 행동을 패턴해서 머신러닝으로 예측하는 분석도 했었고요. 

데이터를 모아주는 플랫폼 회사에서 보통 200개, 어떤 곳은 500개까지 변수를 제공해주기떄문에 별별 정보가 다 추적됩니다. 앞으로는 온라인 광고가 컴퓨터 화면상에서 몇초간 보여줬는지까지 추적된다고 해요. (이미 하고 있을까나요...) 클릭해서 광고가 뜨더라도 어떤건 스크롤바 아래쪽에 있는것도 있으니까요. 데이터 보다보면 정말 이런것까지 추적되는구나..라고 소름돋을때도 많습니다. 

암튼 굵직하게 적어보았는데, 댓글과 좋아요는 언제나 환영입니다. 앞으로 차근차근 적어보도록 할게요.