며칠 전, 상사가 저희 팀원한테 물어보더라고요.

상사: 캐나다에서 Google API를 가장 많이 쓴 회사가 어딘지 아니? 

팀원: 어딘데?!!!!!

상사: 우리회사래, (절 가르키며) 그게 너야! 두비두밥~

 

네... 지난달에 제가 10밀리언의 이미지를 다운받았거든요. 왜 했는지, 구체적으로 어떤 이미지를 다운받았는지는 적을 수 없어요. 생각해봅시다. 10밀리언. 그렇다면 숫자로 제대로 적어보자면~ 10,000,000입니다. 이게 얼마나 큰 숫자인지 감이 안올꺼예요. 왜냐하면 저 역시 이걸 다운받는데 얼마나 오래 걸리는지 예상을 잘 못했거든요. 

 

그럼 이 이미지를 다운받는데 며칠이 걸릴지 수학계산을 해봅시다.

수퍼 컴퓨터로 휘리리리리리릭 다운받으면 되지 않아?!! 라고 할 수 있지만 안됩니다. 사용에 제한이 있어요. 요 아래 글 올린 사람도, 아주 오래전에 올린 글이긴 하지만, API 사용하는데 제한이 있냐고 물어보네요. 

https://stackoverflow.com/questions/9549724/what-is-the-per-user-rate-limit-for-google-street-view-image-api 

대략... 최고로 빨리 다운받으면 1초에 20개의 이미지를 받을 수 있는데요. 안전하게 가기 위해서 1초에 10개정도 이미지를 다운받을 수 있습니다.  1초 = 10개라... 하루는 몇초일까요? 86400초 입니다. 1초마다 10개씩이니까.. 1밀리언을 86400으로 나눠보면~ 11.57이 나와요. 

 

관련내용: https://developers.google.com/maps/premium/previous-licenses/articles/usage-limits 

 

즉, 1초에 10개씩 이미지를 쉬지않고 받아도 총 11일 반나절이 걸리는 셈이예요.

 

문제는 한개의 컴퓨터가 이미지를 다운받는데 1초에 몇개 다운받을 수 있을까요?!!! 오래걸립니다. 한 컴퓨터가 1초에 10개를 다운받는건 힘들어요. (다른 이슈때문에..) 그래서 컴퓨터를 여러개 돌려야합니다. 그래야 1초에 10개를 받을 수 있어요. 낮과 밤을 지새우면서, 모든 컴퓨터들이 잘 돌아가고 있나...확인해야합니다. 

 

 

그럼 총 들어갔던 비용은 얼마였을까요?!!

얼마냐고 구글에 검색해보니 바로 나오네요. 자자 계산해봅시다. 1000개 이미지에 11.20 미국달러니까요~ 10밀리언을 1000개로 나눠서 그 값을 11.20로 곱하면 되겠지요. 물론 500k 이상 많이 다운받게 되면 뭐 할인이 있나보죠? 그냥 일반가격으로 알아볼게요. 

 

1,000개 = $11.20

10,000,000 = $11.20 * 10,000 = $112,000 

미국달러이니까 한화로 바꿔봅시다. 

1억 3천!!!!!! 회사 돈 쓰기 참 쉽습니다. 1억 3천을 열흘동안 썼어요.

하지만 이건 뭐 시작에 불과했으니.. 구글 API쓴게 뭐 저 뿐만이겠어요? 여러 팀에서 쓰고있고요. 다른분들은 얼마나 썼는지는 모르겠어요. 그랬다보니 캐나다에서 가장 많이 API를 쓴 회사로 뽑혔지 않나 싶습니다. 그래도 제일 큰 공을 세운건 저라는거... -__- 

 

회사에 이렇게 많은 데이터가 있다보니 사실 데이터 사이언티스트들이 일하기엔 최적의 환경입니다. 데이터 구하는게 제일 힘든 작업이거든요. 

 

이 일을 하면서 parallel로 작업을 어떻게 할지, 그러니까 컴퓨터 여러대를 어떻게 돌릴지, AWS는 어떻게 이용하면 좋을지..많이 고민했었습니다. 이런 내용도 공유하고 싶은데 사실 회사일이 관련되다보면 블로그에 글을 올린다는게 굉장히 조심스러워져요. 당연히 데이터를 공유할 수 없고요. 회사 소유물이니까요. 어떻게 한건지도 올리면 절대 안됩니다. 그저 남편에게 이렇게 이렇게 했다라고 얘기할뿐이죠. 하핫 -_-;;

 

이번 일 하면서 느낀 점은, 회사 돈 쓰는건 참 쉽구나..였습니다.  

 

 

 

구글 street view가 뭔지 궁금하다면 아래 링크 참고하세요~ 

Street View

https://developers.google.com/maps/documentation/streetview/intro

반응형

+ Recent posts