생물학, 통계학, 데이터 과학

데이터 분석 - 통계청 2023년 인구동향조사

이갹갹 — Sun, 24 Mar 2024 13:45:28 +0900

ㄷ안녕하세요. 이지영입니다. 인스타에 포스팅할 겸 블로그에도 글을 올려봅니다.

출처: 통계청 2023년 출생, 사망 통계 (링크)

데이터 분석해서 보고하는 상황을 생각해 봅시다. 그게 보고서이든 발표든, 혹은 대회든 출처에서 제공하는 차트나 그래프, 표 그대로 사용해도 크게 문제되진 않습니다. 예를 들어 통계청에서 제공하는 그래프 그대로 보여줘도 좋지만, 사실 그래프 그대로 사용하기엔 자신이 말하고자 하는 주제와 어긋나는게 있을 수도 있고요. 숫자가 커지다보면 이해하는데 시간이 걸리기도 하고요.

저 역시 데이터 분석을 잘 하려면 어떻게 해야할까? 를 고민하는데,

데이터 분석을 잘 하는 것과

분석된 데이터를 잘 전달하는 것은 다르게 접근해야한다는걸 깨달았습니다.

특히 분석된 데이터를 잘 전달하는건 정말 중요한 일인데요. 이건 차차 풀어가도록 하고..

잘 전달하는 방식이, 출처 그대로 보여주는게 과연 잘 전달하는건지는 생각해봐야 합니다.

데이터 분석 공부할때, 내가 힘들게 데이터를 찾고 분석했지만 이걸 정말 쉽게 전달할 수 있는 방법이 무엇일까.. 항상 고민해보셨으면 좋겠어요. 저 역시 고민하고 있습니다 :)

그 중 한가지 방법 중 하나를 소개해보자면, 100으로 표현해보는거예요.

특히 큰 숫자가 나올수록, 혹은 소숫점이 나올수록 10으로 혹은 100으로 표현해보는 연습을 추천드립니다.

이게 훨씬 더 와닿거든요.

와닿는다는 의미는, 이 데이터 분석이 얼마나 의미를 갖는지를 뜻하기도 합니다.

프랑스 AI 스타트업 Mistral AI

이갹갹 — Sat, 9 Mar 2024 14:33:46 +0900

안녕하세요. 이지영입니다. Cluade2.1 모델을 사용하면서 Mistral Large 모델이 나왔다고 했을 때, 너무너무 기뻤어요. 사실 사용자 입장에서 저렴한 금액, 그리고 뛰어는 성능 - 무조건 두팔벌려 환영하는 상황 아니겠습니까?!! Cluade2.1보다 뛰어나다고 하니, 꼭 써봐야겠다!! 라고 했는데 Cluade 3이 나와서 비용 대비 성능을 비교하는 상황이 오게 되었습니다. 비용은 나중에 한번에 쭉 정리해볼게요!

혹시 미스트랄 라지의 비용이 궁금하다면 다음 링크 참고하세요~

https://docs.mistral.ai/platform/pricing/

멘쉬의 생각은 빅테크 회사에서 불투명한 기술을 만들고 싶지 않아서 오픈소스 AI개발을 결심했다고 합니다. 그리고 미국이 주도하고 있는 AI시장에 맞서 프랑스 스타트업이라는 것도 주목할만 했고요.

2023년 5월 창립 후, 2024년 2월 미스트랄 라지 모델이 출시해서 그 결과 GPT의 5분의 1, 성능은 거의 비슷하다고 합니다. 출시되자마자 2024년 2월에 AWS Bedrock에 미스트랄 모델이 추가 되었고, 3월엔 Microsoft 파트너십을 맺어 Azure에도 넣는다고 합니다. (이미 가능한지 모르겠어요. 전 AWS를 사용해서요) 또한 이번에 Snowflake와 파트너십을 맺었는데요. Snowflake는 Mistral이 구축한 모든 모델을 데이터 클라우드로 가져와서 LLM 앱을 구축하는 고객에게 직접 사용할 수 있도록 할 계획이라고 합니다.

AI 스타트업 Anthropic, Cluade 3 출시

이갹갹 — Fri, 8 Mar 2024 14:10:55 +0900

프로젝트로 #AI스타트업 #Anthropic #LLM 모델인 Cluade2.1와 GPT4를 테스트중에 있는데요. Cluade3이 출시되어서 너무 기대하고 있습니다. 그런데 Anthropic의 프롬프트 엔지니어가 Opus모델을 needle-in-the-haystack 테스트해봤다고 하는데요. 이 테스트가 뭐냐면, 대용량의 문서에 (건초더미) 아주 특정 주제(바늘)을 넣어서 이 특정 주제를 잘 찾는지, 다른 말 하지는 않는지 테스트해보는거예요. 때론 거짓 정보를 주거나 없는 말을 만들어내기도 하고, (Hallucination) 또는 모델이 이미 훈련되어 알고있는 것을 알려주기도 하거든요.

Claude 3라는 이름은 세 개의 새로운 LLM을 포괄하며 가장 유능한 것은 Claude 3 Opus이라고 합니다.

Claude Pro 사용자에게만 제공되는 Anthropic의 새로운 프리미엄 AI 모델이고요. 대학원 수준의 추론 능력은 GPT-4의 35.7% 점수와 비교하여 테스트했을 때 50.4%를 기록했다고 합니다.

그 아래 모델로 Claude Pro 구독 비용을 지불하고 싶지 않은 경우 사용할 수 있는 Claude 3 Sonnet이 있습니다. 대학원 시험 점수가 40.4%(역시 GPT-4의 35.7% 등급과 비교)라고 하고요.

마지막으로 현재 미공개 세 번째 모델인 클로드 3 하이쿠(Claude 3 Haiku)가 있는데요. 즉각적인 응답이 제공될 수 있도록 설계되었다고 합니다.

프롬프트 엔지니어 트위터를 보면.. 건초더미속에 바늘찾기 성능을 테스트하던 중, Opus가
내가 주의를 기울이고 있는지 테스트하기 위해 넣었다고 생각합니다~~~ 라고 대답했다고 합니다.

신기하다~ 라고 생각할 수 있지만... 프롬프트 엔지니어의 트위터!! 뭔가 이상하지 않나요?
참고로 모델은 주어진 건초더미뿐 아니라, 프롬프트역시 읽게 되는데.. 이 프롬프트에 어떻게 적었는지에 따라 모델이 답변을 합니다.

만약 프롬프트에다가..
Think Step by step이라고 입력하면...
모델은 내가 차근 차근 생각해봤는데 말이지~ 라고 답변합니다.

주의해서 찾아봐!! 라고 입력하면...
내가 주의를 기울이면서 봤는데~~ 라고 대답할 수 있죠.

내가 테스트할거니까 주의를 기울이면서 잘 찾아봐야해!! 라고 입력하면..
트위터에 있는 것처럼 당연히 이렇게 대답할 수 있다고 생각합니다.

아무래도 모델이 출시 되었고, 직원이 프롬프트를 공개하지 않은 상태로 모델이 어떻게 대답했는지 알려준건 뭔가 반쪽만 공개한 느낌이 강한데요. 그래도 성능이 뛰어나다고 하니 저 역시 Cluade 3를 곧 사용해보려고 합니다.

데이터 분석 공모전/해커톤 체크리스트

이갹갹 — Tue, 5 Mar 2024 12:37:39 +0900

안녕하세요. 이지영입니다.

지난 달 데이터 분석 관련 해커톤 심사위원을 맡았습니다. 모든 지원자 정보는 블라인드 처리되어 제안서만을 기준으로 채점을 했는데요. 정말 열심히 준비했는데, 사소한 실수로 점수를 깎을 수 밖에 없었던 상황이 너무 속상해서 체크리스트를 만들게 되었습니다. 총 5가지 항목을 기준으로 각 항목별 세부사항에 대해 정리한 체크리스트인데요.

인스타 포스팅을 가져와봤어요. @statnmath

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.

1️⃣ 제안서 주제 중...
제 체크리스트에 있는 4가지 항목 중 가장 중요한 점, 바로 <대상에 대한 구체적인 정의>에 대해 강조, 또 강조하고 싶어요.
예를 들어, <1인 가구>라고 해도 연령대, 지역, 성별 등 구체화할 수 있고, 또 이 대상이 얼마나 있는지 수치화 하면 더 좋습니다. 대상을 수치화하면 분석과 결론에 이르기까지 아주 구체적일 수 있거든요.

2️⃣ 분석 & 모데링 중...
분석은 제가 쓴 #데이터사이언티스트실전노트 를 추천하고 싶습니다. 데이터 전처리하는 과정에서, 왜 이 과정이 필요했는지, 그래서 문제점은 없었는지, 이런것만 잘 서술해도 점수가 쭉쭉 올라갑니다.

3️⃣ 시각화 중...
이 그래프로 무엇을 얘기하고 싶은지 두번, 세번 생각해 보세요. 너무 뻔히 알고 있는 것을 굳이 그래프로 보여주고 있는건 아닌지, 인사이트가 빠진 것은 아닌지 주의해야 합니다. 결국 분석이나 그래프는 문제를 해결하는 과정의 중간 단계인데요. 그 중간단계가 튼튼해야 결론 역시 논리적으로 연결될 수 있겠죠.

4️⃣ 논리성 중...
앞서 <대상에 대한 정의>를 얘기했는데요. 대상을 A라고 정의했다면, 분석이나 결론 과정에서 A'가 나오거나 B가 나오지 않도록 주의해야 합니다. 제안서에 대상을 모두 동그라미⭕️ 쳐보세요. 그리고 그 동그라미가 모두 동일한 그룹을 의미하는지 확인해야 합니다.

5️⃣ 완성도 중...
형용사가 들어있나요? <많은 효과...> 또는 <보다 적게...> 이런 단어를 숫자로 바꿔보세요. 바꿀 수 없다고요? 그건 <대상에 대한 정의>가 정확하지 않거나, 혹은 데이터를 못 찾았거나, 혹은 데이터 분석이 제대로 이뤄지지 않아서 그렇습니다.

@statnmath 팔로우 후 댓글 달아주시면 제가 링크 보내드리겠습니다.

멕시코 칸쿤 가족여행 준비물 + 꼭 가져가야할 물건

이갹갹 — Mon, 5 Feb 2024 13:33:30 +0900

저는 캐나다에서 가족여행으로 갔고요. 가져가야할 준비물 정리한걸 올려드려요. 참고하세요.

여권 및 문서:

여권 (여권 이미지 캡쳐)
여행자 보험 (여행자 보험 캡쳐)
항공편 예약 확인서
이동 수단 예약했을 때 따로 이미지로도 캡쳐해놓기 (갑자기 셀폰이 터지지 않을 것을 대비해서 이미지로 캡쳐해두었어요)
엑티비티 예약도 이미지로 캡쳐해놓기

금전 및 결제수단:

현금 (칸쿤 페소, 미 달러) (식사마다 USD 2~5 팁 + 가끔 음료 팁 + 리조트 방 정리 팁 = $15 ~ $20 하루 팁으로 계산했어요)
신용카드

건강 및 안전:

의약품 (개인 복용 중인 약 및 기본 의약품)
의료 보험 카드 및 비상 연락처
일회용 마스크 및 손소독제
벤드에이드, 후시딘 (특히 모래나 수영장 까끌한 바닥에 넘어졌을 때 대비 피부 다치는 경우가 많습니다)
모기약 (늦은 봄, 여름 혹은 가을에 가시면 모기약 필수, 12월에 갔을 땐 모기 없었습니다.)
조그만 자물쇠 (물론 리조트안에 금고가 있지만요. 중요한 용품 있으면 조그만 자물쇠로 가방 잠그세요)

편의 혹은 위생 용품:

여행용 어댑터
휴대폰 및 충전기
여행용 세면도구
썬크림 (햇볓이 굉장히 셉니다! 스포츠용으로 구비)
애프터썬 크림

수영 용품

수영복 개인당 2개 이상 (빨래 잘 안 마릅니다.)
비닐봉지 혹은 지퍼백 (젖은 옷 챙겨야할때 필요합니다.)
집게 많은 빨래 옷걸이 (수영복 말릴때 필요해요)
비치백
방수백
튜브 (수영장에서 사람 많을때 큰 튜브는 불편할 수 있어요. 이건 개인 선호도가 있으니 패스~)

의류 및 액세서리:

슬리퍼
모자, 선글라스
가벼운 재킷이나 가디건
운동화나 조금 점잖은 신발
속옷, 잠옷
얇은 긴팔, 얇은 긴바지
비치 드레스

가족여행 시 아이 용품:

모래놀이 용품 (적어도 작은 플라스틱 삽)
수영복 여러개 + 목욕가운 혹은 개인 비치타올 필수 (보통 비치타올은 리조트에서 제공하지만 꼭 반환해야하기 때문에 방 까지 들어갈때는 개인 비치타올로 둘둘 말아서 가는게 편해요)
튜브 (수영장 바닥이 까끌한 경우가 많아 잘 찢어져요. 보호필름도 가져오면 좋습니다.)

멕시코 칸쿤 여행: 크라운 파라다이스 클럽 리조트 (Crown Paradise Club) & 플레어 항공사 (Flair Airlines)

이갹갹 — Mon, 5 Feb 2024 06:08:02 +0900

크리스마스 기간 멕시코 칸쿤 가족 여행 : 토론토 출발 멕시코 칸쿤 호텔 존

칸쿤은 이번이 두번째 방문이었는데요. 첫번째는 리비에라 마야(Riviera maya)와 칸쿤 호텔존에 머물렀습니다. 호텔존 바다는 예쁘지만 저흰 여러 곳을 걸어다닐 수 있는 리비에라 마야쪽이 더 마음에 들었는데요. 문제는.. 공항에서 택시로 30분 ~ 1시간 정도 차를 타고 가야해서 둘째가 어리기도 하니 호텔존에 있는 리조트를 알아보기로 했습니다.

1. 여행 예약 & 플레어 항공사

문제는 여행 시기였어요. 크리스마스 기간이라 3개월 전에 예약했을 때만 해도 대부분의 리조트가 솔드아웃이거나 혹은 가격이 너무 높아서 버짓에 맞는 리조트를 찾는게 쉽지 않았습니다. Costco Travel사이트에서 찾아봤지만 대부분 솔드아웃이었고요. Sunwing에서, 혹은 토론토에서 칸쿤으로 가는 직항 - 예를 들어 Air Canada등과 같은 항공사에서 여행 패키지를 예약할 수도 있습니다. 문제는 비행기값이 비싸기 때문에 전 저렴한 항공사를 이용햐려고 Expedia에서 비행기, 리조트 이렇게 예약했습니다. 리조트까지, 다시 공항까지 이동해주는 개인 택시도 따로 예약했습니다.

비행기는 플레어 에어라인으로 예약했고요. 처음 예약해서 이게 과연 맞나 싶었는데, 생각보다 괜찮았습니다. 토론토 겨울 비행기 예약은 날씨에 따른 복불복이 있습니다. 눈폭풍이라도 오면 항공사와 상관 없이 전체 항공사에 영향을 미쳐서 에어캐나다든 저가 항공사든 상관없겠다 싶어서 저가항공사를 예약한거였고요. 만약 캔슬할때 전체 금액이 환불 되는지, 연착은 얼마나 자주 있는지 이런건 따로 확인해보셔야 합니다. 어짜피 크레딧으로 환불 받으면 다음에 이용하면 되겠고, 연착은 뭐 이건 어쩔 수 없는 상황이니까 그냥 별일없이 잘 탈수 있길 하는 바람으로 여행 날짜를 기다였었어요.

중요한 점은,

미리 온라인 체크인을 할 것 : 공항 안에서 체크인을 하면 따로 비용을 청구합니다. 꼭 미리 온라인으로 체크해야 합니다.
수화물 가방 미리 사놓을것: 온라인으로 체크인하면 자리도 지정할 수 있고 (추가 금액) 수화물 가방도 돈을 내야합니다. 그런데 이때 돈을 미리 내는게 더 저렴하다고 들었어요.
가족끼리 여행할 경우: 아이를 동반하면 미리 좌석을 구매할 필요는 없습니다. 전 지정자리를 구매하지 않고 온라인 체크인하고나서 수화물을 보내야하는데 그때 아이를 동반했으니 자리 확인해달라고 하면 알아서 자리를 바꿔 줍니다.

2. 크리스마스 기간의 토론토 공항 & 칸쿤 공항

전 아침 7시 출발로 예약했는데, 4시 30분 정도에 공항에 도착했어요. 도착했을 때, 뭐 사람 많겠어?라고 생각했는데.... 우와 사람 진~~~~~짜 많았습니다. 크리스마스 연휴가 시작하기 전 토요일이었다보니 새벽공항에도 사람이 어마어마 했습니다. 미리 가길 다행이다..싶을 정도였습니다. 비행기 안에서 먹을 과자도 챙겨놓았고, 4시간이면 그래도 아이들이 좀 자지 않을까 생각해서 장난감을 따로 챙겨가진 않았는데 아이들이 내내 깨어있엇 옆에서 놀아주느라 정신 없었습니다.

칸쿤에 도착하고 나갈 때까지 무려 2시간이나 걸렸어요. 혹시라도 내리자마자 줄을 서면서 간다?? 라고 하면 신경쓰지 마시고 앞으로 쭉쭉 가세요. 저흰 이게 줄인가? 싶어서 줄을 섰는데, 어떤 사람들은 줄을 서지 않고 옆길로 새서 앞으로 쭉쭉 가더라고요. 왜그러지?했는데 어짜피 줄 서는 곳이 여러개라서 그렇게 앞으로 가도 따로 줄 서는 곳이 있었습니다. 연휴기간은 이렇게 사람이 많다고 하니 참고하세요.

혹시라도 예약한 택시가 따로 가버리는건 아닌가 너무 걱정했는데, 괜찮았습니다. 일단 공항에 내려서 나올 때까지 굉장히 많은 사람들이 자기네 버스 혹은 택시를 이용하라는 사람들로 북적입니다. 예약하셨으면 신경쓰지 마시고 쭉쭉 주차장, 차가 보일 때까지 나오면 됩니다. 만약 고개를 두리번 거리며 사람을 찾는 순간, 내가 도와줄게- 하며 다가오는데요. 바가지 요금을 쓴다던가, 혹은 돈을 따로 내야할 수 있으니 당당하게 나가시면 됩니다.

물론 밖에 나가서 예약한 운전 기사를 찾는건 쉽지 않은데요. 택시를 예약하더라도 회사로 운영돼서 이 택시가 어떤 회사로 운영되는지 회사 이름을 아는게 중요합니다. 물론 예약을 어디서 하냐에 따라 리조트 자체 내에서 사람이 나온 경우도 있고, 썬윙처럼 항공사 자체 내애서 이동해주는 팀도 있습니다. 저희는 택시 운영 회사를 찾아가 예약한걸 보여줬더니 명단을 확인해줬고 차를 기다렸습니다. 이게 가족만 타는지, 여러명이 타는지도 달라지는데, 여러명이 같이 타는 경우 가방이 서로 섞이지 않도록 주의해야합니다. 간혹 가방을 잘못 가지고 내리는 경우가 있어요!

3. 크라운 파라다이스 클럽 리조트

선택한 이유는 굉장히 단순했습니다. 예약할 수 있는 리조트가 별로 없었고, 공항과 가까운, 가족 중심의 리조트를 찾다보니 크라운 파라다이스 클럽으로 좁혀졌어요.

장점:

다른 리조트에 비해 저렴하다.
공항과 가깝다.
가족 중심 리조트다.
모든 방이 오션뷰다.

단점:

레스토랑이 별로다. 따로 예약한 레스토랑마저 부페에서 가져온듯한 느낌.. 모든 레스토랑의 맛이 비슷합니다. ㅠㅠ
아이스크림, 후식 코너 이런것도 별로다. 특히 아이스크림은 따로 마련되어있지 않음.
낡은 인테리어 (그래도 깨끗했습니다.)
따뜻한 수영장이 없다.

12월 날씨: 12월 날씨는 생각보다 쌀쌀했어요. 온도만 보면 여름 날씨 같았는데, 일단 바람이 세게 불면 많이 쌀쌀하더라고요. 그래서 긴팔 필수 입니다. 특히 저녁에는 아이들은 바람막이 잠바 입혔고요. 저 역시 너무 두껍지 않은 긴 팔 가디건은 항상 입고 다녔어요.

다음에 또 갈까?라고 생각해보면...안갈것 같아요. 아무리 오래전 일이지만 리비에라 마야 리조트에서 먹었던, 호텔존 다른 호텔에서 먹었던 음식에 비하면 퀄러티가 너무 떨어졌어요. 일단 비교가능해서 그런지 여기 진짜 맛없다...란 생각만 하면서 지냈던것 같습니다. 그래도 물놀이 하고 배고픈 상태였다보니 열심히 먹긴 했지만, 우와 맛있다!!이런 느낌이 든적은 없었어요.

예전 리비에라 마야에 머물렀던 리조트는 작은 동물들도 곳곳에 살고 있고 리조트 안에 스노쿨링을 할 수 있다던가, 정글처럼 걸어다닐 수 있다던가.. 이런게 많았는데 역시 호텔존은 그런 것들이 없어서 아쉬웠습니다. 저렴한 곳으로 와서 그런가..싶기도 했고요. 하지만 일정이 짧았고 아이들이 어려서 물놀이 위주로만 생활했어서 그렇게 큰 불만은 없었습니다. 가성비를 따져본다면... 지불한 가격만큼의 리조트-란 느낌이었어요.

이렇게 매일 저녁 공연이 있었고요.

수영장은 여러개 있었는데 주로 메인풀장에서 놀았습니다. 튜브 필수! 물론 따로 팔기도 해요. (비싸서 그렇지만요..)

첫째는 슬라이드에서 노는걸 너무 좋아했어요. 둘째는 너무 어려서 밖에서 저랑 놀고요ㅎㅎ

먹고 놀고 먹고 놀고의 반복이었습니다.

바다 색은 정말 예뻤어요. 다만 파도가 세서 굉장히 조심해야 합니다.

리조트에서 바라본 바다입니다.

리조트가 작은 편은 아니었는데... 제가 뭐 돌아다니면서 구석구석 사진 찍지는 않아서 그냥 마지막날 아쉬운 마음으로 몇장 찍은게 다예요.

결론은 가격 대비 놀러올만은 하다. 하지만 기대를 많이 버려야 한다!! 이고요.

아이가 어리면 괜찮지만, 만약 아이가 초등학교 3학년 이상이라고 보면... 그렇게 재밌어하진 않겠다- 라는 정도의 느낌이었습니다.

해커톤 심사위원을 하면서...

이갹갹 — Fri, 2 Feb 2024 12:17:56 +0900

심사위원을 하면서 머리도 식힐 겸 일기를 써봅니다.

채점을 하거나 이력서를 보거나 심사를 할 때, 한가지 특징이 있는데요.

공정성을 유지하기 위해 최대한 같은 컨디션을 유지하려고 합니다.

학생들은 이 서류를 작성하기 위해 많은 시간을 보냈을테니까요.. 그러니 공정히 심사를 해야죠.

물론, 모든 서류는 블라인드처리 되어있어서 누가 작성한지 모르지만..

모든 지원자들이 얼마나 고심하고 생각을 많이 하면서 작성했을지... 멋지더라고요.

많은 지원자 중 어쩔 수 없이 등수를 가려야하는 상황이 있지만,

모든 서류들이 참 반짝였다라고 말하고 싶어요.

제 마음이 전달될지 모르겠지만.. 그래서 갑자기 일기를 쓰고 싶었던건 아닐까.. 그런 생각도 듭니다.

학생을, 특히 취업준비생을 보면.. 인생에 있어서 방황하고 힘든 시기일 수도 있겠지만 가장 예쁘고 반짝이는 시기라는걸

20대가 훌쩍 지나 40대가 되어서야 그걸 깨달은걸까요..ㅎㅎ

심사평은 물론 지금의 마음을 그대로 반영해서 쓸 수 없다라는게 너무 미안하지만..

다양한 주제로, 다양한 관점으로, 무엇을 고민하고 어떻게 해결하려고 했는지 그 과정을 살펴보면서...

심사가 이렇게 즐거운 일이었던거 싶기도 해요.

두근두근한 마음으로 결과를 기다릴 학생들을 생각하면서.. 공정히 그리고 꼼꼼하게 다시 서류보러 이만 일기를 마칩니다.

[Coursera] Generative AI with LLM (Week1) - (1)

이갹갹 — Mon, 29 Jan 2024 13:10:29 +0900

출처: https://www.deeplearning.ai/
강의명: Generative AI with Large Language Models

Week 1 - (1) Introduction to LLMs and the generative AI project lifecycle

이번 포스팅의 주요 키워드

기본 용어 배우기 : Base Model, Completion, Inference, Prediction(예시), self-attension, Transformer Archtecture, Embeddings etc.
RNN -> Generative AI로 Transform (Architecture transformation)
Configuration parameters

I. Generative AI & Large Language Model Use Cases & Model Lifecycle

1. Base Model: 베이스 모델을 메모리로 생각할 수 있음. 즉, 파라미터 수가 많을 수록 더 정교하고 복잡한 일(task)을 수행할 수 있음.

강의 랩에서는 flan-T5을 사용할 예정

Collection of base models and their relative size in terms of their parameters.

2. Compeletion: 모델의 최종 아웃풋을 말함. 이렇게 모델이 텍스트를 생성하는 것을 inference라고도 함.

Completion을 보면 Prompt와 함께 답변까지 같이 제공하는 것을 알 수 있음.

Prompt & Model & Completion

3. Prediction: LLM인 경우 주어진 일에 따라 그 수행하는 일로 생각해볼 수 있음. (예시는 아래 이미지)

Information retrival: 모델에게 주어진 텍스트에서 사람, 장소와 같은 정보를 찾아내는 것. (Entity recognition, 분류작업의 일종)

II. How LLMs Works : Transformers Architecture

이전 단어로 모델이 알 수 없음

예측할 단어

tastes vs tea tastes

RNN으로 주황색 박스에 올 단어를 예측하고자 할때, 오른쪽인 경우, tea 라는 정보가 들어있어서 를 예측할 때 예측할 수 있는 그 확률이 높아질 수 있지만.. 문제는 homonyms (한 단어가 여러 개의 뜻을 가진 경우), syntatic ambituity (문장 구조로 인해 의미가 모호한 경우 ex. The teacher taught the student with the book. 책은 누구 책? )로 예측하기 힘든 문제가 있었다.

하지만, 기존 RNN의 알고리즘이 Generative AI로 발전할 수 있게된 계기로 논문을 소개함.

2017년 논문: Attention is All You Need (Google and the University of Toronto)

- Multi-core GPU (parallel process input data)

- Larger training dataset

- Meaning of the words its processing 등이 가능해지면서 Generative AI로 이끌 수 있었음.

- 링크 https://arxiv.org/abs/1706.03762

옆에 있는 단어 (혹은 주변 단어)의 상관관계를 파악하는 것이 아니라,

문장 내의 모든 단어간의 관계를 살펴보게 됨으로써 모든 단어의 관련성과 문맥을 학습하게 됨.

또한 가중치(weight)를 적용해서 모델의 입력값의 어느 위치에 상관없이 각 단어와의 관련성을 학습하게 되었음. 이러한 알고리즘으로 더 많은 문서의 맥락도 알 수 있게 됨.

book은 teacher와 student와 단어와 밀접하게 연관된것을 알 수 있으며 어떤 단어가 서로 강하게 연결되어있는지를 Self-attension 라고도 함. Self-attension을 통해 input 전체를 이해할 수 있게 되어 모델 향상에 영향을 끼쳤음.

Transformer Archtecture: 인코더(Encoder)와 디코더(Decoder)로 구성되어있음.

인코더: Encodes inputs ("prompts") with contextual understanding and produces one vector per input token. (입력 시퀀스를 인코딩해서 입력의 구조와 의미를 심층적으로 표현)
- prompt: 모델에 입력하는 텍스트, 텍스트를 생성하는 작업을 추론 (inference) 모델이 원하는 방식으로 잘 동작하도록 프롬프트에서 언어를 수정하거나 예시를 제공하는 작업이 필요한데, 이걸 컨텍스트 내의 학습 (in-context learning)라고도 함.
디코더: Accpets input tokens and generates new token. (입력 토큰 트리거를 바탕으로 인코더 상황을 이해해서 새 토큰을 생성하고 특정 조건에 도달할 때까지 반복해서 이 작업을 수행함 )
- 참고로 인코더와 디코더가 같이 있는 경우: translation이 대표적인 예시이며 입력 값과 출력값의 길이 차이가 달라질 수 있다는게 특징임.
- 인코더 전용 모델: 감정 분석과 같은 분류작업 수행하는데 사용 BERT가 그 예
- 디코더 전용 모델: 가장 일반적으로 사용되는 모델이며 디코더 전용 모델로는 GPT 모델, Jurassic, Lama등이 포함.

두가지가 서로 연동되어 작동해서 여러가지 유사점을 공유함.

참고로 모델 입력값은 아래쪽에 위치하고 출력값은 상단에 위치하는것에 주목할 것!

머신러닝 모델을 그저 확률을 계산하는 계산기라고 생각해보면, 처리할 텍스트를 모델에 전달하기 전에 먼저 단어를 토큰화해야 한다.

토큰화는 간단히 말해 단어가 숫자로 변환되는 것이며, 각 숫자는 모델이 사용할 수 있는 모든 단어의 사전 내 위치를 나타낸다.

아래 그림을 보면, 토큰 ID가 두 개의 완전한 단어로 일치시키거나 (the인 경우) 토큰 ID를 사용해 단어 일부를 나타낼 수 있음.

주의할 것: 모델을 학습시킬 토크나이저(tokenizer method)를 선택한 후, 텍스트를 생성할때 동일한 토크나이저를 사용해야 함. (ID가 불일치 하면 안되므로..)

이제 입력값이 숫자로 표시되었으므로, 임베딩 레이어에 전달할 수 있음. 이 레이어는 학습 가능한 벡터 임베딩 공간으로 각 토큰이 벡터로 표현되어 해당 공간 내에서 고유한 위치를 차지하는 고차원 공간임. (word2vec와 같은 컨셉) 아래 그림을 보면 단어는 토큰아이디와 연결되고 이 토큰아이디는 벡터와 연결(map)되어있다고 생각하면 됨.

벡터 사이즈가 3개라고 할 경우, 단어 하나는 3개의 dimensional space로 보았을 때 그 단어가 위치하는 것을 알 수 있는데, 아래 그림의 경우 512 벡터 사이즈 이므로 512차원을 말하게 됨. 임베팅을 하게 되면서 수학적인 계산 (단어사이 거리를 각도로 계산하면서..)하면서 언어를 수학으로 이해할 수 있게 됨.

토큰 벡터를 인코너 또는 디코더의 베이스에 추가할 때, 위치 인코딩 (Positional encoding)도 추가함. 모델은 각 입력 토큰을 병렬로 처리하는데, 이 위치 인코딩을 추가하게 되면서 단어 순서에 대한 정보를 보존하고 단어 위치의 관련성을 잃지 않게 됨.

입력 토큰과 위치 인코딩을 합산한 후, 결과 벡터를 self-attention레이어에 전달.

따라서 래서 입력 시퀀스에 있는 관계를 분석하는데, self-attention을 통해 문맥적 종속성을 더 잘 포착할 수 있음.

self-attention weight를 통해 해당 입력 시퀀스의 각 단어가 시퀀스의 다른 모든 단어에 미치는 중요성을 계산함. 하지만 이건 단순히 한번만 계산하는것이 아니라, 병렬적으로 (독립적으로) 학습함. 아래 그림과 같이 multi-headed self-attension 으로 진행이 되며 각 head마다 가중치가 무작위로 초기화되어 정해지면서 각 head마다의 언어의 다른 측면을 배우게 된다.

모든 가중치가 입력 데이터에 적용되었으므로 출력은 완전히 연결된 피드 포워드 네트워크 (Feed forward network)를 통해 처리 됨.

이 레이어의 출력값은 토크나이저 사전에 있는 모든 토큰의 확률 점수에 비례하는 로짓으로 구성된 벡터이다.

이 로짓을 최종 소프트맥스 계층으로 전달해 각 단어의 확률 점수로 정규화 함.

이 출력값에는 어휘에 있는 모든 단어에 대한 확률이 포함되어있어, 여기에 수천 개의 점수가 있을 수 있으며, 단일 토큰은 나머지 토큰보다 더 높은 점수를 받게 되어 결국 예측된 토큰으로 이어짐. 이 확률 벡터를 바탕으로 최종 선택 범위를 다르게 만드는데 사용할 수 있으며 이 부분은 차후에 소개.

III. Configuration Parameters

Parameters: 각 모델마다 inference중에 출력에 영향을 줄 수 있는 configuration parameter가 있으며, 참고로, parameter는 모델을 트레이닝할때 사용되는 training parameter와는 다름.

최대 토큰: 설정된 값을 통해 모델에서 생성할 토큰수를 제한할 수 있음. 생성된 토큰의 수를 정확히 나타내는 것이 아니라 최대 새 토큰의 수 (Remember it's max new tokens, not a hard number of new tokens generated.)

Greedy vs Random sampling
- Greedy: 항상 확률이 가장 높은 단어를 선택하는 간단한 형태로 다음 단어를 예측. 문제는.. 단어가 반복되는 시퀀스에는 취약함. 더 자연스럽고 창의적이며, 단어의 반복을 줄이기 위해 다른 컨트롤이 필요한데 바로 램덤 샘플링으로 구현할 수 있음.
- Random sampling: 변동성을 유발하는 가장 쉬운 방법. banana라는 단어의 확률 점수는 0.02로 무작위 샘플링을 할 경우 이 단어가 선택될 확률은 2%에 해당됨. 문제는 설정에 따라 결과물이 너무 창의적이던가, 말이 안되는 단어가 생성될 수 있음.

Top-k & Top-p sampling : 무작위 샘플링을 제한하고 출력이 합리적일 수 있도록 가능성을 높이는데 도움을 줌.
- 일부 변동성을 허용하면서 옵션을 제한하려면 상위 k값을 지정해 모델이 확률이 가장 높은 k개의 토큰 중에서만 선택할 수 있도록 지시할 수 있음. 만약 top k가 25이면, 25개 옵션 중에 선택할 수있도록 함. 그런 다음 확률 가중치를 사용해 이런 옵션 중에 선택하고 다음 단어로 넘어가게 됨.
- 상위 p를 설정해서 결합 확률이 p를 초과하지 않는 예측으로만 무작위 샘플링을 제한할 수 있음.
- 즉, 상위 k를 사용하면 무작위로 선택할 토큰 수를 지정하고, 상위 p를 사용하면 모델이 선택할 수 있는 총 확률을 지정하게 됨.

온도(temparature) - 모델이 다음 토큰에 대해 계산하는 확률 분포의 형태에 영향을 줌. 온도가 높을수록 무작위성이 높아지고, 온도가 낮을수록 랜덤성이 낮아짐. 온도값은 모델 최종 소프트맥스 계층 내에 적용되는 스케일링 factor로, 토큰의 확률 분포 형태에 영향을 주게 됨.
아래 그림을 보면, 1보다 작은 값을 선택할 경우, 소프트맥스 계층의 확률 분포가 더 강하게 정점에 도달하게 되므로 확률이 특정 단어에 집중하게 됨 (케이크). 모델은 무작위 샘플링을 통해 이 분포를 선택하게 되므로 결과 텍스트의 무작위성이 줄어듬. 반면 1보다 높은 값을 설정하면, 모델은 다음 토큰에 대해 더 넓고 평평한 확률 분포를 계산하게 되면서 파란색 막대와 다르게 빨간색 막대처럼 토큰 전체에 더 균등하게 분포됨을 알 수 있음.

2024년 1월.. 워킹맘 그리고 GenAI 프로젝트에 빠진 요즘.

이갹갹 — Fri, 26 Jan 2024 12:40:01 +0900

안녕하세요. 이지영입니다.

두권의 책을 마무리하고 이것저것 무엇을 할까 고민하다가.. 아무래도 엄마의 삶에 집중하는 것이 아이에게 줄 수 있는, 혹은 제가 누릴 수 있는 최고의 시간이 되지 않을까란 생각에 아이와 함께 시간을 보내고 있습니다.

첫째는 여러가지 운동에 푹 빠져있어서.. 일 도중에 나와서 아이 수업에 데려다주곤 하고요.

둘째는 하루가 다르게 쑥숙 자라고 있습니다.

일하고 아이 돌보고 다시 저녁에 일 마저 하고, 집안일 하다보면 하루가 지나고 에너지가 0을 찍고나서 마이너스가 된 기분입니다.

그래도 일 하는 것도 감사하고, 아이 돌보는 것도 감사한데.. 유튜브도 블로그도.. 책도 강의, 취미도 할 수 없는 상황인지라 때론 내가 잘 살고 있는게 맞나.. 직장인의 삶을 사는게 맞는걸까? 나에게 시간의 자유는 없는걸까? 시간이 곧 돈이고 돈이 곧 시간이라면.. 경제적 자유, 시간의 자유를 찾지 못해서 잘못하고 있는걸까? 그런 생각도 들곤 합니다. 동기부여가 안되는걸까? 번아웃이 온걸까? 뭐 여러가지 잡생각이 들곤 하는데.. 그래서 최대한 잡생각을 줄이고자 잘 먹고 잘 자려고 해요. (그래서 살이 쪘...)

회사 일은.. 요새 GenAI 프로젝트 일을 하는데, 재밌어요. 빠르게 발전하는 기술을 과연 따라갈 수 있을까..걱정도 되지만.. 앞으로 5년 뒤, 아니 3년 뒤 삶은 어떻게 될지 굉장히 궁금해 집니다. 흐름이라도 따라가보자..란 생각에 공부한거나 뉴스라도 정리해서 인스타나 블로그에 올려볼까- 이런 다짐만 지금 몇주 째.. 이지만 조금씩 시작해보려고 합니다.

모두가 알아야 할 필수 AI용어 (LLM, Generative AI, Responsible AI)

이갹갹 — Thu, 16 Nov 2023 11:49:47 +0900

회사에서 Generative AI 프로젝트 일을 하고 있는데요. AI기술은 이미 우리 생활에 밀접할 정도로 많은 영향력을 끼치고 있습니다. 그래서 용어에 대해 한번 정리하는 시간을 가져보는게 어떨까 싶어요. 마침 마이크로 소프트에서 우리가 꼭 알아야 할 10가지 AI 용어라는 글이 있길래, 몇 가지만 참고해서 적어봅니다.

출처: https://news.microsoft.com/10-ai-terms/

1. LLM (Large Language Model)

이미 많은 분들이 아시겠지만 LLM은 <매우 큰 규모의 언어 모델>을 가리키는 용어입니다. 언어 모델은 컴퓨터가 자연어를 이해하고 생성하는 데 사용되는 알고리즘으로 "LLM - 큰 언어 모델"은 엄청나게 많은 양의 데이터에서 학습되어 광범위한 자연어 처리 작업을 수행합니다. 따라서 대화 시스템, 문서 요약, 언어 번역, 질문 응답 등 다양한 언어 관련 작업에 사용되고 있습니다. (이 부분도 ChatGPT를 통해 생성된 글 이기도 합니다.)

OpenAI GPT: OpenAI에서 개발한 GPT(Generative Pre-trained Transformer) 시리즈는 가장 널리 사용되는 Large Language Models 중 하나입니다.
Google Cloud AI: Google Cloud는 기업용 AI 서비스를 제공하며, 텍스트 기반의 작업을 위한 API 및 도구를 포함하여 다양한 서비스를 지원합니다.
Microsoft Azure Cognitive Services: Microsoft Azure는 언어 서비스를 포함하여 다양한 AI 서비스를 제공합니다. 텍스트 분석, 문서 이해, 번역 등이 포함됩니다.
Amazon Comprehend: Amazon Web Services (AWS)는 Comprehend 서비스를 통해 텍스트 분석, 감정 분석, 개체 인식 등을 지원합니다.
Hugging Face Transformers: Hugging Face는 다양한 트랜스포머 모델을 제공하는 플랫폼으로, 개발자가 모델을 다운로드하고 사용할 수 있도록 지원합니다.

LLM은 ChatGPT을 통해 많은 분들이 알고 계실텐데요. 제가 Generative AI관련 프로젝트를 한다라고 얘기하면 LLM인가?라고 생각하는 분들이 계셔서 이 용어도 정리해 보겠습니다.

2. Generative AI

Generative AI는 새로운 데이터나 콘텐츠를 생성하는 인공 지능의 한 형태입니다. 이는 기계가 주어진 입력에서 새로운 유용한 정보를 만들어내는 능력을 나타냅니다. Generative AI는 기계 학습 모델 중 하나로, 특히 생성 모델이라고도 불립니다.

예를 들어, 텍스트 생성 모델은 주어진 문장이나 단어를 기반으로 새로운 문장을 생성할 수 있습니다. 이미지 생성 모델은 주어진 이미지나 설명을 바탕으로 새로운 그림을 그릴 수 있습니다. 이러한 모델들은 대량의 데이터를 학습하고, 학습한 패턴을 사용하여 새로운 것을 생성하거나 완성합니다.

Generative AI는 창의성을 발휘하고 다양한 분야에서 응용될 수 있는데, 예컨대 예술 작품 생성, 자연어 이해와 생성, 음악 작곡 등 다양한 분야에서 활용됩니다.

그러니까 LLM은 언어에 중점을 둔 것이고 Generative AI는 이미지, 음악,텍스트 등을 생성하는 모든 종류의 인공지능이라서 LLM이 Generative AI의 한 유형으로 볼 수 있습니다. 제가 일하는 회사도 그렇고 많은 회사들이 Generative AI를 이용해서 업무의 효율을 어떻게 향상시킬 수 있는지 고민하고 그리고 그걸 해결해주는 플랫폼을 만드는 단계라고 생각합니다.

GenAI프로젝트라고 하지만 뭐 이미지 생성이 아닌 텍스트를 생성하려면 결국 LLM 모델을 사용하는건데요. 언어 모델은 각 플랫폼마다 다양하게 있습니다. AWS Bedrock, Nvidia DocumentAI & NEMO, Azura Open AI Cognitive Services, Databicks Dolly, IBM WatsonX AI 등등.. 어떤 서비스를 사용하는게 좋은지 성능, 가격 측면이나, 파트너쉽 등에 따라 고민을 하고 결정하는거죠~

3. Hallucinations

Generative AI 시스템에서 "Hallucinations(환각)"은 주어진 데이터나 맥락에서 파생되지 않은, 실제로는 존재하지 않는 정보를 생성하는 현상을 나타냅니다. 이는 모델이 훈련 데이터에서 학습한 패턴이나 맥락에서 벗어난 예측이나 생성을 수행할 때 발생할 수 있습니다.

Generative AI 모델이 훈련 데이터에서 특정한 패턴을 학습하면, 때로는 새로운 데이터에 대한 예측을 형성할 때 그 패턴을 오용하거나 잘못 이해할 수 있습니다. 이로 인해 모델은 현실과 일치하지 않는, 특이하거나 부정확한 결과물을 생성할 수 있습니다. 이러한 현상은 모델이 학습한 데이터에 과적합(overfitting)되거나 일반적인 맥락에서 벗어난 예측을 하는 경우에 나타날 수 있습니다.

이러한 문제를 방지하고 모델의 생성 능력을 향상시키려면 더 많은 다양한 데이터로 모델을 훈련시키고, 적절한 정규화 및 조절 기법을 사용하여 모델의 일반화 능력을 향상시켜야 합니다.

4. Responsible AI

Responsible AI(책임 있는 인공 지능)는 인공 지능 시스템의 개발, 배포, 및 사용 과정에서 윤리적이고 공정한 원칙을 적용하는 개념을 나타냅니다. 이는 기술의 발전과 활용이 사회적 가치, 공정성, 안전성, 프라이버시 등 다양한 측면에서 신중하게 다뤄져야 함을 강조하는 개념입니다.

책임 있는 인공 지능은 다음과 같은 원칙을 포함할 수 있습니다:

공정성(Fairness): 모델이 다양한 인구 그룹에 대해 공평하게 작동하도록 보장하는 것.
투명성(Transparency): 인공 지능 시스템의 의사 결정이나 작동 방식을 이해하기 쉽게 설명하고 공개함으로써 신뢰성을 높이는 것.
개인 정보 보호(Privacy): 사용자의 개인 정보를 존중하고 보호하는 정책과 기술적 조치를 수행하는 것.
안전성(Safety): 시스템이 예기치 못한 상황에서도 안전하게 작동하도록 보장하는 것.
평가 및 피드백(Evaluation and Feedback): 인공 지능 시스템의 성과를 정기적으로 평가하고, 필요에 따라 개선을 위한 피드백을 수용하는 것.
사회적 영향 고려(Social Impact): 기술의 사용이 사회에 미치는 영향을 고려하고 이를 최소화하려는 노력을 포함하는 것.