모두가 알아야 할 필수 AI용어 (LLM, Generative AI, Responsible AI)

회사에서 Generative AI 프로젝트 일을 하고 있는데요. AI기술은 이미 우리 생활에 밀접할 정도로 많은 영향력을 끼치고 있습니다. 그래서 용어에 대해 한번 정리하는 시간을 가져보는게 어떨까 싶어요. 마침 마이크로 소프트에서 우리가 꼭 알아야 할 10가지 AI 용어라는 글이 있길래, 몇 가지만 참고해서 적어봅니다. 

 

출처: https://news.microsoft.com/10-ai-terms/ 

1. LLM (Large Language Model) 

이미 많은 분들이 아시겠지만 LLM은 <매우 큰 규모의 언어 모델>을 가리키는 용어입니다. 언어 모델은 컴퓨터가 자연어를 이해하고 생성하는 데 사용되는 알고리즘으로 "LLM - 큰 언어 모델"은 엄청나게 많은 양의 데이터에서 학습되어 광범위한 자연어 처리 작업을 수행합니다. 따라서 대화 시스템, 문서 요약, 언어 번역, 질문 응답 등 다양한 언어 관련 작업에 사용되고 있습니다. (이 부분도 ChatGPT를 통해 생성된 글 이기도 합니다.) 

 

1. OpenAI GPT: OpenAI에서 개발한 GPT(Generative Pre-trained Transformer) 시리즈는 가장 널리 사용되는 Large Language Models 중 하나입니다. 
2. Google Cloud AI: Google Cloud는 기업용 AI 서비스를 제공하며, 텍스트 기반의 작업을 위한 API 및 도구를 포함하여 다양한 서비스를 지원합니다.
3. Microsoft Azure Cognitive Services: Microsoft Azure는 언어 서비스를 포함하여 다양한 AI 서비스를 제공합니다. 텍스트 분석, 문서 이해, 번역 등이 포함됩니다.
4. Amazon Comprehend: Amazon Web Services (AWS)는 Comprehend 서비스를 통해 텍스트 분석, 감정 분석, 개체 인식 등을 지원합니다.
5. Hugging Face Transformers: Hugging Face는 다양한 트랜스포머 모델을 제공하는 플랫폼으로, 개발자가 모델을 다운로드하고 사용할 수 있도록 지원합니다.

 

LLM은 ChatGPT을 통해 많은 분들이 알고 계실텐데요. 제가 Generative AI관련 프로젝트를 한다라고 얘기하면 LLM인가?라고 생각하는 분들이 계셔서 이 용어도 정리해 보겠습니다. 

 

2. Generative AI 

Generative AI는 새로운 데이터나 콘텐츠를 생성하는 인공 지능의 한 형태입니다. 이는 기계가 주어진 입력에서 새로운 유용한 정보를 만들어내는 능력을 나타냅니다. Generative AI는 기계 학습 모델 중 하나로, 특히 생성 모델이라고도 불립니다.

 

예를 들어, 텍스트 생성 모델은 주어진 문장이나 단어를 기반으로 새로운 문장을 생성할 수 있습니다. 이미지 생성 모델은 주어진 이미지나 설명을 바탕으로 새로운 그림을 그릴 수 있습니다. 이러한 모델들은 대량의 데이터를 학습하고, 학습한 패턴을 사용하여 새로운 것을 생성하거나 완성합니다.

 

Generative AI는 창의성을 발휘하고 다양한 분야에서 응용될 수 있는데, 예컨대 예술 작품 생성, 자연어 이해와 생성, 음악 작곡 등 다양한 분야에서 활용됩니다.

 

그러니까 LLM은 언어에 중점을 둔 것이고 Generative AI는 이미지, 음악,텍스트 등을 생성하는 모든 종류의 인공지능이라서 LLM이 Generative AI의 한 유형으로 볼 수 있습니다. 제가 일하는 회사도 그렇고 많은 회사들이 Generative AI를 이용해서 업무의 효율을 어떻게 향상시킬 수 있는지 고민하고 그리고 그걸 해결해주는 플랫폼을 만드는 단계라고 생각합니다. 

 

GenAI프로젝트라고 하지만 뭐 이미지 생성이 아닌 텍스트를 생성하려면 결국 LLM 모델을 사용하는건데요. 언어 모델은 각 플랫폼마다 다양하게 있습니다. AWS Bedrock, Nvidia DocumentAI & NEMO, Azura Open AI Cognitive Services, Databicks Dolly, IBM WatsonX AI 등등.. 어떤 서비스를 사용하는게 좋은지 성능, 가격 측면이나, 파트너쉽 등에 따라 고민을 하고 결정하는거죠~ 

 

3. Hallucinations

Generative AI 시스템에서 "Hallucinations(환각)"은 주어진 데이터나 맥락에서 파생되지 않은, 실제로는 존재하지 않는 정보를 생성하는 현상을 나타냅니다. 이는 모델이 훈련 데이터에서 학습한 패턴이나 맥락에서 벗어난 예측이나 생성을 수행할 때 발생할 수 있습니다.

 

Generative AI 모델이 훈련 데이터에서 특정한 패턴을 학습하면, 때로는 새로운 데이터에 대한 예측을 형성할 때 그 패턴을 오용하거나 잘못 이해할 수 있습니다. 이로 인해 모델은 현실과 일치하지 않는, 특이하거나 부정확한 결과물을 생성할 수 있습니다. 이러한 현상은 모델이 학습한 데이터에 과적합(overfitting)되거나 일반적인 맥락에서 벗어난 예측을 하는 경우에 나타날 수 있습니다.

 

이러한 문제를 방지하고 모델의 생성 능력을 향상시키려면 더 많은 다양한 데이터로 모델을 훈련시키고, 적절한 정규화 및 조절 기법을 사용하여 모델의 일반화 능력을 향상시켜야 합니다.

 

4. Responsible AI

Responsible AI(책임 있는 인공 지능)는 인공 지능 시스템의 개발, 배포, 및 사용 과정에서 윤리적이고 공정한 원칙을 적용하는 개념을 나타냅니다. 이는 기술의 발전과 활용이 사회적 가치, 공정성, 안전성, 프라이버시 등 다양한 측면에서 신중하게 다뤄져야 함을 강조하는 개념입니다.

 

책임 있는 인공 지능은 다음과 같은 원칙을 포함할 수 있습니다:

1. 공정성(Fairness): 모델이 다양한 인구 그룹에 대해 공평하게 작동하도록 보장하는 것.
2. 투명성(Transparency): 인공 지능 시스템의 의사 결정이나 작동 방식을 이해하기 쉽게 설명하고 공개함으로써 신뢰성을 높이는 것.
3. 개인 정보 보호(Privacy): 사용자의 개인 정보를 존중하고 보호하는 정책과 기술적 조치를 수행하는 것.
4. 안전성(Safety): 시스템이 예기치 못한 상황에서도 안전하게 작동하도록 보장하는 것.
5. 평가 및 피드백(Evaluation and Feedback): 인공 지능 시스템의 성과를 정기적으로 평가하고, 필요에 따라 개선을 위한 피드백을 수용하는 것.
6. 사회적 영향 고려(Social Impact): 기술의 사용이 사회에 미치는 영향을 고려하고 이를 최소화하려는 노력을 포함하는 것.