‣행맨게임
LLM: 대규모 텍스트 데이터를 기반으로 학습된 거대한 언어 모델
- 자연어 처리 및 텍스트 생성 능력이 뛰어남
- GPT-3, BERT, T5 등이 대표적인 LLM 모델
LLM의 기본 원리: 트랜스포머 아키텍쳐
- 어텐셜 메커니즘을 통해 입력 순서에 따른 의존성 모델링
- 병렬 처리 가능한 구조로 효율성 향상
LLM의 학습 방식: 자기 지도 학습
- 대규모 텍스트 코퍼스에서 다음 단어 에측 작업 수행
- 언어 모델링과 다운스트림 태스크 동시 학습
피라미터: 기계 학습 모델에서 학습을 통해 최적화되는 가중치 값들을 의미
- 예를들어 신경망 모델에서 각 노드 간 연결 강도를 결정하는 값들
- 모델이 학습할 때 입력 데이터와 정답 레이블을 보고 이 파라미터 조정
- 파라미터의 개수가 많을수록 모델의 표현 능력이 높아짖지만, 과도하면 과적합 위험이 있음.
학습: 기계 락습 모델에게 데이터를 주입하여 모델의 파라미터를 최적화하는 과정
- 입력 데이터와 정답 레이블, 또는 입력 데이터만 사용
- 오차 함수를 최소화하도록 파라미터를 조정하는 것이 목표
- 반복적인 실행을 통해 점진적으로 모델의 성능을 향상
코퍼스: 텍스트 데이터의 집합체를 의미하는 용어
- 예를들어 영어 신문 기사, 책, 웹페이지 등의 모음을 영어 코퍼스
- 자연어 처리 모델 학습을 위해 대규모 코퍼스가 필요
어텐셜 메커니즘: 시퀀스 데이터를 처리할 때 중요한 부분에 집중하도록 하는 메커니즘
- 예를 들어 문장을 처리할 때 관련 단어들에 높은 가중치 부여
- 이를 통해 전체 시퀀스 정보를 더 효과적으로 포착
트랜스포머: 어텐션 메커니즘을 기반으로 하는 신경망 아키텍쳐
- 순차적 처리 없이 입력 전체를 한번에 처리할 수 있어 병렬화가 가능
- 자연어 처리는 물론 컴퓨터 버전, 오디오 등 다양한 태스크에 활용
- 대표적인 LLM인 GPT,BERT 등이 트랜스포머 기반 모델
prompt 활용법
프롬프트: 언어모델에게 입력으로 주는 텍스트
- 프롬포트를 통해 모델에게 원하는 작업을 지시하고, 모델은 포롬포트에 기반하여 출력 텍스트를 생성
프롬포트의 역할
-모델에게 작업지시 제공
-모델의 출력 결과에 영향
-적절한 프롬포트 구성으로 모델 성능 극대화 가능
LLM의 보안적 문제점
데이터 프라이버시 문제
- LLM은 엄청난 양의 데이터로 학습되는데, 이 데이터에 개인정보나 민감한 정보가 포함될 수 있음
- 입력된 프롬포트 또한 LLM 모델의 추후 학습 데이터로 사용될 가능성이 있음
- 이렇게 되면 사용자의 프라이버시가 침해될 수 있음
유해 콘텐츠 생성 위험
- LLM은 학습 대이터에 포함된 편향성을 내재화할 수 있음
- 혐오 발언, 가짜 정보, 폭력적인 콘텐츠 등을 생성할 가능겅이 있음
- 이를 악용하면 사회에 해를 끼칠 수 있음
LLM의 정렬: 인공지능 정렬은 인공지능 시스템이 인간의 가치관과 일치하도록 하는 것을 의미
- 인공지능이 안전하고 윤리적으로 행동하도록 보장하는 중요한 개념
정렬을 위한 접근방식
- 가치학습: 인간의 가지촨을 직접 인공지능 시스템에 학습시키는 방식
- 역방향 정렬: 인간의 실체 행동 패턴을 관찰하여 가치 함수를 추론하는 방법
- 절차적 정렬: 모델의 행동에 직접적인 제약 조건을 부과하는 방법
- 디버깅: 인공지능 시스켐 간 토론을 통해 잘못된 가정이나 결론을 교정
정렬이 예시
- 인간 가치 존중
- 프라이버시 존중
- 정직성 및 진실성 유지
- 공정성과 차별 금지
- 안전성 및 해로움 방지
- 법과 윤리 준수
