컨텍스트 윈도우란 무엇이고, 왜 모자라는가
컨텍스트 윈도우는 모델이 한 번의 요청에서 고려할 수 있는 텍스트의 최대량이며 토큰 단위로 잰다. 시스템 지시, 지금까지의 대화, 붙여 넣은 문서, 그리고 생성 중인 답변이 모두 그 안에 들어간다. 합이 한도를 넘으면 무언가는 버리거나 요약해야 한다.
갱신 4분 읽기
모델·연구
새 프런티어 모델, 벤치마크, 학습 기법과 그 뒤의 연구.
기사 2건
RAG(검색 증강 생성)란 무엇이고, 언제 필요한가
검색 증강 생성은 질문과 관련된 대목을 우리 문서에서 찾아 모델의 프롬프트에 넣고, 그것을 근거로 답하게 하는 방식이다. 모델의 가중치는 그대로다. 지식은 요청 시점에 «컨텍스트»로 도착한다.
갱신 4분 읽기