text_splitter1 [LLM & RAG] Langchain 기초 - Splitter langchain.text_splitter 이 모듈은 긴 문서를 작은 청크(chunks)로 나누는 기능을 제공합니다. 이렇게 쪼개진 정보는 Vector화 되어 Vector DB에 저장이 될 것입니다. 1. CharacterTextSplitter (기본 텍스트 분할)특정 문자(예: \n\n 또는 .)를 기준으로 분할합니다. 문장을 일정한 길이로 나누되, 문맥 유지를 위해 겹치는 부분(chunk overlap) 을 포함하는 것이 가능합니다. Argument는 아래와 같습니다. separator: 분할된 각 청크를 구분할 때 기준이 되는 문자열입니다. 여기서는 빈 문자열('')을 사용하므로, 각 글자를 기준으로 분할합니다.chunk_size: 각 청크의 최대 길이입니다. 여기서는 500으로 설정되어 있으므.. 2025. 4. 1. 이전 1 다음 반응형