728x90 반응형 2024/101 Langchain CharacterTextSplitter와 RecursiveTextSplitter CharacterTextSplitter텍스트 분할 방법: 단일 문자 단위청크 크기 측정 방법: 문자의 수from langchain.text_splitter import CharacterTextSplittertext_splitter = CharacterTextSplitter( separator="\n\n", chunk_size=100, chunk_overlap=10, length_function=len, is_separator_regex=False,)Parametersseparator: 청크를 구분하는 데 사용되는 문자열을 지정하며, 기본값은 '\n\n'chunk_size: 각 청크의 최대 길이chunk_overlap: 인접한 청크 간 겹치는 문자의 수length_function.. 2024. 10. 15. 이전 1 다음 728x90 반응형
