728x90 반응형 분류 전체보기87 Langchain CharacterTextSplitter와 RecursiveTextSplitter CharacterTextSplitter텍스트 분할 방법: 단일 문자 단위청크 크기 측정 방법: 문자의 수from langchain.text_splitter import CharacterTextSplittertext_splitter = CharacterTextSplitter( separator="\n\n", chunk_size=100, chunk_overlap=10, length_function=len, is_separator_regex=False,)Parametersseparator: 청크를 구분하는 데 사용되는 문자열을 지정하며, 기본값은 '\n\n'chunk_size: 각 청크의 최대 길이chunk_overlap: 인접한 청크 간 겹치는 문자의 수length_function.. 2024. 10. 15. 문맥을 고려한 한국어 텍스트 데이터 증강 | Korean Text Augmentation Considering Context, K-TACC 소개 및 활용 코드 들어가며 안녕하세요! 벌써 봄이 왔네요... 밤낮으로 일교차가 있으나 2주 전에 비교하면 정말 많이 따듯해졌음을 느끼고 있습니다. 이번에 회사에서 3차년도 R&D 과제 중 콘텐츠 분류 모델을 만드는 업무를 맡게됐습니다. 물론 생각보다 목표치를 빨리 달성하게 돼서 이렇게 블로그를 쓸 시간도 생기게 됐네요. 사실 이번 업무에서는 모델을 만든다기보다는 성능 향상이 많이 필요한 상황이었습니다. 문제 제가 직면한 상황에는 총 3가지 문제가 있었습니다. 1. 데이터 총 개수가 654개로 상당히 작았습니다. 2. 기존에 만들어진 모델이 거의 깡통 모델이었습니다. 3. 과적합 해결 방안이 필요했습니다. 2번과 3번의 경우는 쉽게 해결이 가능했습니다. 그런데 1번 문제는 데이터를 더 받을 수 있는게 아니라면 해결이 불가.. 2024. 4. 5. [프로그래머스] 금과 은 운반하기 코딩테스트 연습 > 월간 코드 챌린지 시즌3 > 금과 은 운반하기 금과 은 운반하기 문제 설명 어느 왕국에 하나 이상의 도시들이 있습니다. 왕국의 왕은 새 도시를 짓기로 결정하였습니다. 해당 도시를 짓기 위해서는 도시를 짓는 장소에 금 a kg과 은 b kg이 전달되어야 합니다. 각 도시에는 번호가 매겨져 있는데, i번 도시에는 금 g[i] kg, 은 s[i] kg, 그리고 트럭 한 대가 있습니다. i번 도시의 트럭은 오직 새 도시를 짓는 건설 장소와 i번 도시만을 왕복할 수 있으며, 편도로 이동하는 데 t[i] 시간이 걸리고, 최대 w[i] kg 광물을 운반할 수 있습니다. (광물은 금과 은입니다. 즉, 금과 은을 동시에 운반할 수 있습니다.) 모든 트럭은 같은 도로를 여러 번 왕복할 수 있으며 연료는.. 2023. 12. 14. AttributeError: 'Prophet' object has no attribute 'stan_backend' 해결 방법 오류 내용 --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) Cell In[6], line 2 1 #모델 학습 ----> 2 prophet = Prophet() 3 prophet.fit(train_df) File c:\Users\Evan\anaconda3\envs\elastic\lib\site-packages\prophet\forecaster.py:155, in Prophet.__init__(self, growth, changepoints, n_changepoints, changepoint_range, yearly_seasonalit.. 2023. 12. 14. 웹 기반 테이블 변환 소프트웨어를 제공하는 TableConvert 들어가며 이번 주 내내 결과보고서 작성 한다고 데이터를 좀 만지다보니 여러 형식의 테이블을 하나로 취합해야 하는 일이 생겼다. 직접 엑셀에 컬럼별로 붙여넣을까도 생각하다가 반복 노가다에 (요즘 특히) 실증이 나버려서 구글링 좀 했다. 그랬더니 웹 기반으로 다양한 테이블 변환 소프트웨어를 제공하는 Table Convert 라는 제품을 만났다. 덕분에 정시 퇴근이 가능할 것 같다. 근데 왜 아직 수요일? Table Convert 기본적으로 Data Source - Table Editor - Table Generator 의 서비스를 제공한다. Data Source는 내가 지금 가지고 있는 데이터 형식을 정해준 뒤 값을 넣어주면 자동으로 Table Editor에 엑셀에서 볼 수 있는 형태로 (칸을 가진 형태로).. 2023. 12. 13. xAPI Profile 만드는 방법 들어가며 xAPI 프로파일을 만드는 방법을 설명하기에 앞서 지난 주에 의도치않게 한 이사님의 말이 불씨가 돼서 xAPI 관련 발표를 1시간 하게 됐다. 그래서 공식 문서 처음부터 다시 다 읽어보고 피피티 만들고 ... LMS에서 어떤 분석과 설계 과정을 진행할 것인지까지 발표 내용이었다. 그리고 다른 팀원이 프로필 생성과 활용 사례 등을 20분 정도 간략히 설명했는데, 나는 그 부분을 잘 모르겠어 따로 공부를 해봤다. 프로파일 만드는 방법이야 많지만 이번엔 ADL 가이드라인대로 진행해보았다. ADL Profile Guide 방법론 xAPI 프로파일은 조직이 인간 성과에 중점을 둔 가치를 어느 정도로 체계화하는 것과 관련이 있다. xAPI 프로파일을 구현하면 학습 경험을 규제하는 일종의 투명한 규칙 세트가.. 2023. 12. 5. 이전 1 2 3 4 ··· 15 다음 728x90 반응형
