• Langchain CharacterTextSplitter와 RecursiveTextSplitter CharacterTextSplitter텍스트 분할 방법: 단일 문자 단위청크 크기 측정 방법: 문자의 수from langchain.text_splitter import CharacterTextSplittertext_splitter = CharacterTextSplitter( separator="\n\n", chunk_size=100, chunk_overlap=10, length_function=len, is_separator_regex=False,)Parametersseparator: 청크를 구분하는 데 사용되는 문자열을 지정하며, 기본값은 '\n\n'chunk_size: 각 청크의 최대 길이chunk_overlap: 인접한 청크 간 겹치는 문자의 수length_function.. 2024.10.15
• 문맥을 고려한 한국어 텍스트 데이터 증강 | Korean Text Augmentation Considering Context, K-TACC 소개 및 활용 코드 들어가며 안녕하세요! 벌써 봄이 왔네요... 밤낮으로 일교차가 있으나 2주 전에 비교하면 정말 많이 따듯해졌음을 느끼고 있습니다. 이번에 회사에서 3차년도 R&D 과제 중 콘텐츠 분류 모델을 만드는 업무를 맡게됐습니다. 물론 생각보다 목표치를 빨리 달성하게 돼서 이렇게 블로그를 쓸 시간도 생기게 됐네요. 사실 이번 업무에서는 모델을 만든다기보다는 성능 향상이 많이 필요한 상황이었습니다. 문제 제가 직면한 상황에는 총 3가지 문제가 있었습니다. 1. 데이터 총 개수가 654개로 상당히 작았습니다. 2. 기존에 만들어진 모델이 거의 깡통 모델이었습니다. 3. 과적합 해결 방안이 필요했습니다. 2번과 3번의 경우는 쉽게 해결이 가능했습니다. 그런데 1번 문제는 데이터를 더 받을 수 있는게 아니라면 해결이 불가.. 2024.04.05
• [프로그래머스] 금과 은 운반하기 코딩테스트 연습 > 월간 코드 챌린지 시즌3 > 금과 은 운반하기 금과 은 운반하기 문제 설명 어느 왕국에 하나 이상의 도시들이 있습니다. 왕국의 왕은 새 도시를 짓기로 결정하였습니다. 해당 도시를 짓기 위해서는 도시를 짓는 장소에 금 a kg과 은 b kg이 전달되어야 합니다. 각 도시에는 번호가 매겨져 있는데, i번 도시에는 금 g[i] kg, 은 s[i] kg, 그리고 트럭 한 대가 있습니다. i번 도시의 트럭은 오직 새 도시를 짓는 건설 장소와 i번 도시만을 왕복할 수 있으며, 편도로 이동하는 데 t[i] 시간이 걸리고, 최대 w[i] kg 광물을 운반할 수 있습니다. (광물은 금과 은입니다. 즉, 금과 은을 동시에 운반할 수 있습니다.) 모든 트럭은 같은 도로를 여러 번 왕복할 수 있으며 연료는.. 2023.12.14
• AttributeError: 'Prophet' object has no attribute 'stan_backend' 해결 방법 오류 내용 --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) Cell In[6], line 2 1 #모델 학습 ----> 2 prophet = Prophet() 3 prophet.fit(train_df) File c:\Users\Evan\anaconda3\envs\elastic\lib\site-packages\prophet\forecaster.py:155, in Prophet.__init__(self, growth, changepoints, n_changepoints, changepoint_range, yearly_seasonalit.. 2023.12.14
• 웹 기반 테이블 변환 소프트웨어를 제공하는 TableConvert 들어가며 이번 주 내내 결과보고서 작성 한다고 데이터를 좀 만지다보니 여러 형식의 테이블을 하나로 취합해야 하는 일이 생겼다. 직접 엑셀에 컬럼별로 붙여넣을까도 생각하다가 반복 노가다에 (요즘 특히) 실증이 나버려서 구글링 좀 했다. 그랬더니 웹 기반으로 다양한 테이블 변환 소프트웨어를 제공하는 Table Convert 라는 제품을 만났다. 덕분에 정시 퇴근이 가능할 것 같다. 근데 왜 아직 수요일? Table Convert 기본적으로 Data Source - Table Editor - Table Generator 의 서비스를 제공한다. Data Source는 내가 지금 가지고 있는 데이터 형식을 정해준 뒤 값을 넣어주면 자동으로 Table Editor에 엑셀에서 볼 수 있는 형태로 (칸을 가진 형태로).. 2023.12.13
• xAPI Profile 만드는 방법 들어가며 xAPI 프로파일을 만드는 방법을 설명하기에 앞서 지난 주에 의도치않게 한 이사님의 말이 불씨가 돼서 xAPI 관련 발표를 1시간 하게 됐다. 그래서 공식 문서 처음부터 다시 다 읽어보고 피피티 만들고 ... LMS에서 어떤 분석과 설계 과정을 진행할 것인지까지 발표 내용이었다. 그리고 다른 팀원이 프로필 생성과 활용 사례 등을 20분 정도 간략히 설명했는데, 나는 그 부분을 잘 모르겠어 따로 공부를 해봤다. 프로파일 만드는 방법이야 많지만 이번엔 ADL 가이드라인대로 진행해보았다. ADL Profile Guide 방법론 xAPI 프로파일은 조직이 인간 성과에 중점을 둔 가치를 어느 정도로 체계화하는 것과 관련이 있다. xAPI 프로파일을 구현하면 학습 경험을 규제하는 일종의 투명한 규칙 세트가.. 2023.12.05
• [Linux] 파일명으로 검색하는 방법, 파일 속 문자열 찾는 방법 리눅스 파일명으로 검색하는 방법 # find [찾을 위치] -name [파일 명] $ find / -name 'elasticsearch*' $ find /usr/ -name 'kibana*' 위에 코드블럭에 나와있듯 사용하면 된다. 명령어 find는 정해준 위치부터 하위로 내려가며 파일명을 찾는다. 아무래도 찾을 위치를 특정지어 줄 수 있다면 찾는 시간을 줄일 수 있을 것이다. elasticsearch로 시작하는 파일 명을 최상위 폴더부터 찾는 것보단 usr 아래에서부터 kibana로 시작하는 파일 명을 찾는 것처럼 말이다. 리눅스 파일 내부 문자열 검색하는 방법 # grep -r [대상 문자열] [대상 파일] $ grep -r 'elasticsearch' ./error.log $ grep -r 'kib.. 2023.12.04
• [아이디어의 빛을 밝혀줄 프롬프트 경진대회] CLOVA X 프롬프트 - 답변 제출 안녕 클로바! Attention is All You Need 논문에 대해서 자세하게 설명해줘 Attention is All You Need는 2017년에 발표된 논문으로, 트랜스포머 구조를 처음 발표한 구글 브레인 팀의 논문입니다. 이 논문에서는 기존의 RNN과 CNN 기반 모델이 가진 병렬 처리의 제약과 긴 의존성 문제를 해결하기 위해 Self-Attention 메커니즘을 사용한 Transformer 모델을 제안했습니다. Transformer 모델은 입력 시퀀스의 모든 위치 간의 상관 관계를 동시에 계산할 수 있어 병렬 처리가 가능하며, 이를 통해 시간 효율적으로 처리할 수 있습니다. 또한, Self-Attention을 사용하여 입력 시퀀스의 모든 위치들 간의 상관 관계를 파악하므로 전역적인 문맥을 효.. 2023.11.29
• [PHP] CURL로 API 호출할 때 디버깅 하는 방법 PHP를 쓰다보니 Python처럼 셀 단위로 프롬프트 출력이 가능하다면 얼마나 좋을까 하는 생각을 많이 했습니다. 원래 Python 밖에 못하는 그지 깽깽이였던 시절에 특히 심했습니다. 지금도 깽깽이 정도 면한 신세다만, 어쨋든 PHP는 디버깅 자체가 앞단에 붙어서 테스트 해야해서 골치가 아팠습니다. 그래도 뭐 함수 print_object로 거의 다 확인이 가능했습니다만 CURL로 API를 호출하는 코드를 짜고나서 이 녀석이 잘 갔나를 볼 수가 없더랍니다. 그래서 변수로 빼내서도 해보고 온갖 삽질을 하던 중 ... PHP CURL에서도 딥러닝 학습할 때처럼 Verbose 옵션을 줄 수 있다는 사실을 알게됐습니다. $c = curl_init('https://www.google.com'); curl_seto.. 2023.11.24
• [PHP] ARRAY 내부 한글 깨짐 에러 해결 방법 안녕하세요,.. 또 뭐 했다고 11월이 끝나갑니다. 더불어 졸라 춥습니다. 한동안 제게 고통스러운 언어였던 PHP랑은 이제 좀 친구(?)라고 부를만한 정도가 된 것 같습니다. (서당개 3년이면 풍월을 읊는다더니... 3개월 만에 PHP에 눈이 뜨이기 시작하네요...) 오늘 포스팅 하는 글은 MariaDB에서 꺼낸 데이터를 PHP 코드로 Array에 값을 넣어주고 CURL로 API 호출하는 과정에서 자꾸 한글이 깨지는 현상이 있었습니다. 누군가는 쉬이 해결하시길 바라며 글을 써봅니다. \uC18C\uC7AC \uAD00\uB828 \uCD94\uAC00 \uC815\uBCF4. \uC774 \uC0C1\uD488\uC758 ... uB808\uC774\uD2B8 위와 같이 유니코드로 한글이 바뀌어버리는 이.. 2023.11.24
• xAPI 단어 사전 만드는 방법 xAPI와 CoPs에서 만든 단어 사전은 특정 도메인의 단어들이 포함되지 않기 때문에 새로이 단어집을 만들어야 할 수 있다. 예를 들어 한사랑랑산악회 라는 모임에서 xAPI를 이용해 데이터를 수집하고 저장할 때는 교육 목적의 단어집에서는 쓸만한 내용이 없을거다. 한사랑산악회에서는 "climb" 같은 동사나 "baeksook" 같은 활동(혹은 물체)이 주력으로 사용되고, 만약 동사를 필터링 했을 때 어떤 산을 올랐는지에 대한 데이터를 검색하기 쉬울 것이다. 그래서 오늘은 단어집을 만드는데 표준 규격에 최대한 맞춰서 지속성을 가진 단어집을 만드는 방법에 대해서 공식 문서에서 소개된 방법을 공유해보고자 글을 작성한다. 첫번째로 확인해야할 것은 이미 ADL이나 CoP에서 정의한 단어집에 내가 사용할 단어가 있는.. 2023.11.03
• xAPI 동사(Verb)와 활동(Activity)의 차이 안녕하세요 주인장 이정구입니다. 날이 흐린게 몸이 휘적휘적 거리게 되는 오후네요 ... 오늘은 xAPI에서 Statement를 작성할 때 보면 이게 동사로 정의해야 하는지 활동으로 정의해야 하는지 고민되는 때가 있습니다. 이에 대한 글이 공식 홈페이지에 있어서 거기 예제를 가져와 같이 살펴보도록 하겠습니다. 아래 예제는 xAPI 공식문서 중 xAPI Statements 101 이라는 문서에서 발췌했습니다. https://xapi.com/statements-101/ xAPI Statements: The anatomy of an xAPI statement We define each component of an xAPI statement and provide examples. At the simplest le.. 2023.11.01