kajewi31's Laboratory

데이터-AI를 활용한 물가 예측 경진대회
개인적으로 시계열 데이터에 관심이 많은편이며, 주식투자 대회와 같은 분야에서도 수상경력이 있기 때문에 자연스럽게 DACON에 있는 것을 보고 참여하게된 대회입니다.

시계열 + 정형데이터고 물가 예측이라는 불확실성을 동반하는 대회 같은경우는 일반적으로 많은 수의 참여자가 모이게 됩니다. 잘하는 사람들이 있지만, 분명히 불확실성을 동반하기 때문입니다. 하지만 이번 대회같은 경우에는 데이터를 처리하는 부분에 있어서 까다로운 부분이 많았고 일반적인 시계열 모델을 활용할 수 없기에 또 나름 수상 가능성이 보였던 것 같습니다.

1차 예선에서는 저는 다양한 tree 모델을 활용하여 결과물을 구축했습니다. 개인적으로 가격을 예측하는 문제에서 scaling을 하는 것을 선호하지 않기 때문에 tree 모델을 활용했는데 대체로 양호한 결과물을 구축한것 같습니다. 물가의 경우에는 가격이 너무 낮아지거나 높아질 시 정부개입이 존재하기 때문에 트리 모델의 주요 특성중 하나인 보지 못한 output을 내지 않는다는 것이 효과적으로 작용한 것 같습니다.

2차 예선에서는 가격데이터에 추가적으로 전국도매시장과 산지직판장의 경매건수 데이터를 활용하였습니다. 공급이 가격에 결정적인 영향을 끼치는 것 같으며 정부 정책또한 이를 기반으로 움직이는 것 같은 경향성을 파악했기 때문입니다. 추가적으로 가격 예측의 안정성을 위해 상한-하한을 제시하는 모델을 만들었고 이를 기반으로 모델의 활용가능성에 힘을 더했습니다.

본선에서는 2024 정부박람회에서 제가 구현한 모델을 발표하는 시간을 가졌고 결과적으로 우수상을 수상했습니다.

여담으로 2024 정부박람회가 전라도 광주에서 개최되어 처음 광주를 가 보았는데 정말 음식이 맛있다는 생각을 했습니다.

농넷 활용사례 수기공모전
이 공모전은 상당히 특이한 이유로 진행하게 되었습니다.

[2024 기상 빅데이터 콘테스트]에서 [최우수상]을 수상하여 저희 팀은 [제 12회 범정부 공공데이터 활용 창업경진대회 통합본선]에 참여할 수 있는 기회를 얻었습니다. 여기서 저희팀은 [기상청] 대회의 우승자였기에 기상에 관련된 창업 아이템을 피칭해야했습니다.

저희는 기상데이터를 활용한 농산물 판매 플랫폼을 창업아이디어로 결정하였고 이는 아쉽게도 탈락으로 마무리 되었습니다. 하지만 대회의 훈격이 큰 만큼 다양한 부분으로 준비를 했기에 이 아이디어를 그냥 마무리 짓기는 아쉬었습니다.

이에 마침 동시에 진행되고 있던 [농넷 활용사례 수기공모전]에 참여하였고 [소비부분:장려상]을 수상할 수 있었습니다.

2024 날씨 빅데이터 콘테스트
이 대회는 굉장히 가까운 지인분들과 함께 참여했습니다. 정말 다양한 직군에 속해있는 분들과 참여했는데요. 

- 임베디드 개발자
- 백엔드 개발자
- 기상연구원
- 금융애널리스트
- 본인

이렇게 참여를 한 대회였습니다.

저는 주로 데이터를 수집-추출-가공 하여 팀원들에게 제공하는 임무를 수행했습니다. 아무래도 다양한 직군의 분들과 작업을 하다보니 정말 문제를 바라보고 해결하려는 방식이 참 달랐습니다. 그렇기 때문에 결과적으로 좋은 결과물이 나온 대회이지 않나 싶습니다.

특히 인상적이었던 점은

1. Logistic Regression이 우수한 성능을 보였다.

일반적으로 ML 경진대회에 참여하면, 이렇게 단순한 모델이 좋은 성능을 내는 경우는 드물었습니다. 하지만 팀원들의 도메인지식과 굉장히 디테일한 파라미터 조절을 통해 좋은 성능을 낸것이 인상적이었습니다.

2. 보고서의 견고함

저는 개인적으로 LLM 모델을 통한 글을 볼때면, '사람이 이렇게 글을 단단하게 쓸 수 있나?'라는 생각을 합니다만, 금융애널리스트 팀원의 보고서를 보고 정말 많이 놀랐습니다. 아 실제로 이렇게 글을 깔끔하고 간결하게 쓰는 사람이 있구나 놀랐던 것 같습니다.

한국거래소 제2회 알고리즘 주식투자 경진대회
데이터 사이언스에서 주요한 데이터 타입은 크게 4가지가 있는것 같습니다.

1. 테이블 데이터
2. 시계열 데이터
3. 이미지 데이터
4. 자연어 데이터

입니다.

이 중 하나를 굳이 하나를  시계열 데이터에 특히 매력을 많이 느꼈습니다. 그리고 이때 마침 직장에서도 퇴사하고 졸업시기도 맞물려서 괜찮은 대회를 찾아보다 [한국거래소 제2회 알고리즘 주식투자 경진대회]에 참여하기로 합니다.

대회가 실제로 모델 로직 기반으로 한달간 검증을 진행하기에 data-leakage 문제는 없는 스타일 이었습니다

저는 예선에는 유사도 기반의 의사결정을 진행하는 모델을 구축 했습니다. 이전 프로젝트가 추천시스템을 구축하는 일이었기에 굉장히 유사도에 빠져있던 시기였습니다. 그렇기에 거시경제 지표 유사도로 현재와 유사한 시점을 찾고 현재와 유사한 시점에 많이 오른 / 내린 종목을 long / short 치는 방식으로 로직을 짯습니다.

운이 작용했지만 어찌되었든 안정적으로 본선에 진출할 수 있는 수익률을 얻을 수 있었습니다.

본선에서는 한국거래소의 유료데이터 활용이 가능해졌습니다. 또한 예선과 달리 포트폴리오 구축이 아닌 약 30일간 5000만원을 초기자금으로 실제 구매와 판매를 진행하는 파이썬 라이브러리를 구축 해야 했습니다.

이는 단순 종목 선택이 아닌

종목 선택 -> 종목별 구매 수량 ->  판매 종목 선택 -> 종목별 판매 기준 설립 및 이행 

을 해야했기에 꽤나 까다로웠습니다.

저는 유사도와 기울기를 기반으로 펀더먼탈한 지표를 평가하고 구매에 적용하며 판매에는 테크니컬한 지표를 활용하여 라이브러리를 구축 하였습니다. 이때 처음으로 활용가능한 라이브러리를 구축해본 경험이 이후 다양한 프로젝트에 도움이 된것 같습니다.

개인적으로 생각하기에 이미지나 자연어처리 말고 압도적인 성능의 모델이 없는 알고리즘 매매인 만큼 온전히 제가 원하는 로직을 구축하고 구현하는 재미가 있는 프로젝트였습니다.

달리셔스

기업연계 프로젝트에서 시작하여 나름 작업역량을 인정받아 근무한 스타트업 달리셔스입니다. 달리셔스는 단체배송서비스를 제공하는 기업이었습니다. 간단히 비즈니스 모델을 설명드리자면.

네 이런 형태의 음심적과 고객사를 그룹으로 묶어서 그들의 만족도를 최대한 떨어트리지 않는선에서 단체배송을 진행하는 서비스를 수행하는 회사였습니다.
여기서 저는 앱 내부의 고객들에게 적용되는 음식 추천시스템을 구현하는 업무를 맡았습니다. 추천시스템 구현을 위해서 

1. 데이터 웨어하우스 구축
2. 추천 모델 구축
3. 추천 모델 배포

와 같은 단계를 겪으면서 클라우드에 대한 이해, DB에 대한 이해, 네트워크에 대한 이해, 배포를 위한 백엔드에 대한 이해와 같이 정말 다양한 분야를 한꺼번에 배울 수 있었습니다.

2023.03 부터는 개인적으로 업무자동화 시스템을 구축하는데 집중했습니다. 이전에는 음식점과 고객사를 그룹으로 묶는 것을 매주 회의를 통해 진행했지만, 거리와 과거 식단을 기반으로 자동으로 군집화를 하는 시스템을 구축하였습니다.

회사의 상황이 안좋은 상황이었기 때문에 정말 해볼 수 있는건 뭐든 해보는 시기를 동료분들과 함께 보내서 많이 배운 시간이었다고 생각합니다.

SK-Planet T-Academy 빅데이터 분석가 1기

학부인턴에서도 굉장히 열정적으로 데이터 관련 프로젝트에 참여하고, 개인적인 작업도 꾸준히 했었기 때문에 나름 데이터 관련된 부분에 있어서 자신감이 있었습니다. 그리고 내가 이쪽 분야로 커리어를 쌓아나가는 것에 대한 확신이 있었기에 국비지원 교육을 이수하기로 하였습니다.

아는 내용도 있고 모르는 내용도 있었지만, 처음부터 끝까지 한번 커리큘럼을 쭉 따라가는 것은 꽤나 즐거운 일이었습니다. 이때 개발자 출신의 분들과도 다양한 대화를 나눴는데 확실히 제가 하고싶은 일이라는 생각이 들었습니다.

최종적으로는 기업연계프로젝트를 진행했습니다. 저는 스타트업에서 추천시스템구축을 하는 프로젝트를 선택하여 수행하였는데 실제로 약 3개월 동안 회사에 출근하며 작업을 진행했습니다. 하지만 사내에 데이터 팀이 있는것은 아니었기 때문에 굉장히 자유롭게 작업할 수 있었습니다.

이 때 현업의 DB의 복잡함을 알고, 백엔드가 돌아가는 시스템을 파악하고 데이터 웨어하우스를 구축하고 정말 다양한 작업을 했습니다. 이 때의 경험덕에 전문적이지는 않지만 대체로 개발팀이 어떤식으로 돌아가고 있는지 파악을 할 수 있게 된 것 같습니다. 좋은 분들이 많았고 많은 고민을 했던 시기였습니다. 

뭐 지나간 일에 대한 여담으로, 회사가 사실 굉장히 힘든 상황이었고 임금체불도 공공연히 일어나는 상황이었습니다. 그렇지만 저는 제 첫 장기프로젝트에 대한 애착 + 돈이 급한 것은 아님 + 사람들도 좋음 이라는 이유로 약 3개월 정도 추가적으로 회사를 다니며 학교 막학기를 병행했습니다.

서울시립대학교 빅데이터 AI 공모전 

시립대 친구들과 처음으로 같이 진행하게 된 프로젝트였습니다. 참여 인원은 물리학과 동기 한명과 컴퓨터 공학과 친구 한명이었습니다. 놀랍게도 컴퓨터공학과 친구는 제 군대 선임입니다. 군대에서 맞선임으로 지냈던 사람인데, 시립대 편입을하고 연락을 하니 닿게 되어서 함께 프로젝트를 진행하게 되었습니다.

프로젝트의 주제는 '도시 문제를 데이터 기반으로 해결하자.' 였으며 저희의 주제는 결과적으로 '데이터 기반의 최적의 전기차 충전소 입지 선정'이 되었습니다. 지금 생각해보면 저도 이때 참 부족한 점이 많았는데, 부족한 상태에서 꽤나 지저분한 공공데이터를 처리하는 작업을 하다보니 제가 특히 데이터 전처리에 강점을 가지게 된 것 같습니다.

이 프로젝트 이후로는 어떤 팀프로젝트를 진행하던 대부분 제가 데이터 전처리를 수행하게 된 듯합니다. 역시 처음에 독하게 배운게 긴시간동안 자산이 되는 것 같습니다. 결과까지는 긴 시간이 걸렸지만 결론적으로는 수상까지 하였습니다. 팀프로젝트를 하며 약간의 갈등도 있었지만 팀원분들께서 잘 이끌어 주신듯 합니다.

지금 생각해보니 또 고마운 사람들입니다.

서울시립대학교

편입이 잘 마무리되어서 저는 [서울시립대학교-물리학과]로 이동을 하게 됩니다. 하지만 시기는 여전히 코로나가 있는 시기였고, 대부분을 온라인 강의로 진행했던 것 같습니다. 그래도 제 개인적으로는 대학에 대한 열등감이 어느정도 해소됨을 느꼈습니다.

이 때에도 지금도 개인적으로 생각하기에 제가 외로움을 느끼는 편은 아닙니다만, 어쩌면 이 시기가 제가 외로움을 느끼지 않게 된 결정적인 시기같기도 합니다. 혼자서 편입을 성공적으로 마무리한것에 대한 뿌듯함과 새로운 학교에서 잘 알지 못하는 사람들과 온라인으로 강의를 듣는 시간의 연속이었습니다.

좋은 기회로 물리학과 연구실의 인턴으로 참여하게 되었으며 이 과정에 데이터 분석의 매력에 매료됩니다. 저는 개인적으로 물리학을 좋아했지만, 이걸 기반으로 사회에서 가치를 만들려면 정말 오랜시간이 걸릴 것 같다는 생각을 하고 있었습니다. 이러한 생각이 있는 과정에서 데이터 분석 및 엔지니어링은 정말 매력적으로 다가왔습니다.

데이터 분석 및 엔지니어링을 접하며 이 분야에서 일하고 싶다는 생각을 하던 때 쯤 저는 통계학과 복수전공을 하기로 마음먹습니다. 돌이켜 보면 조금 감정적이기도 하고 대책없이 선택한 길이었지만 돌아보면 잘한일이라는 생각이 듭니다.

물리학과 연구실에서 접한 데이터 사이언스에 매료되어 조금 감정적으로? 혹은 급진적으로 통계학과 복수전공을 진행하게 됩니다. 아무래도 물리학이 갖추게 해주는 기본적인 수학지식 때문에 따라가는것이 어렵지는 않았습니다.

다만 물리학과 다른 통계학의 감성을 이해하는데에는 조금 시간이 걸렸던 것 같습니다. 주위 친구들에게 둘의 차이를 설명하자면, '물리학은 굉장히 단단한 학문이다. 통계학은 조금 더 물렁한 학문이다. 하지만 통계학은 물렁한 만큼 더 많은 것들을 설명해준다.' 라고 이야기 하는 것 같습니다.

통계학 복수전공은 이후 양자물리와 열-통계 물리를 공부하면서도 필요성을 꽤나 느낀 것 같습니다. 이는 선행학습 때문에 필요성을 느낀것이 아니라, 통계적인 지식이 인생을 살아가는데 꽤나 필요한 지식이라는 생각이 들었기 때문입니다.

아직도 통계가 편하진 않습니다만, 나름 통계학 학위가 있는 것은 뿌듯합니다.

대한민국-육군

2018.09.03 저는 대학교 2학년 1학기를 마치고 군대에 가게됩니다. 개인적으로 남학교 기숙사에도 살아보고 워낙 남초사회에서 오래 지내다 보니 적응에 대한 큰 걱정은 없었던 것 같습니다. 또한 머리를 짧게 자르는 것도 고등학교 때 반삭으로 지내서 큰 거부감이 없었습니다.

훈련소에서는 2025.03.01 현재까지도 연락하는 훈련소 동기들도 만나게 되었습니다. 군대는 정말 다양한 삶의 모습들을 한곳에 뭉쳐둔 모습이었고 이에 저도 인생을 어떻게 사는것이 맞는 것인지 고민을 하게 해주는 시간이었습니다.

제 자대는 파주에 위치한 1사단이었습니다. 한번도 가보지 않았던 파주는 참추웠던 것 같습니다. 금촌역 근처에서 복귀를 기다리며 음식을 사먹고 PC방에서 게임을 하던 기억이 있습니다. 그래도 군인시기는 '하루를 살면, 하루를 한것'이라는 마음에 위안이 있었기에 조급함이 없었던 것이 기억에 남습니다.

추가적으로 군대에서 처음 접한 헬스를 2025.03.01 현재까지도 꾸준히 즐겁게 하고 있는 것 같습니다. 개인적으로 엄청 열정적으로 급하게 빠져들고 식는 스타일 보다는 천천히 즐기는 타입인것이 헬스와 성향이 잘 맞는것 같습니다.

광운대학교

많은 스트레스가 있었지만, 결론적으로 저는 광운대학교에 진학을 하게 됩니다. 개인적으로 만족스러운 결과는 아니었습니다만, 또 나름 안에서도 열심히 지내려고 했던것 같습니다.

저는 꽤 다양한 동아리를 들었는데, 그 중 풍물동아리에서 활동을 좀 열정적으로 했던 것 같습니다. 풍물 자체에 대한 관심보다는 제일 고등학교 친구들처럼 막역하게 사람들과 지내는 것 같아서 더 마음이 끌렸던 것 같습니다.

전역하고 나와서는 코로나가 한창이던 시기였습니다. 그리고 그 시기에 온라인 강의도 많고 개인적인 열등감을 좀 해소하고자 편입과 전과를 준비했던 것 같습니다. 열심히 물리를 공부했으니 이걸 기반으로 편입도 시도해보고, 편입 물리문제를 풀 수준이 안된다면 전자공학과로 전과를 하려고 했던 것 같습니다.

결론적으로는 [광운대학교-전자공학과]전과와 [서울시립대학교-물리학과]편입에 성공하였고, 약간의 고민 끝에 서울시립대학교-물리학과로 편입을 선택하게 되었습니다.

김천고등학교

중학교 때 공부를 애매하게 잘했던 것 같습니다. 집 주변 외고를 가기에는 조금 부족했고, 일반고를 가기에는 조금 아까운 성적이었습니다. 그러다 보니 부모님께서는 제가 선택할 수 있는 다른 옵션이 있을지 찾아보셨고 그러던 중 김천고등학교를 알게 되었습니다.

김천고등학교는 경상북도 김천에 위치한 자율형 사립고로, 또한 남학교이자 기숙사 학교이기도 합니다. 저에게는 새로운 시작과도 같은 곳이었습니다. 저를 모르는 친구들과 함께, 감수성 예민한 고등학생이라는 시기를 보냈습니다.

꽤나 공부를 잘한다고 생각했지만, 확실히 자사고 친구들은 수준이 달랐습니다. 또한 새로운 사람들과 함께다 보니, 마음고생도 꽤 심했던 것 같습니다. 하지만 학년이 올라가면서, 같이 먹고 자고 공부하는 친구들과는 깊은 우정을 쌓았습니다.

고등학교 친구들은 지금까지도 연락하며, 그 시절에 다듬어진 인격을 기반으로 인생을 살아가고 있는것 같습니다. 지금도 연락하고 있는 멋진 친구들을 보며, 저도 인생을 갈고 닦아야겠다는 생각을 합니다.

광남중학교

중학교 때는 말 그대로 고등학교와 초등학교의 중간 단계로, 사회화가 진행되던 시기였던 것 같습니다. 이 시기에 처음으로 좋아했던 여자아이가 있었습니다. 스스로는 그냥 축구와 게임을 좋아하는 평범한 중학생이었습니다. 무언가에 엄청난 열정을 쏟았던 기억은 없지만, 공부는 제법 잘했던 것 같습니다. 

광남중학교는 산에 있어 등굣길에 ‘짝산’이라는 곳에서 가끔 흡연이나 구타가 벌어지기도 했습니다. 하지만 그리 심하진 않았던 것으로 기억합니다. 많은 기억이 남아 있진 않지만, 몇몇 친구들과 즐거운 추억이 있는 학교였습니다.

태전초등학교

저는 경기도 광주에서 초등학교를 다녔습니다. 서울과 가깝지도, 멀지도 않은 곳이었다고 생각합니다. 주변에 나름 자연이라고 할만한 것들도 있어 살기 괜찮은 곳이었습니다. 마음 먹으면 하루 내어 다녀올 수도 있는 곳이지만, 특별한 계기가 없어 가지 않은지 10년은 된것 같은 곳입니다. 나중에 동창회라도 열린다면 가게 될지도 모르겠습니다.

초등학교 때 저는 꽤 시끄럽고 호전적인 아이였던 것 같습니다. 스포츠도 좋아하고 싸움도 꽤나 잘했던 것 같습니다만, 성격이 무리 지어 다니는 것을 잘하지도, 좋아하지도 않는 성격이었습니다. 같이 놀거리가 있다면(축구, 노래방, pc방 등) 잘 어울려 다녔지만, 함께 있기 위해 함께 있는 성격은 아니었던것 같습니다.

저에게 부산은 상당히 특이한 공간입니다. 저는 유치원과 초등학교를 수도권에서 다녔기 때문에 부산에 대한 강한 그리움이 있지는 않습니다. 또한 어린시절의 추억이 남아있는 공간도 아닙니다.

그럼에도 불구하고, 명절이나 개인적인 일정으로 부산을 갈 때면 묘하게 가슴이 뛰는 것 같습니다. 일차원적인 즐거움은 아니지만, 그렇다고 불쾌한 감정은 아닙니다. 저는 이러한 기분을 "나에게 부산은 무진기행의 무진 같은 곳이다."라고 표현하곤 합니다.

개인적으로 바다는 참 좋아하는것 같습니다. 낚시에 특별한 열정이 있는것은 아니지만, 조금 더 오래 바다를 바라보고 싶어 낚싯대를 던져두곤 합니다.