✍️글로 생각 다듬는 블로그

[박람회] 에듀테크 관점의 GroupBy 2026 스타트업 채용박람회 후기

테크겸 — Tue, 10 Feb 2026 20:45:16 +0900

지금보니 하고싶은 분야가 좀 많아 보이긴 하다

원래는 갈 생각이 없던 박람회였지만 나의 취준 메이트들이 꼬셔서 가게 됐었는데, 생각보다 많은 인사이트를 얻어서 한번 정리해보려 한다. 갤러리에서 그날의 사진을 보면서 복기를 해보려 했는데 사진이 많지 않더라... 아무래도 열심히 부스 구경하고, 이벤트 참여하고, 기업 설명 듣느라 바빠서 사진이 몇 없는 것 같다.

가기 전까지

갈 생각이 없는 데는 다양한 이유가 있었다. 안 가면 안 가는 거지 뭘 또 다양한 이유까지 필요한가 싶겠지만 나는 그렇다. 그때 당시만 해도 가고 싶은 기업들과 직무를 확정 지을 때쯤이었기에 굳이? 싶었기 때문이다. 그리고 마지막 인턴 이후 교육 분야에 관심이 생긴 터라 개발에서 직무 전환을 하는 만큼 조급한 마음이 앞서 해당 분야로의 취업을 위한 준비를 하는 시간만 해도 부족하다고 느껴서이기도 했다.

사실 취준 메이트들이 말하기를, 내 X도 간다기에 가지 않으려했던 이유도 있다. 근데 이게 웬걸. 안 간다고 하네? 솔직히 전공과 이력을 생각해 보면 스타트업 박람회에 온다는 게 말이 안 되긴 했다. 어쨌든 한번 가볼까 하는 마음이 들던 찰나에 참여하고 있는 포트폴리오 챌린지를 마치고 마음에 여유가 또 생겨서 참여 기업들을 한번 둘러봤다. 평소 내가 주의 깊게 봤던 제로베이스(데이원컴퍼니), 팀스파르타가 참여하길래 아 이건 못 참지 하는 마음으로 바로 신청하고 구직 메이트들에게 통보했다.

그렇게 대망의 박람회날 아침, 우리는 9시 반에 모이기로 했지만 아니나 다를까 코리안타임을 적용하는 나의 취준 메이트들... 그래서 나도 그냥 환승 중간에 파리바게트 가서 바질치즈빵 하나 먹고 환승 가능 시간 여유롭게 쓰면서 10시쯤에 도착했다. 코엑스를 잘 가본 적 없다 보니 봉은사역에 내려서 안내판 보고 어디로 가야 되는고... 하니 멍 때리고 있는데 웬 인도인 st 청년이 Excuse me? 하면서 코엑스 컨벤션홀 가야 되는데 어디로 가야 되는지 물어보는 게 아니겠는가. 그래서 어렵게 할 것 없이 오 나도 거기 가는데 Follow me! 하고 가는 길에 스몰톡을 좀 했다.

알고 보니 이 청년, 나랑 같은 그룹바이 채용박람회가 목적지면서 경력 1년 차의 AI엔지니어였다. 뭐라고 부르면 되냐고 물었는데 이름이 두 줄이 넘어가더라ㄷㄷ 쉽게 부르는 이름을 알려줬는데 지금은 기억이 안 난다. 도착해서 나는 일행이 있다고 빠이빠이 했는데 둘러보는 내내 생각보다 자주 마주쳐서 조금 머쓱했다. 심지어 일행 아직 안 왔었는데 좀 더 얘기할걸 그랬나 싶기도 하고

정작 같이 간 일행들과는 깜박하고 마주친 다른 지인들과 찍은 명찰 인증

인상 깊었던 기업들

■ 뱅크샐러드 (가방만)

입구에 들어서면서 인도인 청년과 헤어지고 일행 기다리면서 어디 한 번 볼까 입구 근처 부스를 서성거리고 있었는데 웬 가방을 잔뜩 진 사람과 눈이 마주쳤다. 체감 3초 정도 아이컨택했는데 웃으며 오시더니 가방 가져가세요~ 하면서 하나 스윽 주셨는데 알고 보니 뱅크샐러드였다. 알기로는 이번 박람회에서 개발 직군을 뽑지 않아서 관심에 두진 않았었는데 가방 받는 과정이 너무 웃겨서 두고두고 생각이 났다.

근데 이 가방... 진짜 와방 크다. 너무 크다. 가방끈과 몸체를 늘어뜨리면 땅에 질질 끌릴 정도로 컸다. 어깨에다 메라고 그렇게 제작된 거 같긴 한데 그래도 감당 힘들 정도로 커서 나의 일행들은 물품보관함에 넣거나 다른 가방을 받아서 들고 다녔다. 나는 일단 그래도 받은 거니까 들고 다니면서 요긴하게 쓰긴 했는데 남는 공간 워낙 많아서 안에 든 물건들이 초라해 보이더라.

■ 이사대학

홍보에 적극적이라 방문한 기업이었다. 이벤트 추첨에 이름 올리고 좀만 기다리면 설명회를 해준다고 했는데 개발 리드가 10시 넘어서 온다며 이따가 연락 준다고 하더라. 그렇게 다른 기업 부스돌이 하다가 문자가 와서 리드분을 뵐 수 있었는데, 나와 일행 3명 포함해서 6-7명 정도 둘러싼 형태로 설명회 및 QnA를 진행했다.

이사대학은 이사 중개 서비스가 메인이었는데 그동안 숱하게 이사 중개 서비스를 봤지만(미소, 숨고,...) 이사대학은 처음이라 어떻게 이런 네임벨류 서비스들을 뚫고 매출을 내는 거지 싶어서 설명을 주의 깊게 들었다. 그런데 알고 보니 온라인 서비스 출범은 아직 안 됐고 그동안 오프라인(like 콜센터)으로 매출을 낸 케이스였다. 이때 약간 엥? 했지만 투자를 받지 않고 이 정도까지 서비스를 키워낸 거라고 하셔서 끄덕할 수 있었다.

그렇지만 나는 역시 매출구조가 가시적이고 이해할 수 있는 기업이 좋다. 창업 활동을 많이 하면서 항상 차별점을 중시하게 됐는데 이사 중개에 있어서 이사대학만의 차별점은 무엇인지 알 수 없었다. 그래서 이사대학만의 차별점이나 경쟁사가 있는지 물어봤었는데 기억에 남는 답변은 없었다. 하나 의외였던 건 '아정당'도 이사중개를 해서 경쟁사 중 하나라고 했던 것. 이후로는 기업에 대해서 약간 흥미가 떨어져 기업보다는 개발팀에 대해서 더 물어봤었다.

Q1. 합류한다면 어떤 프로젝트를 하게 되는지

A1. 온라인 서비스를 런칭 준비 중이므로 여기 투입되어 플랫폼 개발을 하게 된다.

Q2. 주요 업무를 보면 데이터 기반 개선이나 그로스 세팅 및 퍼널 설계 등이 있는데 비중이 얼마나 되는가?

A2. 현재로선 거의 없다. 0 to 1이나 다름없기에 운영보다는 FE, BE 등의 개발 스택이 필요하다. ~~이 문구를 쓴 건 HR... 읍읍~~

Q3. 인상 깊었던, 혹은 함께하고 싶은 구직자는 어떤 사람인가

A3. 이직하기 위해 열심히 하는 사람을 원한다. (진짜 이렇게 말씀하셨다) 취업했다고 안주해서 고여가기보다 자신의 몸값을 올리기 위해 노력하고, 성장하고, 성과를 내는 그런 사람이 좋다. 그래서 그런 열정이 엿보이는 사람을 우선하고 있다.

3번째 질문에 대한 답변은 가히 충격적이었다. 본격 이직 권장 기업?!?! 하지만 "여긴 지옥이야 탈출해" 이런 뉘앙스가 아니라 능력 있는 사람이라면 언제든 환영하며, 실리콘밸리와 같은 이직의 선순환을 긍정적으로 보는 것이 느껴져 한순간에 기업에 대한 호감도가 확 올라갔다. 그 외 다른 분들의 질문도 있었는데 영양가는 없었다. 하나 놀랐던 것은 구직자분들이 들고 있는 팜플렛만 보면 알 수 있는 것들을 질문한다는 것이었는데 걔 중에는 경력분들도 계셔서 더욱 놀라울 따름이었다. 근데 뭐 답변이 어려운 것은 아니니까 그럴 수 있지.

■ 제로베이스✨

제로베이스는 예전부터 봐왔기도 했고 포트폴리오 참고자료도 받은 적이 있어서 익히 알고 있는 곳이었다. 그래서 에듀테크쪽으로 취업을 준비하던 내가 지망하는 곳이기도 했는데 띠용 이게 웬걸? 여전히 KDT과정 취업 부트캠프인 줄 알았는데 이번에 보니까 취업정보회사로 바뀐 게 아니겠는가...! 모르고 지원했으면 아주 클날 뻔했을 것 같다. 물론 아직 기업 분석을 하기 전이긴 했다만...

이 부스에서는 볼펜, 공책, 그리고 대망의 제로베이스 무료 컨설팅 1회권을 받았다. QR 코드 찍고 바로 되는 시간에서 일정 선택까지 그 자리에서 완료하여 1월 20일에 다녀왔다. 그때 마침 담당 컨설턴트분이 교육쪽에 몸 담았던 분이라 정말 피가 되고 살이 되는 조언을 얻을 수 있었다. 개인적인 내용과 오프 더레코드가 많아서 여기에 전부를 풀진 않겠지만, 하나 확실히 할 수 있는 것은 제로베이스는 기존의 기수제에서 개인 맞춤 커리어 지원으로 바뀌면서 한 명 한 명을 관리할 수 있는 스케쥴링 역량이 많이 필요해졌다고 하니까 이 점을 고려해서 제로베이스를 고민해 볼 것이다.

■ 팀스파르타(내일배움캠프)✨

팀스파르타에서는 무려 현장 커리어 상담을 받을 수 있었다. 대기가 필요해서 신청 후 부스돌이를 하다가 일행들과 점심을 먹고 있는데 전화가 와서 조마조마했던 기억이 있다. 아니 이 사람들은 밥도 안 먹고 일하나...? 분명 기업 직원들도 점심 먹으러 가서 한산해지는 거 보고 우리도 밥 먹으러 간 거였는데 ㄷㄷ 내 순서가 없어지는 건가 싶었는데 다행히 2시쯤으로 미루면서 여유 있게 들깨칼국수 들이키고 무사히 상담받을 수 있었다. (사실 근소한 차이로 먼저 신청한 일행에게 전화 와서 나에게도 곧 전화올 것은 알고 있었다.)

커리어 상담이었지만 나에겐 사실 현직자 커피챗이나 다름없었다. 왜냐하면 팀스파르타는 내가 가고 싶은 곳 중 하나이기 때문! 이미 한번 낙방한 적 있지만 그 경험과 내 이력서를 기반으로 보완할 점이나 어필할 점을 피드백받았었다. 이때도 역시 피가 되고 살이 되는 조언을 얻을 수 있었는데 살짝만 풀어보자면 교육산업에 대한 이해도를 높이는 게 필요하다는 것이었다. 교육이 어떻게 이뤄지는지 약간은 알고 있지만 그것이 어떻게 유기적으로 연결되는지, 단계별로 어떤 점을 특히 신경 써야 하는지 등을 생각해 볼 수 있는 계기가 됐다.

그리고 정말 꿀팁을 하나만 더 풀자면 팀스파르타에는 빠. 우. 성 (빠르게, 와우 하게, 진실성 있게) 말고 숨겨진 인재상이 하나 더 있다고 하셨다. 그것은 바로 '말을 예쁘게 하는 사람'. 사실 이 문구를 팀스파르타 블로그를 뒤적거리다가 본 것 같긴 한데 현직자 입에서 들으니 더욱 와닿았다. 이때 궁금했던 것은 채용 과정에 있어서 특히 면접 같은 정중한 자리에서는 다들 말을 예쁘게, 잘하려고 노력할 텐데 어떻게 이것을 차별성 있게 확인하는가? 였다.

컨설턴트님은 '문제해결' 역량을 굉장히 중요시하셨는데 어느 부분을 얘기하더라도 꼭 이 역량으로 귀결되곤 했다. 마찬가지로 '말을 예쁘게 하는 사람'도 면접에서 자신만의 문제해결 방법을 들어보면 어느 정도 판단이 된다고 하셨다. 에듀테크 특성상 굉장히 다양한 사람들을 많이 만나게 되는 만큼 이 역량이 특히 중요하고 여기서 파생되어 나올 수 있는 질문에 준비만 해도 면접에서 주를 이룰 것 같은 느낌이 들어 앞으로의 취준 방향을 좀 더 견고히 결정할 수 있게 됐다.

■ 이팝소프트(말해보카)

비록 박람회를 갈 때만 해도 케이크라는 어플을 사용해 영어 공부를 하고 있었지만 이후 말해보카로 다시 넘어왔다. 한창 미드로 영어공부하는 것에 빠져서 말해보카에서 케이크로 넘어간 것이었는데, 케이크.... 너무 구리다. UI도 몇 년째 그대로 발전이 없고, 동기부여 해주는 요소도 없고, 발음 교정도 안해준다(이상한거 말해도 정답으로 인식됨). 이번에 말해보카가 완전 대내외적으로 폼이 올랐기도 하고 이번에 설명회를 들으면서 더욱 호감도가 UP 되어 케이크의 1년 정기구독 갱신을 연장하지 않고 말해보카로 넘어왔다.

말해보카 즉, 이팝소프트는 에듀테크 기업이긴 하지만 내가 원하는 교육과는 결이 다르기도 하고 만약 이 곳을 목표한다면 그건 교육쪽이 아니라 엔지니어로서 접근하는 것이 좀 더 현실성 있게 느껴졌다. 그래서 그저 먼 발치에서 응원하는 보카인이 되기로 했다. 하나 아쉬웠던 것은 이제 패밀리(多人) 요금제 아니라 1인 요금제만 지원한다고 해서 아쉬웠지만 그래도 요즘 말해보카 짱 열심히 하고 있어서 앞으로 더욱 잘되길 바라고 있다.

마치며

생각보다 많은, 어쩌면 일생일대의 인사이트를 얻은 박람회였다. 박람회 자체는 뭔가 뭔가 아쉬웠지만 (장식같이 한쪽 벽면을 꽉 채운 A4 채용공고들, 경력직 채용이 대다수인 기업들,...) 애초에 무료 참가라서 뭐라도 얻어갔으면 이득임에도 불구하고 적어도 나는 뽕을 아주 뽑을 대로 뽑았다고 생각한다. 여기서 얻은 인사이트를 통해 지금 현재 패스트캠퍼스 및 팀스파르타에서 실습코치로의 활약을 결심했고, 이렇게 익힌 현장감각으로 추후 교육 매니저로서 활동할지 아니면 프리랜서 강사로서 활동할지 조금은 더 뾰족한 진로를 그리게 됐기에 아주 유의미했던 시간이라 생각한다.

같이 간 ㅇㅇㄱ, ㅇㅁㅈ, ㅂㅎㅈㅎ, 마주쳤던 ㄱㅇㅅ, ㅇㅅㅎ 레츠고

부스돌이하면서 헌팅한 굿즈들!

그룹바이 | 2026 스타트업 채용박람회 현장 신청

채용박람회가 종료되었습니다. 참여 기업 리스트를 확인하실 수 있습니다.

groupby.kr

[컨퍼런스] MODUCON 2025 | 모두콘 2025 현실 후기

테크겸 — Sun, 8 Feb 2026 17:30:25 +0900

어째 글 쓸 때마다 오랜만이다.

그래서 하나 결심한 게 있는데 이젠 그냥 시간 순서 상관없이 써보려고 한다.

순서대로 쓰려니 자꾸 미뤄지고, 쌓이고, 일처럼 느껴져서 그때그때 마음 가는 대로 쓰는 걸로.

내가 블로그로 부업하는 것도 아니고 내 기억, 감상을 남기려는 건데 부담이 생기면 안 되지 아암

와!

모두콘 합격(?)

이번 모두콘은 아이러니하게도 추첨제였다.

그래서 마음 졸이는 상황이 생겼었는데 아니나 다를까 결국 같이 가기로 한 무리 중 3명이 참여를 못하게 된 것.

이게 맞나...? 싶은데 일단 뭐 어떻게... 그냥 그런갑다 해야지. 결국 나머지는 모두콘 끝나고 뒤풀이에서 만났다.

같이 가려던 무리를 잠깐 소개하자면 23년도에 구글 ML 부트캠프에서 친해져서 스터디까지 했던 멤버들이고, 다들 AI 관련 직군이라 특별히 바쁘지 않은 이상 매년 모두콘에서 모였는데 이번에 신청한 5명 중 오직 2명만 합격(?) 된 것이 참 거시기하다. 그도 그럴게 23년도부터 꾸준히 모두콘을 갔던 사람으로서, 갈 때마다 점점 축소되고 기대에 못 미치는 것 같아서 안타까울 따름이다.

사실 인턴이 끝난 당시(10월) 마침 모두콘 서포터즈를 모집하길래 지원할까 싶기도 했었다. 당시에 공동창업 제안도 들어왔었고 진로 고민이 깊어지던 시기였어서 끝내 지원하진 않았었다는 후문이 있다. 그렇게 모임의 형과 단둘이서 가게 됐는데 하필 난 컨디션 난조(끝물이긴 하지만 감기였음), 그 형은 바쁜 일이 생겨서 둘 다 오후에 도착하여 사실상 뒤풀이가 주가 됐다.

보고 싶었던 세션들

각설하고 본론에 들어가 보자.

일단 본인은 창업, AI 교육에 관심 많은 사람인데 아래의 선택된 세션들을 보면 그 관심을 엿볼 수 있을 것이다. 그러나 위에서 말했다시피 컨디션 이슈로 오후 늦게 가서 실제로는 마지막 5, 6번째 세션만 봤다. 불행 중 다행인 게 모두콘은 세션 다시 보기를 유튜브로 제공해 줘서 좋다. 아직까지 다시 보진 않았지만 유튜브에서 나중에 찾아보려고 해당 영상 북마크 해놨다.

기술창업 6번을 통해서 배운 AI 시대의 기회

모두의 연구소 소장님이자 카카오 임팩트 이사이기도 한 노정석 대표님의 연사였다. 솔직히 소개만 들어도 제목이나 내용이 뭔들 보고 싶었을 거다. 구글 매각 얘기도 금시초문이었던지라 나중에 꼭 찾아볼 예정.

AI_TOP_100: AI와 성장하는 사람들

AI_TOP_100이란 경진대회가 열렸던 것은 알고 있다. AI를 얼마나 잘 활용하느냐가 관건이었던 걸로 아는데 참가자 및 본선 진출한 사람들의 상당수가 비전공자였다는 사실이 놀라울 따름이다. 이것도 나중에 꼭 볼 예정.

From Basic, To Specific : 그래프에서 멀티턴으로, 유연함을 디자인하다

볼 것이 뭐 있나~ 쓱 보는데 아는 이름이 딱 보이는 게 아니겠는가? 23년도에 나와 같이 캐글 공부하고 맥주 리뷰 분석 프로젝트를 했던 분이 메인 연사자로 나와서 깜짝 놀랐다. 반가운 마음에 이 분의 세션은 꼭 보고 싶었지만 안타깝게도 세션이 끝나고 30분 뒤에 도착하여 뵙지도 못했다. 연락수단이 슬랙뿐이라 한번 연락드려봤지만 닿진 않았다. 다음에 연이 있으면 뵐 수 있겠지...

지금 발 빠른 기업은 어떻게 AI 인재를 키우고 있을까?

이 세션은 추첨 of 추첨이었다. AI 교육 쪽으로 진로를 틀면서 교육사업자로서의 관점도 알고 싶어서 신청했었는데 광탈...

당신의 5년을 아껴드리겠습니다: 세 번의 창업으로 배운 진짜 성장

역시 주장이나 어필할 때는 숫자가 들어가야 신뢰와 솔깃한 마음이 든다. 들었던 세션이므로 좀 더 자세히 다뤄보도록 하겠다.

바이브코딩: 프롬프팅을 넘어 파이프라인으로

유튜브로 익히 알고 있는 커서맛피아님의 세션이었다. 전공자이지만 바이브 코딩에 잡아먹힌 거나 다름없는 나를 위해 한번 들어봤다. 실제로 인턴 할 때나 그 외 프로젝트 개발할 때도 커서를 많이 썼기에 더 마음 갔기도 하다.

인상 깊었던 세션

사실 인상 깊은 == 실제로 본 이나 다름없다.

■ 당신의 5년을 아껴드리겠습니다: 세 번의 창업으로 배운 진짜 성장

연사자분은 청소 정리 업체 '열다'의 대표님이셨는데 비전공자인 상태에서 시작하여 지금은 정리하시고 새로운 사업을 준비 중이셨던 걸로 기억한다. 기술로 풀어내기보다는 고객 중심의 사례를 풀어내면서 기술 창업을 시작하는 이들에게 흔히 겪을 수 있는 시행착오를 방지하는 내용이 주였다.

실제로 기억나는 원칙 2가지가 있는데 하나는 '개발에 매몰되지 말자'이다. 비전공자였다보니 개발 외주를 쓸 때마다 스트레스받았고 이럴 거면 내가 하지라는 마음으로 개발 공부를 시작했는데 이게 오히려 독이 되어 오히려 기술적 완성도에 집착하게 됐다더라. 초반에는 개발이 필요 없는 경우가 대부분이므로 기술보다 서비스의 완성도에 주의를 기울여야 한다는 교훈을 얻을 수 있었다. 물론 숱한 창업 경진대회 경험으로 시장성이나 확장성도 신경 쓰고 있기도 하다.

둘은 '모두가 아닌 열광하는 소수에 집중하라'이다. 맞는 말이다. 모두의 입맛에 맞는 아이템은 없다. 소수의 집중 타겟층을 정하고 추후 확장하면서 모두를 생각할 수 있는 거지 처음부터 모두를 생각하면 서비스는 잡탕이 되기 쉽고 초심자가 소화할 수 없을 정도로 기능을 구현해야 하므로 동기를 잃기 쉽다. 이 역시 인상 깊다기보다는 아 그렇지 하는 공감되는 마음으로 기억에 남은 것 같다.

■ 바이브코딩: 프롬프팅을 넘어 파이프라인으로✨

이 세션은 오- 소리가 절로 나왔다.

잘 생각해 보면 이미 알고 있을 수 있는 내용이겠지만 시각 자료와 함께 단계를 나누어 설명함을 보면서 바이브 코딩에 대해 정립할 수 있는 유익한 시간이었다. 우리는 바이브 코딩이 뭔들 해낼 수 있는 만능으로 보는 경향이 있지만, 어떠한 프로젝트 전체를 볼 때 일반적인 바이브 코딩은 실질적인 생산성 증가 효과가 엄청 극적이진 않다고 한다.

그도 그럴게 그래프 및 각 단계별로 해야 할 일을 따져봤을 때 사람이 정의하고 피드백해야 하는 부분이 상당수였다. 물론 그 과정 또한 AI와 함께할 수 있고, 요즘에는 에이전트가 알아서 계획도 수립하고 Todo를 만들어서 단계를 좀 축소할 수 있겠지만 그렇게 해서 만든 게 실질적으로 정확하고 의도된 대로 움직이는가?라고 생각해 보면 좀 엉성하다는 느낌을 지울 수 없을 것이다.

이때 엉성한 점을 채울 수 있는, 보다 더 완성도 있는 생산성을 위해서 모든 바이브코딩에 적용할 수 있는 3가지 공통점을 제시하셨다. 첫 번째, 'Well-Defined' 정확하게 정의된 SPEC이 있거나, 생성할 수 있으므로 Use-case 수준으로 매우 정확하게 작성해야 한다. 두 번째, 'Self-Verifiable' 잘 구현되었음을 code-level에서 검증이 가능하다. 세 번째, 'Repetitive' 지루하고 반복적인 작업을 많이 포함하고 있으므로, 창의적 설계보다 규칙에 따라 구현되도록 맡긴다.

그리고 이러한 과정 또한 AI에게 맡기기 위해서 커서맛피아 님은 어떠한 기능을 설계·구현하고자 할 때, 각 phase마다 클로드코드의 Sub-Agent를 정의해서 맡긴 후 검토한다고 했다. 특히 Planning은 Opus로, Implement는 Sonnet으로 토큰을 효율적으로 쓰신다고 한다. 그런데 사실 이렇게 보면 클로드맛피아라고 해야 할 것 같기도...? 이후에도 클로드코드 엄청 추천해 주셨다.

이러한 과정을 '파이프라인 코딩'이라고 명명하며, 바이브 코딩의 업그레이드 버전이라고 하셨다. 이 키워드를 보고 앞으로 파이프라인 코더라고 어필하면 일반적인 바이브 코더와 좀 더 차별성을 줄 수 있겠다고 생각했다. AI 툴을 활용하면서 전공자이면서 차별점을 주지 못하는 것 같아서 고민이 깊었는데 이러한 걱정을 해결할 수 있는 시간이 됐다.

마치며

이후 추첨까지 혹시나 하는 마음으로 더 있어봤지만, 당첨되는 일은 없었다. 근데 추첨 번호 뽑는 것을 그냥 구글 검색하면 나오는 요상한 UI로 진행해서 좀... 그랬다. 게다가 중복 번호 제한도 없고 여러모로 참 거시기해서 옆에 있는 형한테 "저런 서비스도 운영을 하는데 요런거 하나 만들어서 광고 붙이면 그게 부업 아닐까?" 하면서 그냥 웃어넘겼다. 그렇게 아쉬운 기분을 뒤로하고 나머지 일행들까지 합류하여 비도 온 김에 이대 앞의 전집에서 동동주 한 사바리 하면서 우리만의 네트워킹 세션(?)을 가졌다.

참고로 아래의 링크를 통해서 모두콘에 대한 자세한 설명과 다시보기를 볼 수 있다.

MODUCON 2025 | 모두콘 2025

모두콘 2025 From AI to Infinity 에 초대합니다

moducon.modulabs.co.kr

모두콘 2025 | From AI to Infinity - YouTube

모두콘 2025 | From AI to Infinity

모두콘은 모두의연구소가 2018년부터 개최해 온 국내 대표 커뮤니티 기반 AI·테크 컨퍼런스입니다. 현업 전문가들이 모여 최신 기술 트렌드와 실전 사례를 공유하는 이 행사는, 2025년 모두의연구

www.youtube.com

WSL2 재설치 이슈 해결(+도커 데스크탑 재설치)

테크겸 — Sun, 14 Sep 2025 22:28:56 +0900

요즘 회사에서 백엔드를 열심히 하고 있다.

AI 엔지니어로 들어간 줄 알았지만 중소기업의 규모가 규모인지라 사실상 모든 방면을 조금씩 해야 된다.

그렇게 만능재주꾼이 되...

아무튼 런칭 준비 중인 서비스에 붙일 메일 서버를 구축하고 있는데

그 와중에 생긴 환경설정 문제가 아주 골 아프다가 어이없게 고쳐져서 이를 공유하고자 포스팅한다.

1. 문제 배경

필자는 도커 데스크탑을 사용하면서 메일 서버를 테스트하려는데 뭘 하기도 전에 도커 데스크탑만 키면 렉 걸리고 충돌 나고 노트북을 강제종료하게 되는 무한 루프를 겪고 있었다. 검색해 보니 아무래도 그냥 마구잡이로 설치한 지금 상황에서는 답이 없기에 깔끔하게 밀고 아래 링크에서 언급한 WSL2 Ubuntu 내에 도커를 마운트 하는 식으로 하기로 했다.

윈도우 환경 도커 느림

첫번째로 Vmmem 프로세스의 메모리가 계속 증가하여 느려지는 증상이 있다. 이거는 찾아봐도 MS에서도 해결이 안되는 것 같다. 혹시 몰라 윈도우 11로 업그레이드를 했지만 증상은 여전하다. 두번

linkedrow.tistory.com

2. 직면한 문제

그렇게 기존에 깔아놨던 도커와 wsl2를 지우고 새로운 마음으로 설치를 해보려 하니 아래 명령어가 먹히지 않는 것 아니겠는가

wsl --install -d Ubuntu
# "지정된 파일을 찾을 수 없습니다." 오류 발생!!!

그렇게 급하게 구글링 및 지피티에 검색하면서 나온 방법들을 모두 시도해 봤지만 말짱 도루묵이었다.

리눅스 관련된 모든 것을 지워서 그런 건가 싶어서 그럼 일단 Ubuntu를 냅다 깔아보자!

라는 마음으로 MS 스토어에서 Ubuntu를 깔고 쉘을 켜봤지만 이젠 또 새로운 문제를 맞이하게 됐고,

여전히 PowerShell에서 wsl 명령어는 반응이 없었다.

캡처를 못한 관계로 이미지 복붙 ❘ 출처: WSL not installing Linux distro and giving error code > 0x80070003 · Issue #8780 · microsoft/WSL

그래도 오류 코드 나온 게 어디야 싶어서 바로 오류 코드(0x80070003) 폭풍 검색했고

그렇게 나온 MS 공식 문서를 보면서 하나하나 따라 해봤지만 여전히 안 됐다.

이때 살짝 절망해서 자포자기 심정이었다.

왜냐하면 이때 거의 한나절을 쏟아부었었기 때문...

Linux용 Windows 하위 시스템 문제 해결 | Microsoft Learn

Linux용 Windows 하위 시스템 문제 해결

Linux용 Windows 하위 시스템의 Linux를 실행하는 동안 발생하는 일반적인 오류 및 문제에 대한 자세한 정보를 제공합니다.

learn.microsoft.com

3. 문제 해결

그렇게 그냥 지피티한테 다시 한번 물어봤는데 Microsoft 스토어 Windows Subsystem for Linux 프로그램 링크를 주는 게 아니겠는가. 접속 후 마침 업데이트 가능이길래 바로 해봤더니 그때부터 wsl 명령어가 통하기 시작했다.

캡처가 없어서 이미지 복붙 ❘ 출처: 윈도우11 WSL(Linux용 Windows 하위 시스템) 설치 방법 - GeeKorea

이게 MS스토어 상에 그냥 검색했을 때는 안 떴었던 거라 더욱 억울...

추측해 보건대 이제 마이크로소프트에서 단순히 PowerShell 상에서 단일 명령으로 WSL을 실행하는 데 필요한 모든 항목을 설치할 수 있다고 하여 스토어에선 안 보이게 조치해 둔 것 같다. ㄹㅇ 분통 터져

4. wsl2 및 도커 데스크탑 설치 (feat. D드라이브)

WSL 설치 | Microsoft Learn

WSL 설치

wsl --install 명령을 사용하여 Linux용 Windows 하위 시스템을 설치합니다. 선호하는 Linux 배포판인 Ubuntu, Debian, SUSE, Kali, Fedora, Pengwin, Alpine 등에서 실행하는 Windows 머신에서 Bash 터미널을 사용할 수 있

learn.microsoft.com

WSL2 설치 경로 변경? 외부(D:\) 드라.. : 네이버블로그

WSL2 설치 경로 변경? 외부(D:\) 드라이브로 옮기는 확실한 방법

목차 왜 외장 SSD에서 WSL2를 쓰고 싶었을까? WSL2 기본 설치 경로와 한계 공식적으로 지원되는 ...

blog.naver.com

휘뚜루마뚜루 도커 데스크탑까지 무리 없이 설치했는데 노트북 C드라이브로는 도저히 감당이 안될 것 같아서

D드라이브에 옮기기로 했다. (마침 D드라이브도 SSD라서 매우 다행) 하지만 wsl2나 도커는 설치할 때 경로를 바꾸는 옵션이 없었기 때문에 이 또한 방법을 찾았어야 했다.

그렇게 찾은 위 링크.

애초에 잘 정리되어 있어서 그대로 따라 하면 되긴 하지만 좀 더 첨언하자면!

Docker Desktop은 4.30 버전 이전까지만 해도 설치 후 docker-desktop과 docker-desktop-data라는 두 개의 WSL 배포판이 자동 생성되었다고 한다.

docker-desktop: 시스템 관리용
docker-desktop-data: 이미지·컨테이너 저장소

Best practices | Docker Docs

Best practices

Best practices for using Docker Desktop with WSL 2

docs.docker.com

그래서 도커 데스크탑을 D드라이브나 다른 저장소에서 사용하려면 docker-desktop-data를 옮겼어야 했지만 Docker Desktop 4.30 이상부터는 docker-desktop-data가 사라지고, WSL 배포판(예: Ubuntu-24.04) 안에 직접 /var/lib/docker 경로로 저장되기 때문에 그냥 바로 export, import 통해서 docker-desktop 배포판을 옮기면 된다.

docker info | grep "Docker Root Dir"
# Docker Root Dir: /var/lib/docker

주석의 출력이 나오면 Docker 데이터는 해당 배포판의 파일시스템 안에 들어 있음을 알 수 있다.

안 나올 수도 있긴 한데 어차피 "/var/lib/docker"도 "D:\\wsl\\Ubuntu-24.04\\ext4.vhdx" 안에 포함되기 때문에

이미지나 컨테이너를 생성할 때마다 이 VHDX 파일이 늘어나며, 결과적으로 Docker 데이터도 D드라이브를 사용하게 된다.

아래는 마무리 확인용 스크립트 ↓

wsl --list --verbose
# Ubuntu-24.04가 D드라이브 경로에 있는지 확인

docker run hello-world
docker pull nginx
# 실행 후 VHDX 크기가 증가하면 정상 동작!

오랜만에 쓰는 글이 wsl2 및 도커 관련된 글이 될 줄은 몰랐는데

이슈 트래킹했던 과정이 너무 억울하고 이건 안 남기면 두고두고 후회할 것 같아서 다른 밀린 소재를 제치고 부랴부랴 정리해서 써봤다. 원래 블로그 글 한번 쓸 때 너무 오래 걸려서 시작도 하기 힘들었는데 워낙 분통 터졌던 일이라 2시간 안에 금방 쓴 거 같다.

어차피 기술 블로그는 감상을 길게 쓰지 않으니 부담이 덜한 것 같기도.. 온 김에 블로그 카테고리도 개편했고 인턴 활동이나 구글 스터디잼 활동 등 많은 일이 또 있었기 때문에 다시 한번 종종 쓰러 와야겠다.

개발계발 근황 : 마지막 글 이후 1년이 채 가기 전에 쓰는.

테크겸 — Mon, 28 Apr 2025 21:08:53 +0900

오랜만에 블로그에 들어왔더니 너무 휑하다.

분명 그동안 많은 타자들을 쓰며 기록해온 건 맞지만 전부 노션 or 메모장에 아카이빙해왔기 때문에 알아주는 이 하나 없는 게 아쉬워서 다시금 으쌰으쌰 해보고자 일단 근황부터 남겨본다. 왜 개발계발이냐면 애초에 이 블로그는 정말로 나의 진취적인 생활의 보고를 담은 블로그이기 때문! 일상이나 시시콜콜한 이야기, 특기가 아닌 취미 생활 이야기는 글로 생각 다듬는 블로그 : 네이버 블로그에 담고 있다. 하지만 이 마저도 빈도가 안타깝도록 적다. 다시 쏠랑쏠랑 해봐야지.

블로그 쓰는 동기를 왜 잃었을까 찬찬히 분석해보니 일단 모각글이 종료된게 크다.

많이 쓰든 적게 쓰든 어쨌든 주 1회 강제성을 부여하면서 '시작'하도록 도와주던 활동이었는데, 다시 새로운 모임을 찾아봐야지~ 생각만 하다가 여기까지 오게 됐다. 그래도 요즘 문토나 소모임 등 모임을 쉽게 찾을 수 있는 플랫폼을 알게 되어 다시금 새로 시작해 볼 요량이다. 우선 문토에서 챌린지로 저번 구글 모각글과 같이 일요일 오전 시간을 활용해 블로그 글을 쓰고 공유하는 모임을 열어보려고 하는데 이번엔 오프 모임도 한번 추진해볼까 한다. 왜냐면 지난번에는 온라인에다가 자유도가 높아서 모각글 활동이 후순위가 되는 경우를 많이 봐왔기에 이런 취지를 가져봤다.

블로그 쓰는 동기를 왜 잃었을까 2번째 이유는 노션과 메모장에 너무 의존하기 때문이다.

나 나름의 생각으로 1차 기록 및 필기는 노션 또는 메모장에 하고, 2차(기록의 정제 및 정리)는 블로그에 하기로 다짐했는데 계속해서 앞으로 나아가기만 하다보니 복기를 좀 등한시했던 것 같다. 요즘 읽는 무협의 표현을 빌리자면 영약을 먹고도 운기조식하지 않아 온갖 엉뚱한 곳으로 영험한 기운이 빠져나갔달까? 진짜 영약에 비하면 요즘 시대의 정보는 한없이 구하기 쉽다는 점이 오히려 역효과를 불렀을지 몰라도 정보의 홍수는 필연이며, 새로움은 끝이 없고, 좋은 배움은 넘쳐나므로 앞으로는 꼭 운기조식 할 수 있도록 노력해보려는 노력을 해보려고 한다. 그니까 아무튼 빠샤빠샤.

블로그 쓰는 동기를 왜 잃었을까 3번째 이유는 한번 쓰면 끝장을 봐야지하는 부담 때문이다.

기록하는 것 좋아하고 정리하는 것도 좋아하고 깔끔한 것도 좋아하면서 막상 시작하려고 하면 '이번엔 얼마나 오래 걸리려나'하는 생각에 사로잡히는 부작용으로 오히려 시작하지 않게 된다. 작용이 있어야 부작용도 있는 건데 냅다 부작용부터 있어버리니 이 얼마나 아이러니한 일인가. 무지는 죄가 아니지만 무능은 죄라는 말이 있듯, 내가 어떤 문제를 갖고 있는지 알고 있으니까 일단 시작하고 실행하자. 그니까 아무튼 이 역시 빠샤빠샤!

마지막 블로그 글(`240519) 전후로 간략하게 어떤 진취적인 굵직굵직한 일들이 있었는지 촤라락 적어보겠다. 괜히 스트레스 받지 말고 일대기 정리한다는 느낌으로 간단간단 가보자고. 겸사겸사 블로그에 족적을 남길만한 게 있는지 판단도 해봐야지.

* ← 이 표시가 있는 것은 블로그 쓸 것임을 암시

2024년

■ 4월

- 제1회 수도권역 대학생 혁신 아이디어톤 대회 ‘미래대학 투모로우 솔루션’ 교내 대상 및 본선 입선:

아이디어뱅크 이*경양의 스카웃으로 함께하게 된 대회. 처음으로 대상(1등)을 해보기도 하고 창업 아닌 창업 같은 아이디어를 빌딩 하는 과정이 재밌었다. 교내 1, 2등 팀은 본선에 도전할 기회가 있는데 아쉽게도 입선에 들며 행보가 마무리 됐지만, Edu-tech AI에 대해서 알아볼 수 있었던 뜻깊은 시간이었다.

■ 5월

- Upstage AI Lab 수료:

배웠다기보다는 많은 걸 해봤다는 느낌이 남은 활동. 후반에는 학업과 겸업하느라 진땀을 뺐는데 같이 했던 캠퍼분들로부터 감사의 말과 덕담을 많이 받으면서 훈훈한 인류애와 함께 교육자로서의 나는 어떨까 하는 계기를 갖게 됐다.

- 정보처리기사 필기 합격:

사실 그렇게 딸 마음은 없는데 4학년이라니까 뭔가 해야된다는 느낌 아닌 느낌으로 진행했던 것. 차후 실기는 시험일마다 우선순위에 밀려 2025년까지 넘어갔다.

- 한국항공대학교 모의투자대회 4등 수상:

매 대회마다 참여는 했지만 까먹는 바람에 아쉬움만 남다가 드디어 각 잡고 운용하여 약 17.31%의 수익률로 4등 수상을 할 수 있었다. 타 지원자들 대비 3주 늦게 시작했는데 이 정도면 꽤 준수한 성적이라고 생각! 보고서도 써서 냈는데 한번 포스트 남겨봐야지.

■ 6월

- 큼직한 것 없는 달

기말고사를 보기도 하고 여행도 갔다오고 7월에 갈 캐나다 어학연수 준비하느라 바빴다. 6월에는 네이버 블로그에 쓸만한 콘텐츠가 많다.

■ 7월

- 캐나다 하계 어학연수

Centenial College에서 4주간 어학연수를 마치고 캐나다 이곳저곳과 미국에 있는 ㅁㅅ도 보고왔다. 이런저런 일들이 많았지만 이 블로그에는 어학연수에서 얻은 인사이트만을 분리해서 끄적여보고자 한다.

■ 8월

- 어학연수 도중 장기현장실습 신청, 그리고 면접

캐나다에서 외국life를 즐기면서도 인턴을 해보고 싶어서 장기현장실습을 알아봤다. 다른 때와 다르게 한국능률협회컨설팅이라는 중견기업이 있어서 알아본 결과 꽤 괜찮은 활동이 될 것 같아서 지원을 했고 해외에서 줌 면접을 보게 됐다. 정말 우당탕탕이었지만 어찌저찌 잘 되어 9월부터 출근하게 됐는데 이건 차후에 좀 더 자세히 다루는 걸로!

■ 9월

- KMAC에서의 정신없는 나날

이게 맞나? 싶을 정도로 거의 방치형 용사 키우기.. 각자 공부하며 성장하되 동기들끼리 똘똘 뭉쳐 서로 도와주곤 했다. 둘째 날부터 바로 실무 투입되어 어지러웠지만 얻은 것은 많은 KMAC 생활이었다. 10, 11월에도 똑같으므로 12월에 마저 쓰겠다.

- AI 비즈니스 해커톤 실패

주식 매매할 때 조건식을 쉽게 만들어 운용할 수 있게 도와주는 AI 서비스로 대회에 참여했다. 아이디어도, 내용도 괜찮았고 같은 대회에 참여하는 동기한테도 보여줬을 때도 감탄을 그렇게 해줬는데 낙방했다. 추측가능한 주 요인으로는 대회 주관 프로그램 미참여, 심사요건 충족 미숙인 것 같다. 팀원 전부 4학년으로, 우선순위가 많아서 프로그램을 못 갔던 건데 거기서 점수가 깎였다. 그리고 이건 좀 안일했던 게 심사요건 중 'AI 활용도'가 있었다. 대회를 준비하면서 얼마나 AI를 잘 활용했는가를 보는 건데 나는 적당히 사용한 방법론을 한 페이지 내로 적어서 제출했었지만 합격자들은 AI랑 어떤 문답을 나눴는지 낱낱이 기록한 문서를 제출했더라... 뭐 이런 심사방식이 있나 싶었다. 이래저래 아쉬운 대회였다.

■ 10월

- 2024 하반기 살짝쿵 도전

채용 경험을 쌓아보면서 괜찮은 기업이나 희망하는 직무는 뭔지 알아보기 위해 도전했다. 결과적으로는 처참쓰지만 수많은 자소서 문항과 JD를 살펴보면서 다음을 준비할 수 있었던 시간이었던 것 같다.

■ 11월

- 신한 AI 아이디어톤 낙방

AI 비즈니스 해커톤에 도전했던 아이디어가 아까워서 조금 더 디벨롭하고 도전했던 대회이다. 하지만 낙방ㅠ 너무 창업적으로 접근한 게 패 요인이지 않았나 싶다. 인턴 업무에 치여서 다소 정신없이 타임어택한 것도 한 몫하긴 할 것이다. 이 대회를 기점으로 조건식 추천 서비스는 폴더에 처박혔다.

■ 12월

- 한국능률협회컨설팅 현장실습 종료

잿빛 같던 회사 생활이 끝났다. 색깔 없는 사무실, 동료애 없는 사람들, 주먹구구식 일처리에 진절머리 나던 찰나에 현장실습이 끝나서 얼마나 다행인지 모른다. 분명 얻은 것은 많고 좋은 순간도 있었지만 회사 자체의 분위기가 나랑 맞지 않았다. 취업 준비할 때는 기업분석에 좀 더 신경 써서 할 것이라고 다짐한 순간이었다.

- 창업아이디어 경진대회 최우수상 수상!

`2312~`2401에 ChatGPT를 활용한 창업역량 혁신 프로그램 대회에서 장려상에 그쳤던 아이디어를 좀 더 디벨롭해서 이 대회에 출품했다. 원래 이 대회는 중복을 허용하지 않았지만 수정, 발전시킨 경우에는 출품을 가능케 하는 이례적인 경우였다. 아무튼 이번에는 App flow, 디자인도 기획·설계하고 좀 더 뾰족한 서비스를 준비하면서 최우수상을 달성할 수 있었다. 굿~

- AI 융합 캡스톤디자인 최우수상 수상!

1년 간의 대장정을 펼쳤던 프로젝트가 끝났다. '파수'라는 기업과의 협업 프로젝트였는데 협업은 모르겠고 셀프과제형식으로 진행되어 우리들만의 차별성을 만들고자 Enterprise Private LLM Chatbot UIUX 프로젝트로 방향성을 좀 더 세분화했다. 그렇게 여차저차 열심히 한 결과 최종 발표에서 최우수상(2등)을 수상하는 쾌거를 이루었다.

- 모두콘 참석

AI Agent라는 것에 대해 알 수 있던 좋은 기회였다. 다만 작년(2023)에 비해 규모가 작아져서 아쉽긴 했으나 뽕 뽑은 게 중요한 거지 뭐ㅋㅋ

- 파수 기업 견학

캡스톤디자인을 같이했던 파수라는 기업을 탐방할 수 있는 기회를 담당교수님께서 적극 밀어주셔서 추진할 수 있었다. 덕분에 파수가 어떤 기업인지, 어떤 방식으로 다가가면 좋은지에 대한 인사이트를 얻을 수 있었던 경험이었다. 파수의 구성원 중 90%가 신입 입사를 통해 들어왔음이 놀라웠다.

2025년

■ 1월

- 보컬 레슨 시작

바빴던 나날들이 지나고 오랜만에 혼자가 된 나를 위해 나에게 좀 더 투자하기로 했다. 예전부터 하고 싶었지만 시간과 돈이 없어서 못했던 보컬 레슨을 시작했다. 이제는 시간과 돈도 있는 나 제법 멋져.

- 국민취업지원제도 신청

돈은 어김없이 필요한 법. 취준도 하고 돈도 받고 일석이조 프로그램을 드디어 신청했다. 원래는 4-1을 이수한 시점에 이미 가능했지만 인턴을 하느라 자격이 안 됐었다. 6개월 동안 월 50씩 주는데 꼭 그 안에 취뽀를 이뤄보도록 하자!

- 조주기능사 필기 합격

상반기까지 좀 남은 시점. 셀프투자의 일환으로 그동안 익힌 칵테일 기술들이 아까워서 조주기능사에 도전했다. 필기는 ㅇㅊㄱ양의 책 덕분에 무난하게 통과. 실기는 상반기가 지나고 나서 준비하기로하고 잠시 봉인!

■ 2월

- 졸업

학교를 2018년부터 다녀서 드디어 6년 만에 졸업했다. 역시 졸업유예를 할걸 그랬나 싶기도 하고... 그냥 시원섭섭하다. 그래도 많은 사람들과 사진을 찍고 추억을 남기면서 대학과는 이쯤에서 종지부를 찍길 잘했다는 생각이 들기도 했다. 특히 인생 스냅을 남길 수 있어서 좋았던 순간이었다. 비록 특별한 사람들과는 함께하지 못했지만 다음 기회를 노려보는 걸로.

■ 3월

- 취준취준

본격적인 상반기에 앞서 서류 합격을 위한 준비를 이것저것 했다. 이때 많은 인사이트를 얻으면서 내용 정리하느라 바쁜 나날들의 연속이었다.

■ 4월

- SQLD 자격증 취득

정처기와 커리큘럼이 어느 정도 겹쳐서 SQLD를 먼저 준비하여 취득했다. 공부한 거에 비해 시험이 쉬워서 어리둥절 했지만 그래도 이때 SQL에 대한 이론을 어느정도 정립해 놓고 정처기를 볼 수 있어서 충분히 하길 잘했다는 생각이 들었다.

- SeSAC 마소 AI School 낙방

호기롭게 시작해서 면접까지 갔던 AI 엔지니어 과정이었다. 면접 당시에는 몰랐는데 시간이 지나고 되뇌면서 면접을 죽 쒔다는 것을 깨달았다. 이에 관해서는 면접을 복기하면서 자기반성하는 포스팅을 한번 써볼 생각이다. 다음에 있을 매력일자리 프로그램에서 면접까지 간다면 이러한 피드백을 꼭 고쳐서 나갈 예정이다.

1년 동안 있던 일련의 사건들을 적으면서 리마인더, 노션 투두 달력, 대내외활동 폴더를 뒤지면서 열심히 뒤졌다. 없으면 좋겠지만 놓친 사건도 있긴 하겠지? 앞으로는 앞에 적은 이유들로 블로그를 쓰지 않으려는 귀차니즘을 타파할 수 있도록 노력하려고 한다. 누군가 이 글을 본다면 응원해 주길 간절히 바라는 바이다.

나에게 원기를 나눠줘!

Upstage AI Lab 대회 회고: [IR] Scientific Knowledge Question Answering

테크겸 — Sun, 19 May 2024 10:38:42 +0900

0. 발표자료: Link

#5_IR_Competetion_과학 지식 질의 응답 시스템 구축_3조

Information Retrieval IR 3조

docs.google.com

1. 대회 개요 : Competition Overview

■ Goal of the Competition

질문과 대화 히스토리로 참고할 문서를 검색엔진에서 추출 후 이를 활용하여 질문에 적합한 대답을 생성하는 Task

■ Timeline

April 22th, 2024 - Start Date

May 2nd, 2024 - Final submission deadline

■ Environment

GPU 환경

VSCode와 SSH 원격 연결
NVIDIA RTX3060 | 24GB (실패)
NVIDIA-RTX-A5000 | 24GB (실제 사용)

협업툴: Github, Slack, Zoom

■ Dataset

- 대회 데이터셋 License

원본데이터 : ARC, MMLU(CC-BY-SA 4.0)
- https://paperswithcode.com/dataset/arc
- https://paperswithcode.com/dataset/mmlu
저작권자 : Upstage AI LAB

- 학습데이터(document.jsonl)

모델 학습을 위한 학습데이터가 아닌, 과학 상식 정보를 담고 있는 순수 색인 대상 문서 4272여 개

'doc_id' : 문서별 id(uuid)
'src' : 출처
데이터를 Open Ko LLM Leaderboard에 들어가는 Ko-H4 데이터 중 MMLU, ARC 데이터를 기반으로 생성했기 때문에 출처도 두 가지 카테고리를 가짐
'content' : 실제 RAG에서 참고하게 될 지식 문서 정보

파일 포맷: 각 line이 json인 jsonl 파일

{"docid": "42508ee0-c543-4338-878e-d98c6babee66", "src": "ko_mmlu__nutrition__test", "content": "건강한 사람이 에너지 균형을 평형 상태로 유지하는 것은 중요합니다. 에너지 균형은 에너지 섭취와 에너지 소비의 수학적 동등성을 의미합니다. 일반적으로 건강한 사람은 1-2주의 기간 동안 에너지 균형을 달성합니다. 이 기간 동안에는 올바른 식단과 적절한 운동을 통해 에너지 섭취와 에너지 소비를 조절해야 합니다. 식단은 영양가 있는 식품을 포함하고, 적절한 칼로리를 섭취해야 합니다. 또한, 운동은 에너지 소비를 촉진시키고 근육을 강화시킵니다. 이렇게 에너지 균형을 유지하면 건강을 유지하고 비만이나 영양 실조와 같은 문제를 예방할 수 있습니다. 따라서 건강한 사람은 에너지 균형을 평형 상태로 유지하는 것이 중요하며, 이를 위해 1-2주의 기간 동안 식단과 운동을 조절해야 합니다."}
{"docid": "7a3e9dc2-2572-4954-82b4-1786e9e48f1f", "src": "ko_ai2_arc__ARC_Challenge__test", "content": "산꼭대기에서는 중력이 아주 약간 변합니다. 이는 무게에 영향을 미칩니다. 산꼭대기에서는 무게가 감소할 가능성이 가장 높습니다. 중력은 지구의 질량에 의해 결정되며, 산꼭대기에서는 지구의 질량과의 거리가 더 멀어지기 때문에 중력이 약간 감소합니다. 따라서, 산꼭대기에서는 무게가 더 가볍게 느껴질 수 있습니다."}

- 평가데이터(eval.jsonl)

멀티턴 대화 시나리오를 가정하기 때문에 리스트 형태의 사용자와 시스템이 주고받은 메시지 형태

200개 : 과학상식 대화

{"eval_id": 0, "msg": [{"role": "user", "content": "나무의 분류에 대해 조사해 보기 위한 방법은?"}]}
{"eval_id": 1, "msg": [{"role": "user", "content": "각 나라에서의 공교육 지출 현황에 대해 알려줘."}]}
{"eval_id": 3, "msg": [{"role": "user", "content": "통학 버스의 가치에 대해 말해줘."}]}
{"eval_id": 4, "msg": [{"role": "user", "content": "Dmitri Ivanovsky가 누구야?"}]}

20개 : 멀티턴 대화

{"eval_id": 2, "msg": [{"role": "user", "content": "기억 상실증 걸리면 너무 무섭겠다."}, {"role": "assistant", "content": "네 맞습니다."}, {"role": "user", "content": "어떤 원인 때문에 발생하는지 궁금해."}]}

20개 : 일반적인 대화 메시지

{"eval_id": 36, "msg": [{"role": "user", "content": "니가 대답을 잘해줘서 너무 신나!"}]}

eval_id : 평가 항목 ID
msg : user와 assistant 간 대화 메시지 (리스트)

■ Evaluation_metric

RAG에 대한 End-to-End 평가 대신, 적합한 레퍼런스를 얼마나 잘 추출했는지에 대한 평가만 진행
Mean Average Precision(MAP)
- 상위 N개의 관련된 문서에 대해 전부 점수를 반영할 수 있되, 관련된 문서의 위치에 따라 점수에 차등을 줄 수 있는 평가 모델
- MAP 추가 로직: 과학 상식 질문이 아닌, 즉 검색이 필요 없는 ground truth 항목
  - 검색 결과 없는 경우 : 1점
  - 검색 결과 있는 경우 : 0점
- 코드

def calc_map(gt, pred):
    sum_average_precision = 0
    for j in pred:
        if gt[j["eval_id"]]:
            hit_count = 0
            sum_precision = 0
            for i,docid in enumerate(j["topk"][:3]):
                if docid in gt[j["eval_id"]]:
                    hit_count += 1
                    sum_precision += hit_count/(i+1)
            average_precision = sum_precision / hit_count if hit_count > 0 else 0
        else:
            average_precision = 0 if j["topk"] else 1
        sum_average_precision += average_precision
    return sum_average_precision/len(pred)

2. 대회 목표 : Competition Detailed Goal

■ Learning Objective

공동 학습 목표: Information Retrieval 강의 수강 및 대회 참여를 통한 역량 향상
개인 학습 목표: IR Competitinon 나만의 첫 베이스라인 만들기
- RAG는 익히 들었지만 정의만 알뿐, 어떻게 구현되고 가능한지는 몰랐다. 이번 강의 및 대회를 통해 RAG의 전신인 Information Retrieval을 이해한다.
- 모델 학습이 중심이었던 여태 대회와 다르게 임베딩 생성 모델, 검색엔진, LLM 등을 활용하여 레퍼런스를 잘 추출하여 이를 토대로 답변을 잘 생성할 수 있도록 목표한다.

3. 모델 구조 요약 : Competition Model

■ Data

일상대화 분류 Prompt Engineering

■ Modeling

Retrieval Model
- Pretrained Language Model + colbert train
- Hard Negative
Reranking: Pretrained Ko-Reranker

■ Result

MAP - Final Score :
- Public LB : 0.8705 / Ranking 3rd
- Private LB : 0.8462 / Ranking 3th (-)

4. 진행 과정 : Competition Process

■ Data

일상대화 분류 Prompt Engineering

우선 본격적인 RAG를 펼치기 전에 LLM에 들어오는 질의가 과학상식을 묻는 건지, 아니면 그 외의 주제를 묻는 건지 판단할 필요가 있었다. 그래야 Reference를 가져올지 말지 정할 수 있으니까!

질의 분류는 LLM으로 진행하며, 어떻게 Prompt를 구성하느냐에 따라 분류 성능이 달라졌다. 강의 실습에서 나온 Prompt도 꽤 괜찮게 보였지만 실습 내에서도 가끔 이상하게 분류하기도 하기도 하여서 Prompt Engineering은 필수였다.

# 실습에서 사용한 Prompt
persona_qa = """
## Role: 과학 상식 전문가

## Instructions
- 사용자의 이전 메시지 정보 및 주어진 Reference 정보를 활용하여 간결하게 답변을 생성한다.
- 주어진 검색 결과 정보로 대답할 수 없는 경우는 정보가 부족해서 답을 할 수 없다고 대답한다.
- 한국어로 답변을 생성한다.
"""

공교롭게도 바꾼 Prompt가 정말 질의 분류를 잘하고 있는지 판단하기가 모호했던 게, 데이터는 content 외에 어떤 메타 정보도 없었기 때문이었다. 하지만 때마침 팀원분이 약 200개가량의 질의 데이터를 라벨링 하여서 해당 Prompt로 LLM이 정말 질의를 잘 분류할 수 있는지 판단할 수 있었다. 그리하여 여러시도를 통해 나온 Prompt의 핵심은 다음과 같다.

Tools를 강제하여 Function Calling 하고, 주어진 대화가 지식 추구 담화라면 검색에 사용할 질의를 생성 및 label 값을 1로 설정, 일상 담화라면 label 값이 0으로 설정하여 데이터 라벨링

좀 더 설명하자면 과학에도 다양한 분야가 있는데 고등학교 때 배운 물리, 화학, 생명과학, 지구과학 등을 예로 들 수 있다. 우리는 그냥 과학으로 일컬을 수 있지만 모델은 서로 다른 분야로 받아들일 수 있기에 ‘상세 분야’에 대한 정의를 추가함으로써 분류 성능을 높일 수 있었다.

하지만 위에서 ‘과학 상세 분야’가 아닌 ‘지식 추구 담화’라고 했는데 이유는 다음과 같다. 데이터셋을 살펴보면 이 대회에서 말하는 과학 지식은 사회과학, 컴퓨터공학, 수학 등등 좀 더 넓은 의미의 과학을 지칭했었기에 이 부분에 대한 상세 분야 정의를 더 추가해야 했다. 그리하여 과학에 한정한 게 아닌 ‘지식 추구 담화’라고 한 것이다.

과학 - 나무위키 (namu.wiki)
과학은 보편적인 진리나 법칙의 발견 목적으로 하는 체계적 지식을 의미한다. 좁은 의미로는 물리학, 생물학, 지구과학, 천문학, 화학을 포괄한 자연과학을 뜻하며, 넓은 의미로는 어떠한 법칙이나 이론 등을 학문과 실험과 같은 지적 탐구활동을 통해 수행하는 모든 학문을 뜻한다.

그리고 이 과정에서 예전에 흥미롭게 기억에 남았던 Prompt Engineering 방법도 적용해보려 했으나 이미 위 방법론만으로 약 99%의 성능이 나왔기도 하고, 적용하려는 방법이 어쨌든 한정된 크래딧에 토큰 사용량을 늘리기에 시도하진 않았다. (그렇다고 또 토큰 사용량이 엄청 늘어나진 않지만…)

Prompt ‘질문 재읽기' 전략
- Read the question again이라는 단순한 문장을 추가함으로써 평균 3.81%의 성능 향상된다고 함
- 관련 논문: https://arxiv.org/pdf/2309.06275

[Re-reading+CoT를 적용한 프롬프트 예시]
Q :
{question}
Read the question again: {question}

A : Let’s think step by step

■ Modeling

Retrieval Model (Pretrained Language Model + colbert train)

자연어 처리를 위해서 임베딩은 이제 필수이다. 이 대회의 기본 베이스라인에서는 sentence transformer를 사용하며, 그중에서도 한국어 사전학습 모델인 "snunlp/KR-SBERT-V40K-klueNLI-augSTS”을 썼다. 이 모델을 쭉 사용하다가 의문이 든 점이 외래어 및 외국어 키워드에 대해서는 성능이 다소 떨어진다는 것이었다.

이유에 대한 추측은 이렇다. 아까 과학의 넓은 의미를 살펴봤듯이 어떠한 법칙이나 이론 등 체계적 지식을 의미하는 과학은 일반적으로 대부분 영어로 기술되어 있다. 국내에서도 과학 분야에 대한 키워드 같은 경우는 영어 그대로 표기하거나, 발음 나는 대로 표기하거나, 외래어로 표기하거나 하는 방법으로 다뤄지고 있다. 하지만 한국어 사전학습 모델의 경우, 일상적인 한국어 담화로 학습되어 외국어 및 외래어는 잘 반영하지 못하는 것으로 결론 내렸다.

처음에는 이것을 어떻게 보완할지 막막하기도 하고 비슷한 단어를 같이 학습해야 하나 싶었는데 멘토링에서도 그렇고 소수를 위한 학습은 비효율적이라는 결론을 내렸다. 그리하여 찾은 방법이 sentence transformer에서 다국어 모델을 찾는 것! 실제로 이것은 효과가 있었는데 아래의 표를 통해 입증할 수 있다.

이제 와서 생각해 보면 한국어 사전학습 모델 중에서도 과학에 특화되어 Pre-train 된 모델이 있었을 텐데 이 부분을 찾아보지 못한 게 아쉽다.

Reranking: Pretrained Ko-Reranker

이 대회의 Evaluation Metric이 MAP인 것을 보면 알다시피, RAG의 성능 향상을 위해서는 질의와 관련된 문서가 추출된 Reference에 존재할 뿐만 아니라, Reference 내에서 그 순서 또한 상위권에 위치하고 있어야 한다. 이에 대한 해결책으로 쓸 수 있는 게 바로 ‘Rerank’이다.

Rerank는 질문과 문서 사이의 유사도 측정을 목표로 하며, Cross-Encoder의 Self-attention 기법을 통해 이것이 가능하다. 다만 질문 별로 모든 문서에 대한 유사도 측정이 필요하여 시간이 굉장히 굉장히 오래 걸린다는 단점이 있다.

하지만 그래서 시도한 전략이 바로 ‘Two-Stage 전략’, 이렇게 해도 역시 시간이 걸리는 편이긴 하지만 그냥 바로 Rerank를 적용할 때보다 훨씬 시간을 절약할 수 있었다.

Two-Stage 전략
1. 기존의 벡터 검색 방식으로 대규모 문서 중 질문과 관련성이 높을 것 같은 후보군(Top k개) 검색 및 추출
2. 검색된 문서들(후보군)에 대해 reranker 기반으로 질문-문서 유사도 재측정하여 순서 변경

위와 같은 Two-Stage 전략을 최대한으로 끌어올리기 위해 Top k별로 Rerank 성능 비교를 했고 다음과 같은 비교를 통해 Top 10~15를 가장 적당한 값으로 설정했다.

++ 대회 전 IR 강의에서는 Rerank에 대해 매우 가볍게 언급하고 지나가서 몰랐는데 나~중에 최종 발표 피드백 때 들어보니 실무에서는 효율성이 좀 떨어지지만 대회에서는 성능을 확실히 챙길 수 있는 치트키 같은 존재라 일부러 작게 이야기하고 넘어간 거라고 하셨다.

■ Result

MAP - Final Score :
- Public LB : 0.8705 / Ranking 3rd
- Private LB : 0.8462 / Ranking 3rd

대회 마감 하루 전만 해도 팀원 김*천 님의 열정 어린 제출물로 압도적인 리더보드 1위를 유지했었다. 그래서 최종 발표 PPT에도 1등을 기정 사실화 하고 자축하는 슬라이드를 준비했었지만 그 슬라이드는 안타깝게도 지워야 했다. 대회 마감 몇 시간 안 남기고 갑자기 뒤에서 치고 나오면 순식간에 3등으로 밀려난 것… 그 이후 shake up을 혹시나 기대했지만 Private LB에서도 3등을 그대로 유지했다.

■ Mentoring

멘토링에서 진행한 모든 질문 중(팀원 상관없이) 인상 깊은 것을 적어봤다.

Q1. 좋은 임베딩 방법
- A1. cohere(임베딩 모델 선두 기업), upstage developers에서 RAG 관련 문서를 통해 방법론 연구 ⇒ research paper, API document parameter
- 핵심 모델(논문)을 꿰차고 자신이 활용할 것에 대해 잘 알아두기
- 왜 이 논문이 좋은지 잘 설명할 수 있는 사람이 되기
Q2. Validation-set 제작 시도 괜찮은지?
- A2. 좋음, 이런 기조로 팀원들과 분업하여 다른 학습데이터 활용법을 시도해 볼 것
- 예) Retrieval 모델을 학습하기 위해선 어떻게든 pair 데이터를 구성하는 것이 유리(Inverse Cloze Task, Question Generation)
Q3.. ipynb 파일로 대회 임하는 것에 대한 피드백
- A3. .ipynb → .py modularize 권장 (모듈화)
Q4. 영어 데이터(ex. 목성 trojan) 함께 학습하는 것이 성능 개선에 도움이 될지?
- A4. 소수의 질문만을 위해 굳이 할 필요가 있을까 하는 의문이 들고 학습 방법론을 찾아보는 것이 나을듯함
Q5. 모델링에 집중하려는 시도에 대한 피드백
- A5. Retrieval 문제인데 왜 RAG 실습을 하게 했는지 고민해 볼 것
Q6. 유의미한 점수 및 점수 상승?
- A6. MAP 스코어 0.85 이상 / 점수 상승 0.1 이상 상승 시 유의미하다고 볼 수 있음
Q7. 대회에 대해 효율적인 접근을 위한 피드백
- A7. 시간을 들이는 거 말고 여기서만 찾을 수 있는 해법을 고민해 볼 것
Q8. 임베딩 모델 추천 피드백 (대회 막바지)
- A8. FlagEmbedding 주시하고 있으며, re-ranking도 포함되어 있음
Q9. Llama Index 사용 시 Kernel 자체가 죽음. Indexing을 하는 코드를 돌리면 한 10초 정도 뒤에 바로 터짐
- A9. 디버깅 breakpoint() 사용, MTEB (Massive Text Embedding Benchmark)에서 리소스 대비 가능한 모델 찾아볼 것

5. 자체 평가 의견 : Competition Review

■ Good point

모든 회의 및 멘토링 참석하며 회의록 작성

어떤 팀 프로젝트든 항상 회의록을 도맡았었는데 이번 대회는 특히 이것만큼은 준수하고자 노력했다. 대회 기간 동안 학교 수업, 논문 스터디, 창업 동아리 등 다양한 활동과 병행하며 시간 분배를 하다 보니 대회에 많은 시간을 할애하지 못했기 때문이었다.

그러다 보니 팀원들과 Research 조사 및 실험 속도에서 차이가 발생했지만 꾸준히 회의에 참석하고 내용을 정리하며 흐름을 놓치지 않고자 하였고, 그런 과정을 통해 팀원이 조사하거나 실험한 것을 어렵지 않게 습득하면서 파생 아이디어를 제시하거나 실험을 보조하면서 팀에 기여했다.

비록 절대적인 기여는 충분하지 않을 수 있지만 이외에도 회의록을 정리하며 얻은 통찰을 활용하여 짜임 있는 회의로 업무 효율을 높이면서 팀 내에서 윤활유 같은 역할을 하지 않았나 싶다.

■ Fail point

환경 설정 오류 장기화:

여태 대회를 진행해 오며 이런 일이 없었는데 이번 대회에서 할당한 Upstage 서버를 ssh로 연결하는 과정이 잘 안 되었다. 기존과 똑같은 방법으로 했는데 안되고, 검색을 통해 ssh와 관련된 여러 가지 설정을 고쳤는데도 안 됐다. 결국 포기하고 학교 LLM 프로젝트하며 받은 GPU에 원격 접속하여 GPU 문제는 일단락 됐다.

하지만 더 문제는 Elastic Search였으니,,, 이 모듈을 사용하기 온갖 시도를 벌였으나 결국 비밀번호를 얻지 못해서 사용하지 못했다.(elastic search를 사용하기 위해 mysql처럼 id/pw가 필요했음) 그래서 자포자기 후 실험보다 연구 및 아이디어에 좀 더 집중했었는데 어느 날 새로운 마음으로 모든 디렉토리를 초기화하고 elastic search 구동에 필요한 모든 명령을 한 땀 한 땀 권리자 권한으로 실행했더니 비밀번호도 뜨고 구동도 됐다.(다른 사람들은 관리자 권한 안 해도 그냥 되던데…)

■ Bummer point

좀 더 다양한 기법을 적용해보지 못한 것

팀원들이 LLM 및 RAG에 대해 많은 참고 자료를 가져다주었지만 점수 올리기에 중요해 보이는 것을 우선하고 나머지는 보류해 두었다. 부족한 시간을 커버하는 관점에서는 충분한 시도였을지 몰라도 공부하는 관점에서는 아쉬운 선택이었다. 다음 리스트는 참고 자료 중에서도 좀 더 확인했으면 좋았을 참고 자료들이다.

Large Language Models for Information Retrieval: A Survey : LLM 활용 IR 전반에 관한 논문
RAG Arena : Leaderboard에서 사용된 RAG 전략들을 확인 가능
Embedding Quantization : 대회 운용 중 자원 한계 발생 시 대처방안

■ Insights from the competition

수동적인 LLM 활용에서 능동적인 LLM 활용으로:

LLM을 여태 콘솔 혹은 플레이그라운드 상에서 Prompt만 입력하며 활용했었는데, 이번 기회를 통해 좀 더 심화된 Prompt Engineering, Retrieval Modeling, Reranking 등등 여러 가지 접근법을 시도해 보면서 LLM을 보다 더 능동적으로 활용하게 됐다.

그동안 기획만 존재하고 어떻게 구현할지 난감한 아이디어가 있었는데 이것을 실제로 구체화할 수 있겠다는 자신감이 들어 실제로 플로우차트를 그려볼 수 있을 정도의 인사이트가 생겼다.

배*경 강사님의 극찬 피드백

NLP를 원래 하다 오신 분들인지?라는 극찬을 들었다. 막판에 리더보드가 뒤집힌 아쉬움이 컸었는데, 수강생에게 갖는 일반적인 기대보다 많은 시도와 접근 방법을 체계적 해낸 것 같다는 칭찬을 해주셔서 감개무량할 따름이었다.(나중에 안 사실로, 상위 팀 중 하나가 손수 동의어 필터링을 추가작업하여 점수가 잘 나올 수밖에 없었다.)

그리고 reranking을 좀 더 활용할 수 있었는데 왜 제한적으로 사용했는지 물어보셨는데 이에 대해서는 대회에서 주어진 크레디트와 자원 이슈 때문에 Two-stage 전략을 사용했다고 말씀드렸다.

Upstage AI Lab 대회 회고: [NLP] Dialogue Summarization

테크겸 — Sun, 12 May 2024 10:25:43 +0900

0. 발표자료: Link

#4 NLP Competition | 일상 대화 요약 | 6조

docs.google.com

1. 대회 개요 : Competition Overview

■ Goal of the Competition

다양한 주제의 대화문을 바탕으로 요약문을 생성하는 모델 구축

■ Timeline

March 8th, 2024 - Start Date
March 20th, 2024 - Final submission deadline

■ Dataset

train.csv : 12457*4
dev.csv : 499*4 (validation dataset)
test.csv : 500*2 (Public: 250, Private: 250)
데이터 구성
- 최소 2 턴, 최대 60 턴으로 대화가 구성, 대화(dialogue)를 보고 이에 대한 요약(summary)을 예측하는 것이 최종 목표
- fname : 대화 고유번호 (중복 X)
- dialogue : 최소 2명에서 최대 7명이 등장하여 나누는 대화 내용. 각각의 발화자를 구분하기 위해#Person”N”#: 을 사용하며, 발화자의 대화가 끝나면 \n 으로 구분.
- summary : 해당 대화를 바탕으로 작성된 요약문

■ Evaluation_metric

3개의 요약문과 예측한 요약문을 비교하여 *ROUGE metric 바탕으로 score 계산
- 하나의 대화에서 다양한 관점으로 작성된 3개의 요약문 평가
- 모델의 다양성을 고려하여 더 일반적으로 측정하기 위함
- 정확한 ROUGE score 산출하기 위하여 문장 토큰화를 진행한 후 평가
ROUGE
- 텍스트 요약, 기계 번역과 같은 Task를 평가하기 위해 사용되는 대표적인 metric
- 모델이 생성한 요약본(+번역, …)과 사람이 만든 참조 요약본을 비교하여 점수 계산
- ROUGE-Recall: 참조 요약본을 구성하는 단어들 중 모델 요약본의 단어들과 얼마나 많이 겹치는지 계산한 점수
- ROUGE-Precision: 모델 요약본을 구성하는 단어들 중 참조 요약본의 단어들과 얼마나 많이 겹치는지 계산한 점수
ROUGE-N과 ROUGE-L
- ROUGE-N : unigram, bigram, trigram 등 문장 간 중복되는 n-gram 비교하는 지표
- ROUGE-L : LCS 기법을 이용해 최장 길이로 매칭되는 문자열을 측정. n-gram에서 n을 고정하지 않고, 단어의 등장 순서가 동일한 빈도수를 모두 세기 때문에 보다 유연한 성능 비교가 가능

2. 대회 목표 : Competition Detailed Goal

■ Learning Objective

공동 학습 목표 ⇒ NLP 전반에 대한 이해도 상승, 대회를 통한 실습 진행
개인 학습 목표 ⇒ NLP competitinon 첫 베이스라인 만들기
- 이해 기반의 베이스라인 생성을 통해 NLP에 대한 관심을 다시 한번 환기하고 싶었다. NLP와 관련하여 이전에 진행한 맥주 리뷰 감정 분석 프로젝트에서는 감정 분석 이후 합류하여 토픽 모델링 구현에만 힘을 쏟았을 뿐 정작 이론에는 큰 비중을 두지 않았었기 때문에 이번 기회를 통해 NLP의 이곳저곳을 건드려보고자 하는 마음으로 임하였다.

3. 모델 구조 요약 : Competition Model

■ Data

Fixing Train Dataset Error: 1 row
Add Special Tokens
Utilize ‘topic’ columns of the Train, Dev dataset
- Topic Modeling (Use kobart-summarization)
Post-processing
- Remove space between 주어 and 조사
- Remove Indentation

■ Modeling

Model: kobart-summarization
- batch 사이즈: 50→32
Hyper-Parameter Tuning
- Grid Search, Random Search

■ Result

ROUGE - Final Score :
- Public LB : 42.5202 / Ranking 3rd
- Private LB :39.7159 / Ranking 4th (up)

4. 진행 과정 : Competition Process

■ EDA

Max_length 설정

우선 요약문이 안정적으로 생성되도록 최대 길이를 정하고자 주어진 데이터들(dialog, summary)의 길이를 파악했다.

최초 설정된 인코더, 디코더 최대 길이나, 생성 최대 길이는 보수적으로 설정되었음을 아래 이미지를 통해 알 수 있었다.

다만 이래저래 실험을 한 결과 최초 설정값이 제일 성능이 높게 나와서 별다른 조치는 취하지 않았었다. (근데 다른 팀은 아예 팍팍 높게 설정해서 성능 향상을 이뤘었다.)

Special Tokens 확인

운영진 측이 추가로 공개한 대회 설명에 따르면 개인 정보는 마스킹되어 있다는 것이었다. 그리고 발화자 또한 구분되어 있기에 이런 것들이 학습되지 않도록 Special Token 처리해주는 게 필요했다. 다행히 어렵지 않게 ‘#\w+#’ 정규식 패턴으로 추출할 수 있었고 유니크값을 뽑아 아래 리스트를 도출할 수 있었다.

['#Person1#', '#Person2#', '#Person3#', '#Person4#', '#Person5#', '#Person6#', '#Person7#', '#Address#', '#CarNumber#', '#CardNumber#', '#DateOfBirth#', '#Email#', '#PassportNumber#', '#PhoneNumber#', '#SSN#', '#주제#’]

위 리스트에는 사실 #Person#이라는 토큰이 하나 더 있었는데, 혼잣말이어도 숫자가 붙는 발화자 토큰의 특징 상 이건 오류라고 판단되었다. train 데이터셋을 직접 살펴봤을 때 다행히 하나의 행에서만 이 문제를 발견할 수 있었고 금방 고칠 수 있었다.

■ Data

Topic 메타데이터 활용

다양한 피쳐를 이용하는 ML대회와 달리 NLP는 모두가 당연하다는 듯 대화문만을 가지고 모델링을 수행했다. 그러나 Train과 Dev 데이터셋에는 어째서인지 topic 컬럼도 있었고 test 데이터셋에는 있지 않았다. 이때 딱 어떻게든 써먹어야 봐야겠다는 생각이 스쳐 지나갔고, 곧이어 이런 생각이 들었다. “LLM의 Clarity with Delimiters 특징을 이용하면 되지 않을까?”

비록 베이스라인은 하나의 Task만을 다루는 언어모델이지만 LLM의 전신인만큼 충분히 가능성 있어 보였고, 실제로 성능 향상을 이뤄냈다. 근데 topic 예측은 기가 막히게 잘해서 조금 웃픈 면이 있었다. 과정은 아래와 같다.

베이스라인 모델(kobart-summarization) 활용 (Extractive 방식이 아닌 Abtractive 방식 필요했기 때문)
Train-set과 validation-set의 topic 컬럼을 타겟으로 학습 후 test-set에 topic 예측
메타 데이터 학습을 위해 topic과 dialogue를 합친 dialogue_with_topic 컬럼 추가 후 해당 컬럼으로 요약문 학습 및 예측
topic 처리를 위한 Special token 추가

Topic 메타데이터 활용한 성능 향상

전처리 같은 후처리

성능을 올리기 위해 정체가 되었을 무렵 조금 이르게 후처리를 시작하게 됐다. 예측 결과를 분석한 결과 주어-조사 간의 띄어쓰기 문제가 있고 큰따옴표와 들여 쓰기가 무분별하게 분포되어 있는 것을 확인했고 이것을 처리했을 때 성능 0.01 정도 상승되었다.

#PersonN# 과 조사 (은,는, 이, 가, 에게,를 등등) 사이 띄어쓰기 제거
따옴표가 생기는 경우 -> 실제로 ""가 들어가 있는 것이 아닌, csv파일 처리하는 과정에서 생긴 문자
들여 쓰기 제거

■ Modeling

Model: kobart-summarization

이번엔 Data-centric에 집중하기 위해 모델에 대해선 보수적으로 접근했다. 모델 찾는 것은 다른 팀원에게 역할을 배분했었는데 결국 돌고 돌아 베이스라인의 모델을 사용하기로 했다. 유력한 후보 중에 BART와는 다른 방식인 KoT5도 있었지만 Batch size 문제로 도입에는 실패했다.

비록 최신 언어 모델은 사용하지 못했지만, 결과적으로 일찍이 Data-centric 했던 것은 좋은 접근이었던 것 같다. 후에 현직자분께서 이제는 모델링을 고민하기보다 어떻게 잘 학습시킬 것인지가 관건이라는 말씀이 더욱더 이 접근에 힘을 실어주었기 때문이기도 하다.

Hyper-Parameter Tuning

이 부분은 다른 팀원이 맡았는데 아쉽게도 극적인 성능 향상은 이뤄내지 못했었다. 일찍이 범용적인 파라미터값으로 성능 향상을 확인하고 추후 따로 조치한 것은 없었다.

■ Result

ROUGE - Final Score :

Public LB : 42.5202 / Ranking 3rd

Private LB :39.7159 / Ranking 4th (shakeup)

내 제출파일은 팀 내 Public score 기준 2등은 아니었다. 다만 방향성을 달리 하고자 제출 파일 2개 중 하나로 내 파일이 제출했는데 shakeup이 일어나면서 Private LB에서는 내 제출파일이 팀을 캐리 하게 됐다. 하마터면 등수가 2등 떨어질 뻔했는데 나름 뿌듯하다.

■ Mentoring

개인적인 이유로 멘토링 시간에 참여하지 못했지만 결론적인 내용은 아래와 같았다.

- 목적 : 내 모델의 tokenizer가 요약문에 있는 token을 알고 있어야 한다. (tokenizer 성능 높이기)

방법 0 : EDA에서 진행했던 내용 기반으로 토큰 추가
방법 1 : 정답 문장을 few-shot으로 train set에 넣어서 학습시킨다.
방법 2 (Data Distillation) : GPT-4 (LLM)을 통해 다양한 요약문을 생성하고, 이 요약문들을 train set으로 넣어준다.

5. 자체 평가 의견 : Competition Review

■ Good point

일찍이 Data-Centric에 집중한 것:

위에도 흠뻑 언급했지만 여태 대회 경험을 통해 대세는 Model-centric 보다 Data-centric임을 깨달을 수 있었다. 역할 배분에서 양해를 구하고 이를 도와준 팀원분들에게 감사할 따름이다.

■ Fail point

한국어 최신 언어 모델 사용 실패:

팀원이 KoT5의 Batch size 오류를 해결하기 위해 Upstage 멘토님께도 물어보며 사방팔방 뛰어다녔지만 아쉽게도 해결하지 못한 채 베이스라인 그대로 가게 되었다. 베이스라인 자체로도 훌륭한 모델이긴 했으나 약 3년 전 모델이기 때문에 최신 언어 모델을 사용했으면 어땠을까 하는 생각이 있다.

■ Bummer point

좀 더 다양한 기법을 적용해보지 못한 것

대회 종료 후, 발표 및 피드백 시간에 토크나이저가 생각보다 엄청나게 중요하다는 것을 알게 됐다. 대회 1등의 방법론을 나열하자면 Data Cleaning, SOLAR-KO-10.7b(토크나이저)+QLoRA, 4bit Quantization, bf16, batch=8, SFT, 1 epoch였다. LLM을 적극적으로 활용했고 무거운 모델 사용이 가능했던 것은 좋은 토크나이저를 썼기 때문이라는 설명을 들으며 토크나이저에 대해 더 알고 싶은 마음이 들었다.

그리고 augmentation을 적용한 팀도 여럿 있었는데 AI 허브에서 일상 대화 데이터셋을 추가하는 방법과 Back-translation 등을 통해 기존 데이터셋을 증강하는 방법이 있었다. 번역으로 augmentation 하는 것도 놀라웠는데 LLM을 통해 한국어 to 한국어 번역이 바로 가능하다는 점도 놀라웠다. LLM은 [Source Language = Target Language = Korean] 이렇게 설정함으로써 쉽게 가능하다는 사실…!

■ Insights from the competition

토크나이저의 중요성

좋은 토크나이저일수록 의미 있게 잘 자르고 낭비되는 토큰이 없기에, 맥락을 더 잘 이해하고 사용 메모리가 줄어 학습이 안되던 거대 모델도 학습이 가능해진다는 것이었다. NLP에 있어서 굉장히 중요한 것을 배운 기분…! 현재 부트캠프 외에 다른 NLP 프로젝트를 진행 중이었는데 당장이라도 적용해보고 싶은 마음이 드는 순간이었다.

Tensorflow Certificate 취득 과정 & 후기 (feat. 구글 부캠)

테크겸 — Sun, 5 May 2024 17:26:21 +0900

실로 오랜만에 쓰는 블로그다.

본래 노션에 주로 특강이나 공부한 것을 기록하고 블로그에는 후기나 정제된 이론을 정리했었다.

다만 학교 도서관 근로생으로서 중간고사 맞이 당직 근무를 하게 되어, 정기 모각글 시간을 놓치는 바람에 거의 약 2주나 놓치고 말았다. 그래서 블로그 텀이 조금 길기도 하다. (엥? 최근 글과 텀이 4주인데 나머지 2주는 뭐임 → 각각 깃허브 리드미 정리, 자격증 벼락치기 한다고 블로그에는 글을 안 썼다)

각설하고 생애 첫 자격증인 Tensorflow Certificate 취득 과정과 후기를 써보려 한다.

0. 취득 동기

작년 하반기에 Google ML Bootcamp 4기를 졸업한 나에게는 Tensorflow Certificate를 응시할 수 있는 특전이 주어졌다.

쿠폰 코드로 Redeem을 제때해야 졸업 후 약 4개월 동안 응시할 수 있었는데, 나중에 보니 캠퍼 상당 수가 기한을 놓쳐더라...(우리 논문 스터디 팀원들 눈감아)

다행히도 나는 기한 맞춰 부랴부랴 쿠폰 입력하고 여권 인증하고 얼기설기 씨름하여 Redeem 할 수 있었다.

이 자격증을 정말 볼지 말지는 정하지 않았었지만 Redeem 안 해두면 볼 기회조차 생기지 않기에 일단 등록부터 해놨고, 장장 4개월 끝까지 고민하다가 결국 응시하기로 했다.

이 자격증이 생각보다 부담되지 않고 이것을 공부하는 코세라 과정이 오히려 더 공부가 된다는 후기가 그 이유였다. (그리고 취득한다면 운전면허 이후 첫 자격증이기도 하고)

1. 등록 및 환경설정

■ Redeem

Redeem을 하게 되면 아래 블록이 뜨는데 여기 start 눌러도 덜컥 시험 시작 안되니 걱정하지 말자. 시험은 파이참에서 take exam을 눌러야 시작되니까 오히려 아래 start를 미리 눌러봐서 시험 세팅을 확인해 보자!
참고로 명시된 Expires 날짜를 보지 말고 남은 Expires 기한을 보는 게 맞다. 그래봤자 하루 차이라서 미리 시험 치는 사람들에게는 해당사항 없겠지만 나 같은 막차 탑승 인원들은 귀중한 보너스 시간이 아닐 수가 없다.

■ 역시나 문제는 환경설정

[2023년 업데이트] 구글 텐서플로 자격 인증 시험을 위한 파이참, 가상환경, 플러그인 설정 방법

시작하는 과정이 잘 정리되어 있으니 이대로 따라주면 좋음

파이썬 설정까진 문제없었다. 아나콘다 가상환경 만들고 필요한 패키지도 pip install -r requirements.txt로 가볍게 패스.

공식 문서에 따르면 파이참을 최신 버전으로 사용하라길래 기존에 깔린 파이참도 오래간만에 24.1로 업그레이드하고 순항하나 싶었는데 문제는 플러그인... TensorFlow Developer Certificate라는 플러그인이 파이참에서 떠야 되는데 안 떴다.

처음에는 검색을 막 해보다가 이런 글이 있길래 수동으로 직접 플러그인 디렉토리에 넣어보기도 했는데 파이참은 여전히 깜깜무소식이었다. 디스크에서 플러그인 수동 설치도 역시나 실패.

Cannot Find the TensorFlow Developer Certificate Plugin in the PyCharm Plugin Marketplace - Stack Overflow

Cannot Find the TensorFlow Developer Certificate Plugin in the PyCharm Plugin Marketplace

I paid to take the TensorFlow Developer Certificate exam, and I'm now supposed to install the TensorFlow Developer Certificate plugin into PyCharm. I go to PyCharm Plugins and search for "Tens...

stackoverflow.com

그리하여 시작된 맞는 버전 찾을 때까지 다운그레이드 퍼레이드…!

근데 사실 이럴 필요가 없었던 게 오른쪽 사진(tensorflow certificate jetbrain marketplace라고 검색)을 보면 알겠지만 가능한 파이참 버전이 명시되어 있었다.

너무 1차원적으로 데스크탑의 파이참 23.1.5 호환 안되고 노트북의 24.1이 호환 안된다고 하니 “아! 더 아래 버전을 깔아야 되겠구나!” 싶어서 자꾸만 내려갔었다. 명색이 전공자인데 이런 것도 확인 안 하다니 반성해야겠다 싶은 순간이었다.

어쨌든 파이참 23.3.5를 설치하고 성공한 플러그인 설치..!

2. 자격증 공부

■ Coursera 수강 및 꿀팁

원래는 구글 부트캠프에서 들은 Deep Learning Specialization을 정리하고 응시할랬지만 막차 탑승을 하다 보니 시간에 쫓겨 바로 tensorflow 강좌를 듣기 시작했다. 참고로 구글 부트캠프 특전으로 이 강좌도 미리 계정에 추가되어 있어서 편-안 하게 수강했다.

DeepLearning.AI TensorFlow Developer Professional Certificate | Coursera

DeepLearning.AI 텐서플로 개발자

DeepLearning.AI에서 제공합니다. 무료로 등록하십시오.

www.coursera.org

위 강좌는 4개의 코스로 이루어져 있고 각 코스는 4주의 과정으로,

강의는 대개 짧게 짧게 구성되어 있고 주차별로 실습, 퀴즈, 과제가 주어졌다.

나는 딥러닝에 대해 어느 정도 알고 공부보단 취득이 우선이었기에 No 필기, No 실습으로 금방금방 넘어갔다.

(원래 무엇이든 강의라면 필기하고 보지만 그러면 강의 시간보다 거의 3배 걸린다)

그리하여 주차별로 약 30분 정도 걸렸고, 순공부시간은 전체 약 8시간 걸렸던 것 같다.

추가 팁으로, 강좌를 들으면서 아래 Reference가 굉장히 도움이 됐다.

williamcwi/DeepLearning.AI-TensorFlow-Developer-Professional-Certificate (github.com)

GitHub - williamcwi/DeepLearning.AI-TensorFlow-Developer-Professional-Certificate: DeepLearning.AI TensorFlow Developer Professi

DeepLearning.AI TensorFlow Developer Professional Certificate - williamcwi/DeepLearning.AI-TensorFlow-Developer-Professional-Certificate

github.com

3. 시험 응시

■ 시험 난이도

일단 코세라 강의를 들었다면 난이도는 어렵지 않으리라 확신한다.

다른 블로그 후기들을 보면 5번이 제일 어렵고 강의에서 안 나왔던 것이 나온다고 하던데 나는 오히려 5번보다 3,4번에서 조금 더 애를 먹었었다. 근데 그마저도 문제끼리 상대적이라 그렇지 절대적으로 보면 모든 문제의 난이도가 다 평이했다.

■ 시험 방식

문제의 순서는 강좌 목차와 비슷하게 1번은 단층 레이어, 2번은 mnist, 3번은 vision, 4번은 nlp, 5번은 시계열 문제였다.

문제 방식은 과제처럼 주석으로 안내된 부분을 채우면 됐다.(ipynb 파일이 아닌 py 파일에서)

뭐... 더 이상 스포는 삼가고 시험 응시 시간은 5시간 중 약 2시간 정도 걸렸는데 이것도 필요한 부분 채우기보다 모델 돌리고 디버깅하는 시간이 많이 걸렸다.

■ 모델링 & 컴퓨팅 리소스

다른 블로그들은 모델 돌리는 게 시간이 특히 많이 걸려서 코랩을 많이 쓴다고 한다. 모델 돌리다가 시험 끝나면 어떡하지 하는 생각에 나도 지레 겁먹고 코랩을 준비하려 했으나 당일치기로 강좌를 듣는 동안 코랩 GPU 리소스를 전부 소진하여 불가했다. 절망할 뻔했으나 캐글 노트북도 코랩과 같이 쓸 수 있음을 떠올리고 곧바로 실행한 결과 성능은 역시 확실하게 챙길 수 있었다.

그런데 애로사항은 여기서 추출된 모델 세이브 파일(.h5)을 시험 디렉토리에 넣어서 결과 확인하려고 하면 이상하게 출력 형식이 다르다고 오류가 났다. 똑같은 코드를 파이참 로컬환경에서 그대로 돌려서 추출된 모델 세이브 파일은 문제없이 잘 돌아가기도 하고 모델링 속도도 준수해서 결국은 그냥 로컬에서 계속 돌렸다는 웃픈 사실...(본인은 게이밍 데스크탑 로컬 환경을 갖고 있음)

4. 취득하고 나서

이때가 밤을 새우고 아침이었는데 생각보다 평이한 난이도에 실소가 나왔으나

이내 첫 자격증 취득이란 사실이 뿌듯하여 바로 링크드인에 등록하고 캡스톤 디자인 주간 보고서에도 공부한 내용에 이 사실을 적었다. 아마 구글 부트캠프 4기 캠퍼들 중 내가 Tensorflow Certificate 취득 찐막차이지 않을까 싶다. (Expire를 거의 몇 시간 안 남기고 취득했기 때문...!)

그리고 구글 부트캠프는 일찍이 졸업하긴 했어도 이 자격증 취득은 남아있는 숙제 같은 개념이었기에 비로소 구글 부트캠프를 실질적으로 졸업한 느낌이 들어 더욱이 뿌듯했다. 비록 이 자격증 취득이 AI 분야 취업에 엄청난 스펙으로 작용하진 않겠지만 경력 하나 없는 내 이력서에 단비 같은 존재가 생긴 것에 만족한다. (+결이 비슷한 AICE도 원래 계획했으나 이건 추후 KT 지원할 때나 도전해 볼 것 같다.)

Upstage AI Lab 대회 회고: [CV] Document Type Classification

테크겸 — Sat, 23 Mar 2024 19:19:35 +0900

0. 발표자료: Link

#3 CV Competition | 문서 타입 분류 | 7조

docs.google.com

1. 대회 개요 : Competition Overview

■ Goal of the Competition

문서 타입 데이터셋을 이용해 17개의 클래스로 이미지 분류 모델 구축

■ Timeline

February 5th, 2024 - Start Date
February 19th, 2024 - Final submission deadline

■ Dataset

train [폴더] : 1570장의 이미지 저장
train.csv
- 1570개의 행, train/ 폴더에 존재하는 1570개의 이미지에 대한 정답 클래스 제공
- ID 학습 샘플의 파일명
- target 학습 샘플의 정답 클래스 번호
meta.csv [파일]
- 17개의 행
- target 17개의 클래스 번호
- class_name 클래스 번호에 대응하는 클래스 이름
test [폴더] : 3140장의 이미지가 저장
sample_submission.csv [파일]
- 3140개의 행
- ID 평가 샘플의 파일명
- target 예측 결과가 입력될 컬럼 (값 전부 0으로 저장)

2. 대회 목표 : Competition Detailed Goal

■ Learning Objective

공동 학습 목표
- 1차 목표(Basic): Backbone 이해하기
  - 1차 목표 선정이유
    - 김**: 정형데이터에서도 overfitting으로 애먹었기에 cv의 overfitting 핸들링이 궁금
    - 남** : CV의 기본이 되는 Backbone들을 정확히 이해하는 것이 다른 task를 이해하는 데에 기본이 될 것이라고 생각해 깊게 공부해보고 싶습니다.
    - 윤** : 실전에서 Overfitting을 방지하기 위한 방법을 알고, 미리 대비하여 스코어를 잘 받아보고 싶다.
- 2차 목표(Advanced): Semantic Segmentation 이해하기
  - 2차 목표 선정이유
    - 남** : Semantic Segmentation과 관련해 프로젝트를 진행해 본 적이 있는데, 개념적인 내용과 함께 더 깊은 이해를 하고 싶습니다.
    - 노**: 의료 영상이나 이미지에서 부위나 객체를 식별하는 방법을 배워보고 싶습니다.
    - 윤** : 실제 대회가 어떤 방식인지 아직은 모르지만, 문서에서 Background 영역이 크다고 생각해서 발생하는 문제와 해결방법을 배우고 싶다.
개인 학습 목표
- 1차 목표: CV Competition 나만의 Baseline 만들기
- 2차: CV에서 overfitting 줄이는 방법 조사 및 적용

3. 모델 구조 요약 : Competition Model

(flowchart로 대체 예정)

■ Data

Fix mislabeled Train Dataset : 6 row
Augmentation
- Oversampling
- Albumentation
- Mixup

■ Modeling

Model: maxvit_small_tf_512
- batch 사이즈: 8
- epoch=60
optimizer : AdamW
- weight decay=1e-4
CrossValidation : kfold=5, early stopping
Ensemble :
- Do: Ensemble of 5 fold, Ensemble of 7 final predictions
- How to: mode
- Ensemble of 7 final predictions
  - Random seeds: 5
  - Another optimizers(Adam, NAdam): 2

■ Result

F1 score :
- Public LB : 0.9529
- Private LB : 0.9409
- Ranking 4/9

4. 진행 과정 : Competition Process

■ EDA

Train-Test 분포 확인

우선 Train과 Test 폴더 별 이미지 분포를 살펴봤다. Train 이미지는 노이즈 없이 깨끗한데 반해 Test 이미지는 이미 여러 Augmentation 기법이 적용되어 있었다.

Train dataset target 오류 수정

공유 게시판에서 장*준님의 게시글을 보고 알았는데 target이 잘못된 데이터가 있다는 것이었다. 그리하여 엑셀 파일에 아이디별로 이미지가 삽입되게끔 코드를 구성하여 새로운 엑셀 파일 생성하였다. 그러고 시작된 1570장 훑어보기… 그래도 그 결과 6개의 잘못된 데이터를 찾을 수 있었고 매우 미미하긴 하지만 오류를 고칠 수 있었다. 오류는 의료 문서 쪽이 대부분이었는데 진료 확인서가 소견서로 되어있다든가 영수증이 진단서로 되어있다든가 하는 헷갈릴 수 있는 경우들이었다. (근데 단순하게 전후 성능 비교해 보니 오히려 떨어졌다 뭐지?)

Train dataset 클래스 불균형 확인

데이터가 불균형하면 성능이 안 좋기 마련이다. epoch 수를 늘리면 이 차이는 점점 벌어져 점차 적은 클래스에 대해 무시하는 방향으로 학습이 될 것이기 때문이다. (점차 가중치가 줄어들 것이므로)

■ Augmentation

Oversampling:
- Train dataset에만 적용하여 모델 검증 정확성 보장
- 특정 클래스에 더 높은 가중치 부여를 통해 Dataset의 클래스 불균형 해소
- 각 클래스별로 설정된 비율에 따라 데이터를 샘플링

Albumentation
1. 이미지 랜덤 회전: 90°/180°/270°/360° 중 랜덤 회전
2. 이미지 뒤집기: 수평 또는 수직 방향의 랜덤 뒤집기
3. 가우시안 노이즈 추가: 정규분포 노이즈의 적용
4. 블러 효과 적용: 모션, Median, 일반 블러 중 선택 적용
5. 외곽 회전 보완: 회전 후 남는 외곽을 흰색으로 채움
6. 이미지 왜곡 처리: 광학, 그리드, 어파인 변환 중 선택 적용
7. 이미지 향상 처리:CLAHE, 샤프닝, 엠보싱 중 선택 적용
8. 밝기 및 대비 조정
9. 색조, 채도 조정
10. 이미지 크기 조정 및 정규화: 크기 조정, mean 및 std를 이용한 정규화

{"originWidth":1060,"originHeight":610,"style":"alignCenter","width":500,"height":288,"caption":"출처 Improve Your Deep Learning Models with Image Augmentation

■ Modeling

모델 변천 과정:

Resnet50 - maxvit_xlarge_tf_512 - maxvit_xlarge_tf_334 - maxvit_small_tf_512

최종 모델 선택 이유

처음엔 Resnet50으로 빠르게 학습을 돌리며 데이터나 각종 configure를 조정했다. 하지만 F1 스코어 기준 80대에서 벗어나지 못하여 모델 쪽으로 눈을 돌려보고자 하였는데 마침 팀원이 SOTA 모델인 Maxvit을 알려줬다.

Maxvit은 Maximizing Vision Transformer의 약자로, ViT 기반 최신 CV 모델 중 하나이며 기존 ViT에 비해 크게 두 가지 개선점을 갖고 있었다.

하이브리드 아키텍처:
- 트랜스포머 블록과 CNN 레이어를 결합하여 더욱 강력한 특징 추출
- 이미지의 로컬 특징과 글로벌 특징을 모두 포착 가능케 함
스케일링 전략: 다양한 크기의 이미지에 대해 효율적으로 작동
위 장점과 함께 때마침 멘토님께서 시간이 한정되어 있으므로 모델을 픽스하고 데이터나 파라미터에 좀 더 집중하는 게 시간대비 성능을 끌어올리기 좋을 수 있다고 하셔서 그대로 Maxvit으로 픽스하기로 했다.

Maxvit 표류기

Maxvit을 쓰기로 했지만 팀원이 최초로 소개해준 모델인 maxvit_xlarge_tf_512은 epoch 30에만 꼬박 약 5시간이 걸렸다. 일단 xlarge 자체가 maxvit에서 제일 파라미터가 많은 데다가 이 모델을 사용하면 대회용 GPU(RTX3060 24GB)로 구동 가능한 batch size가 1밖에 안 됐기에 overfitting과 다른 configure를 조정할 시간을 확보하려면 더 작은 크기의 모델이 필수였다.

그리하여 Maxvit 논문을 살펴보며 크기별, 해상도별 Maxvit 모델 비교 분석을 했고, 일반 이미지보다 더 높은 해상도가 요구되는 문서의 특성을 고려하여 해상도 512 사이즈를 고집하면서도 batch size가 조금이라도 늘어날 수 있는 모델을 선택했다.

그 결과로 선택된 것이 maxvit_small_tf_512이며, 더 큰 모델에 비해 성능도 체감할 정도로 차이가 나지도 않고 학습 시간은 무려 약 1시간 반 정도로 줄었다.

출처 MaxViT: Multi-Axis Vision Transformer

그리고 이건 후에 멘토링 때 알게 된 것인데 Early stopping을 적용할 땐 batch size가 커야 안정적으로 loss 수렴이 이루어져 early stopping이 제대로 작동한다는 것이다. 역시 어떻게든 batch를 늘리려는 노력은 헛되지 않았던 것 같다. 아래 사진을 참고하자.

출처 How to Control the Stability of Training Neural Networks With the Batch Size

optimizer 선택 및 튜닝

처음에 팀원이 maxvit과 함께 들고 온 optimizer는 NAdam이었다. 바로 쓰기보단 다른 것을 먼저 신경 쓰고 있었기에 Adam을 고집하다가 성능 한계에 부딪히고 나서야 NAdam을 들여다보게 됐다. 그러나 maxvit 논문에서는 AdamW만을 쓰고 있었기에 3개의 optimizer의 특징을 파악하고 직접 비교분석하기도 했지만 멘토님께서 마침 optimizer와 관련하여 weight decay 파라미터를 조정해 보는 것을 추천하셨기에 이와 관련 있는 AdamW에 좀 더 집중해 보기로 하였다. 아래는 당시 정리했던 각 optimizer 별 특징이다.

✅ Adam과 NAdam과 AdamW의 차이
※ Adam은 각 매개변수마다 학습률을 적응적으로 조정하는 최적화 알고리즘
- 적응적 학습률: 매개변수별로 다른 학습률 적용
- 모멘텀 & 스케일링 조합: 과거 - 그래디언트의 정보를 활용
- 바이어스 보정: 초기 학습 단계의 바이어스 보정을 통해 안정적인 학습
※ NAdam은 Adam에 네스테로프 가속을 추가한 알고리즘
- 네스테로프 가속 추가: 미래의 그래디언트 변화를 예측하여 수렴 속도 개선
- Adam의 기능 유지: 적응적 학습률, 바이어스 보정 등 Adam의 주요 기능 포함
※ AdamW는 Adam 알고리즘에서 Weight Decay를 다루는 방식을 개선
- Weight Decay를 손실 함수에 추가하는 대신, 매개변수 업데이트 단계에서 직접 가중치를 감소시키는 방식- - AdamW는 일반화 성능을 개선하고, 원하는 Weight Decay 효과를 보다 명확하게 달성 가능

{"originWidth":960,"originHeight":778,"style":"alignCenter","width":500,"height":405,"caption":"출처 Decoupled weight decay regularization

Cross Validation with KFold

정형데이터에선 막힘없이 쓰던 kfold가 이미지 데이터에선 막혀버렸다. dataloader를 쓰기 때문일까? GPT와 다소 씨름을 통해 기존의 train-test split을 k-fold로 바꿀 수 있었다. 사실 멘토님께선 얼마 남지 않은 대회 기간 동안 시간대비 효율이 좋지 않다고 하셨는데 overfitting에 노이로제 걸린 나는 그냥 구현했다.

그런데 이게 웬걸? fold별로 1시간 반씩 걸리길래 early stopping 구현도 필수였다. ML에서는 모델 자체에 구현되어 있거나 콜백 함수로 쉽게 쓸 수 있었는데 CV에서는 라이브러리를 사용하자니 뭔가 틱틱 걸리는 느낌이고, 리턴이나 출력이 원하는 데로 되지 않아서 직접 구현했다.

Early Stopping 코드

class EarlyStopping:
    def __init__(self, patience=5, verbose=False, delta=0):
        self.patience = patience
        self.verbose = verbose
        self.delta = delta
        self.early_stop = False
        self.val_loss_min = np.Inf
        self.counter = 0

        # 최적의 에폭, 모델, train loss, val loss, es에폭
        self.best_epoch = 0
        self.best_model = None
        self.best_score = None
        self.best_train_loss = None
        self.stopped_epoch = 0  # Early Stopping이 발생한 에폭

    def __call__(self, epoch, val_loss, train_loss, model):
        score = -val_loss

        if self.best_score is None:
            self.best_score = score
            self.update_best_model(epoch, train_loss, model)
        elif score < self.best_score + self.delta:
            self.counter += 1
            if self.verbose:
                print(f'EarlyStopping counter: {self.counter} out of {self.patience}')
            if self.counter >= self.patience:
                self.early_stop = True
                self.stopped_epoch = epoch
        else:
            self.best_score = score
            self.update_best_model(epoch, train_loss, model)
            self.counter = 0
    
    def update_best_model(self, epoch, train_loss, model):
        self.best_epoch = epoch
        self.best_train_loss = train_loss
        self.best_model = copy.deepcopy(model.state_dict())
        if self.verbose:
            print(f'New best model at epoch {epoch+1} | Train Loss: {train_loss:.4f}')

    def print_summary(self):
        print(f"Early stopping at epoch {self.stopped_epoch+1}. Best at epoch {self.best_epoch+1}")

Ensemble은 간단하게

대회 기간이 길지 않았기 때문에 정형 데이터처럼 여러 모델을 voting 앙상블까지 하기엔 시간이 부족하여 단일 모델을 사용하거나 간단한 앙상블을 사용해야 했다.

우선 당장 fold별 예측 결과들을 앙상블 해야 했기에 자주 사용하는 평균으로 했다가 예측값이 망가져 당황했었다. 이유를 생각해 보니 연속적이거나 확률을 맞추는 것이 아닌 특정 클래스로 예측해야 하는데 예측값들을 평균해버리면 전혀 상관없는 이상한 값이 나와버리는 것이다. 그러다가 생각한 것이 최빈값으로, 매우 간단한 데 비해 결과도 준수하게 나와서 이 방법을 선택하게 됐다. 물론 대다수의 예측값이 잘못 나오면 낭패긴 하겠지만 LB 제출 결과 실제로 준수하게 나왔다.

평균으로 망가지는 예시) 특정 아이디에 대해 어떤 예측은 1(진단서)로, 또 다른 예측은 16(소견서)으로 예측했을 때 평균 해버리면 9(자동차 번호판)가 돼버리는 것

최빈값 앙상블은 최종 예측값들에도 쉽게 적용할 수 있어서 총 7개의 예측값들을 앙상블 했다. 원래는 seed만 서로 다른 예측값들만 사용할랬는데 optimizer를 교체하는 과정에서 if 문에 실수를 하여 adam과 NAdam이 조금 섞여 들어갔다. 실수를 알고 AdamW로 교체했을 때는 대회 종료까지 얼마 남지 않아서 고민이 되기도 했지만 다양성을 좀 더 높이고자 전부 다 기용해서 앙상블 후 마지막 제출 했더니 다행스럽게도 개인 제출 중 가장 높은 점수로 마무리할 수 있었다.

■ Mentoring

#1 질문 사항
- Q1. kfold는 사용이 가능한지? 효용성 있는지?
- Q2. albumentation과 augraphy 중복은 잘 안 쓰는 경우인지?
  - 문서 유형 따라 다르게 적용?
    - 이미지 유형은 albumentation, 문서 유형은 augraphy
    - (차 번호판, 차 대시보드 / 진단서, 소견서 등)
- Q3. 어떤 모델 사용?
- Q4. 멘토님이 쓰시는 앙상블?
✅ #1 피드백 내용
- A1. 하면 좋을 수 있겠지만 시간과 메모리 관점에서 비추천
- A2. 잘 안 씀
  - 좋은 생각인 듯, ImageDataset 오브젝트에 타깃 유형에 따라 달라지도록 정의
- A3. 모델도 좋지만 optimizer의 다양한 하이퍼 파라미터 사용 및 튜닝 추천
  - maxvit은 논문을 보면 AdamW를 씀(논문에 표로 어떻게 썼는지 정리되어있음)
  - ImageNet-1K (fine tuning) 따라가는 것 추천
  - 라벨 스무딩 적용
- A4. 잘 안씀, 하나를 잘 튜닝하는 것을 추천하는 편
#2 질문 사항
- Q1. 표를 참고했을 때, 스케쥴러는 사용하지 않는 게 좋은 것 같아서 사용해보진 않았는데 참고가 될까요?
- Q2. 모델이 큰 게 좋을지, 사진 사이즈(해상도)가 큰게 좋을지?(+albumentation, augraphy 같이 쓰니까 메모리 초과)
- Q3. 예측값 제출 시 description(configure) 어떻게 작성하는지?
- Q4. 최종 예측값 앙상블의 경우 최빈값 외에 좋은 방법이 있을지?

✅ #2 피드백 내용
- A1. 일반적인 이미지가 아닌 문서 분류 이므로 lr를 크게 해서 pre-training 추천
  - lr 스케쥴러는 이때 효과적임
  - pre-trained 가중치를 쓰더라도 스케쥴러는 효과 있을 듯
- A2. 사진 사이즈 384와 512의 성능 차이는 크지 않음(근소하게 512가 크긴 함)
  - 사이즈는 표준 224를 많이 쓰고 욕심내면 384를 씀, 과욕하면 512를 쓰는 정도
  - 배치 사이즈가 작으면 loss 수렴이 매우 튈 수 있기에 배치 사이즈 키우는 것을 추천
    - 최소 8이고, 보통 64 이상 추천
    - loss가 튈 경우, early stopping이 잘 안 될 수 있음
- A3. wandb로 configure 체크 중, 협업할 때도 좋음
- A4. 최종 예측값을 도출하기 전이라면 몰라도 개별 예측값끼리는 최빈값으로 하는 게 맞음

5. 자체 평가 의견 : Competition Review

■ Good point

overfitting을 잡기 위해 노력한 것:

비록 팀 내 최고점은 아니었지만 public과 private 점수의 갭 차이가 크지 않았다. 0.01 정도? 최고점을 받았던 다른 팀원의 제출물은 0.02 이상 차이 나서 private LB에서는 나와 점수 차이가 거의 나지 않았다.

batch size를 늘린 것:

다른 팀원의 경우 batch size 1로 고정하여 사용하느라 다양한 시도를 못했었는데 반해 꽤 다양한 시도를 해본 것 같다. 이번에 팀 발표 시간에 CAFomer라는 가볍고 강력한 모델이 있던데 batch size도 32로 진행했다고 하니 한번 시도해 볼만할 것 같다.

■ Fail point

maxvit으로 batch size를 더 늘리지 못한 것:

지금 생각해 보면 tiny 모델을 시도해 봐도 좋았을 텐데 하는 마음이 있다. CV에서도 F1 스코어가 0.9702 정도에 그쳤기에 좀 더 안정적으로 early stopping 이뤄졌다면 더욱더 높일 수 있었지 않았을까 싶다.

augraphy를 사용 실패:

문서에 특화된 데이터 증강 기법인데 코드에 이를 적용하면 메모리 이슈로 다운 됐었다. 다른 팀원들보다 모델이 무겁지 않은데도 이런 현상이 발생하니 기가 막힐 노릇이었다. 데이터 중에는 자동차 대시보드, 번호판 같은 비문서(?) 데이터도 있기는 했지만 대다수가 종이로 된 문서 데이터였기에 문서/비문서 타깃별로 augraphy와 albumentation을 각각 적용하려는 날카로운 방법도 고안했지만 메모리 이슈로 실패하니 아쉬웠다.

■ Bummer point

클래스 별 오차 확인 못한 것:

예측 후 클래스 별로 얼마나 오차가 있는지 확인했으면 좀 더 성능 개선을 효율적으로 할 수 있었을 것 같은데 이것을 대회 막바지에 알아서 아쉬운 마음이 있다. 학습 코드에 한번 적용시켜 봐야겠다.

좀 더 다양한 모델 시도를 못한 것:

발표 때 보니 efficientnet-b4라는 모델이 자주 보였다. 나의 경우 resnet50에서 maxvit으로 퀀텀점프한 거나 다름없기에 좀 더 천천히 스텝을 밟아갔다면 다양한 경우를 확인할 수 있지 않았을까 하는 생각이 든다.

■ Insights from the competition

CV의 직관적인 매력이 있다:

tabular에 feature engineering이 있다면 CV에는 Augmentation이 있다. tabular의 경우 도메인이 많은 영향을 끼치는 데 반해 CV에선 눈에 보이는 만큼 처리하면 되니 좀 더 직관적인 매력이 있는 것 같다.

Early stopping을 적용할 땐 batch size를 적어도 32를 유지하자

위에도 계속 언급했듯 batch size는 너무 적어도, 너무 많아도 문제다. 적당한 size를 유지할 수 있도록 하자!

Upstage AI LAB 대회 회고 : [ML] House Price Prediction

테크겸 — Sun, 17 Mar 2024 16:21:29 +0900

0. 발표자료: Link

#2 ML Regression Competition | 아파트 실거래가 예측 | 6조.pptx

docs.google.com

1. 대회 개요 : Competition Overview

Goal of the Competition

서울시 아파트 실거래가 매매 데이터를 기반으로 아파트 가격을 예측하는 대회
서울시 아파트의 각 시점에서의 거래금액(단위:만원)을 예측하는 것이 목표

Timeline

January 15th, 2024 - Start Date
January 25th, 2024 - Final submission deadline

Dataset

train.csv
- 1,118,822개의 행
- 거래금액(target)을 포함한 52개의 아파트의 정보와 거래시점에 대한 변수
- 시점: 2007.01.01 ~ 2023.06.30

test.csv
- 9272개의 행
- 거래금액(target)을 제외한 51개의 아파트의 정보와 거래시점에 대한 변수
- 시점: 2023.07.01 ~ 2023.09.26
sample_submission.csv
- 9272개의 행
- target 예측 결과가 입력될 컬럼
subway_feature.csv
- 768개의 행
- 지하철역 추가 데이터
bus_feature.csv
- 12584개의 행
- 버스정류장 추가 데이터

2. 대회 목표 : Competition Detailed Goal

Learning Objective

공동 학습 목표
- 1차 목표: 강의 입과 전까지 학습 내용 정리 및 복습
  - 강의 입과 후 커리큘럼에 따라 학습 목표 재설정
- 2차 목표: Upstage ML 경진대회가 진행되는 1월 15일 전까지 집값 예측 관련 대회 인사이트 찾기
개인 학습 목표
- 1차 목표: 관련 대회 참고하여 인사이트 쌓아놓기
  - Dacon 아파트 실거래가 예측 대회(연습) 바로가기
  - Dacon 아파트 실거래가 예측 대회 바로가기
  - Kaggle House Prices 바로가기
- 2차 목표: 부동산 가격에 영향을 미치는 변수 생각 및 도출

3. 모델 구조 요약 : Competition Model

(flowchart로 대체 예정)

Data Preprocessing

재개발 되거나 예측할 필요가 없는 아파트 데이터 삭제
결측치 삭제 및 대체
- 결측치는 아니지만 의미 없는 변수 삭제
- 증여 또는 직거래로 인해 나머지 타겟과 다른 양상을 보이는 경우 (이진 분류)
- 도로명 기준 아파트명 결측치 대체
- 아파트명 직접 대체
- 좌표X, 좌표Y 결측치 대체 (Timeover, 실패)
- 결측치 90% 이상 차지하는 변수 제거
- 연속형 변수: 선형보간(Linear interpolation)
- 범주형 변수: ‘NULL’ 임의의 범주로 대체

Feature Engineering

시군구, 년월 분할
2020년 이후 데이터만 추출
Trainset에서 Testset에 없는 아파트명을 가진 데이터 제거
강남or강북 여부, 신축or구축 여부 변수 생성
한국 은행 기준금리 변수 생성

Modeling

범주형 변수 Label Encoding
6개 모델 Voting 앙상블
- RandomForestRegressor
- XGBRegressor
- LGBMRegressor
- CatBoostRegressor
- HistGradientBoostingRegressor
모델별 Out-of-fold 예측값을 생성하고 LADRegression으로 학습시켜서 가중치 생성
CrossValidation : kfold=5

Result (RMSE)

Public LB : 46154.9294
Private LB : 32499.2521
개인 Ranking 8/9 (비공식)
팀 Rangking 7/9 (공식)

4. 진행 과정 : Competition Process

EDA

부동산에 대해선 까막눈이었던 나는 카더라~말고 실질적으로 도움이 되는 도메인이 필요했고 간단한 조사 후 아래의 의견을 도출해봤다.

한강과의 거리 (부산의 경우 바다와의 거리)
✅거래일 당시 한은 기준 금리 넣는 건 어떨까
주변 스타벅스 여부?

결과적으로 위치와 관련된건 실패했다.

좌표를 생성하는 코드를 대회 중후반부터 돌렸지만 하루가 지나도록 도출되지 않아서 실패.

그 외에 팀원분이 공유해주신 사이트를 통해 부동산에 영향이 갈만한 요소를 몇 개 눈여겨 보긴 했지만 하나같이 시간을 많이 쏟아야 되는 것이라서 다른 것에 눈길을 돌릴 수 밖에 없었다.

좋은 아파트 고르는 법

Data Preprocessing

위의 대회 개요에서 알 수 있듯 이 대회의 데이터는 결측치가 어마무시하게 많다.

게시판에 공유된 글이나 다른 팀원들을 보면 결측치가 많은 변수들은 그냥 지워버리고 값들이 온전한 5개 내외의 변수만을 사용하여 모델링을 하곤 했다.

쉬운 방법으로는 하기 싫은 반골 기질 덕분에 결측치를 손수 해결하고자 했고 그 결과 타임오버 되어 유의미한 결과를 도출하기 전에 대회가 끝나버렸다.

아쉬운 마음을 담아 여태 진행한 결측치 해소 방법을 공유해봤는데 9분이나 좋아요 해주셔서 감사할 따름이었다.

Feature Engineering

아무리 부동산에 까막눈이라도 근래 들어 부동산이 엄청나게 뛰어오른 것은 알고 있다.

즉, 대회를 위해서 거품을 반영한 학습 데이터 위주로 학습시켜야 한다는 소리이다. 예측해야하는 데이터의 시점(2023.06~2023.09)조차 거품의 영향을 피할 순 없기에 2020년 이후 데이터만 사용하였더니 cv 결과가 매우 좋아졌다.

그리고 주식을 하는 사람으로서 금리가 상승하면 대출 둔화로 이어지는 점을 고려하여 이는 부동산 매매에도 영향을 미칠 것이라 생각하여 한국은행 기준금리 변수를 추가했다. 그 후 미미한 성능 향상을 볼 수 있었는데 엄청난 결측치를 해소하면 기준금리 변수가 좀 더 성능을 향상 시켜줄 것이라고 생각했다.

주변의 여러 시설물의 여부를 파악하여 해당 여부 변수들을 추가하고 싶긴 했지만 좌표의 결측치들부터 해소하지 하지 못해서 실패!

Modeling

처음 대회의 베이스라인은 RF만 구현되어 있었지만 이전에 만들어뒀던 Regression 베이스라인에서 모델링을 그대로 가져와서 적용시킬 수 있었다.

베이스라인의 묘미를 느낄 수 있었던 순간..! 덕분에 큰 수고를 하지 않아도 성능 향상 효과를 볼 수 있었다.

파라미터 튜닝까지 했으면 더 좋을뻔했지만 Feature Engineering이 우선된 후 진행해야 그 효과를 제대로 보기 때문에 최후의 최후까지 미루다가 결국 두 마리 토끼를 전부 놓치고 말았다. 중간에 타협점을 찾는 것도 좋은 방법이었음을 아득히 떠올리는 순간이었다

Mentoring

ㄱㅇㄷ 강사님과의 멘토링 중 기억에 남는 것은

지역구별로 데이터셋을 나누어 학습시키면? 이었다.

이유는 지역구별 편차가 클 경우에는 데이터셋을 나누어 학습하는게 유의미한 성능 차리가 있을 수도 있다는 것인데

이는 강남/강북 여부로 어느정도 해소되어 다른 Feature Engineering을 우선했다.

5. 자체 평가 의견 : Competition Review

Good point

내가 찾은 방안을 커뮤니티에 공유한 것
- 이번 내부 대회를 진행하며 작게나마 차별점으로 생각했던 방안을 공유해봤고 생각보다 많은 좋아요를 받게 되어 떨떠름하면서도 나 하나만이 아니라 더 다양하고 많은 곳에 기여했다는 유익한 느낌을 받을 수 있었다.
- Upstage 대회 이전에 캐글에서도 여러 대회에 참여했지만 인사이트를 공유하는 게시글은 써본 적이 없다. 언제나 도움받는 입장이 되었을뿐…

Fail point

좌표 찾는 코드를 실패한 것
- 이를 바탕으로 느낀 것은 새삼 당연하지만 코드가 잘 돌아가는지 소규모로 확인하고 중간중간 잘되는지 확인할 수 있는 방법을 추가하는 것이었다.
- 몇 번째 인덱스까지 됐는지 확인하는 출력문을 추가했다면 모를까 그냥 냅다 돌려버리고 nn시간을 보냈더니 인내심에 한계가 왔다.
- 좌표 찾는 코드 (더보기)

# 필요한 Library 설치
%pip install geopy
from geopy.geocoders import Nominatim

# 관련 Column 만들기
dt01['도로명주소'] = dt01['시군구'] + ' ' + dt01['도로명']

# Geopy Geolocator 초기화
# geo_local = Nominatim(user_agent='South Korea')
geolocator = Nominatim(user_agent="geoapiExercises")

# 지오코딩 함수 정의
def geocode(address):
    try:
        location = geolocator.geocode(address)
        return location.latitude, location.longitude
    except:
        return None, None

# 결측치가 있는 행의 좌표 대체
for index, row in dt01[dt01['좌표X'].isna() | dt01['좌표Y'].isna()].iterrows():
    addr = row['도로명']  # '도로명'을 기반으로 좌표를 얻습니다
    lat, lon = geocode(addr)
    dt01.at[index, '좌표X'] = lat
    dt01.at[index, '좌표Y'] = lon

del dt01['도로명주소']

# 결과 확인
dt01

Bummer point

예측 후 인사이트를 활용하지 못한 것:
- 그런데 이 대회의 베이스라인은 예측 이후 어떤 Feature가 영향이 컸는지, 예측을 잘 한or잘 하지 못한 top 100 비교, 예측값 시각화 등을 제공하면서이를 이후에도 사용하고 싶었지만 베이스라인에 있는 코드 그대로를 쓰지 못했던게, 당장 앙상블 모델 사용과 시간관리의 미숙함이 발목을 잡았기 때문이었다…
- 피드백의 방향을 제시하는 점이 굉장히 센세이션이었다. MLOPs에 관심있어 하는 내가 이런 기본적인 피드백 수렴을 하지 못했던 것이 조금 부끄럽게 느껴졌다.
- 여태 예측값 도출 후 평가지표에 의존하며 성능이 좋아졌냐 안좋아졌냐만을 반복했다.
액기스를 뽑아야하는 시간을 활용 못한 것:
- 사실 대회 시간은 공지가 되어있는데 내가 소화하지 못했을 뿐 조금 더 시간관리의 필요성이 절실하게 된 순간이었다. 휴학 생활하느라 시간의 개념이 많이 확장되어 있었는데 다시금 졸라매리라 다짐했다.
- 개인적인 이유로 대회를 늦게 시작한 것도 있었지만 2주 밖에 안되는 시간이 더욱 원망스럽게 느껴지기도 했다.
대회의 Test dataset에 오류가 있었던 것:
- 처음에 LB의 RMSE가 10만 가까이 나와서 당황했다. 이는 전체 아파트 1개당 10억씩 틀린다는 것을 의미하는데 이는 10억을 호가하는 고가 아파트의 예측이 잘 안되고 있다고 판단하였고 실제로 validation에도 고가 아파트 예측이 잘 안되고 있음을 확인하여 이에 포커스를 맞추면 성능 향상에 크게 도움 될거라 생각했다.
- 하지만 성능 향상의 부진은 여전했고 다른 캠퍼분이 test dataset의 indexing이 잘못된 것이 아닌지 의문을 제기하셨는데 이게 사실이었다... 성능 향상이 잘 이뤄지지 않아서 의욕을 잃어가고 있었는데 오류가 있었다고 하니 허탈한 마음이 들었다.

{"originWidth":1176,"originHeight":720,"style":"alignCenter","width":500,"height":306,"caption":"출처: 테스트데이터셋 오류 여부 문의

Insights from the competition

중간에 타협하고 앞으로 나아갈 길을 찾자
- 이미 앞에 설명했지만 첨언하자면 파레토 법칙(80 대 20 법칙)이라는게 있다. 80%의 결과는 20% 행위에서 나타난다는 것인데, 다시 말해보자면 열심히 일하는게 아니라 효율적으로 일해야 된다는 것이다. 마침 이 이론을 알게되면서 내가 하고 있는 것이 정녕 우선순위였는가?를 반성할 수 있었고 앞으로를 좀 더 효율적으로 하기 위해 해야 되는 것이 무엇인가를 먼저 생각하게 됐다.
MLOPs의 과정을 떠올리자
- 기획부터 배포까지, 그리고 피드백 수렴 후 다시 반복.
- 그것이 내가 아는 MLOPs인데도 불구하고 피드백을 그저 숫자에 의존하면서 여태 대회에 임해왔던게 아쉬웠다.
- 이번에는 시간관리의 부족함으로 이를 반영하지 못했지만 이 다음부턴 꼭 적용해볼 것이다.

구글 머신러닝 부트캠프 2023 졸업 후기

테크겸 — Sun, 25 Feb 2024 21:34:50 +0900

벌써 올해의 마지막이 다가왔다. (근데 쓰다 보니 새해가 밝았다)

휴학생으로 지낸 2023년을 회상하며, 가장 기억에 남고 뜻깊었던 활동인 구글 부트캠프에 대해서 이야기해볼까 한다.

구글 부트캠프는 11월 30일에 졸업했고 직후 얼마 간은 창업경진대회, 또 다른 부트캠프의 시작으로 블로그를 신경 쓰지 못했지만 다시 재개된 모각글 활동과 함께 돌아왔다.

졸업 후기를 보기 전 아래 포스트를 먼저 보고 오면 좋다!

2023.10.29 - [대내외 활동/부트캠프] - 구글 머신러닝 부트캠프 2023 4기 시작(+중간 후기)

구글 머신러닝 부트캠프 2023 4기 시작(+중간 후기)

구글 부트캠프를 9월에 시작한 지 어언 2달이 흘러가고 있지만 이제는 더 이상 물러날 곳이 없는 지금, 합격 후기를 적어보려 한다. 합격 후기를 적을 수 있도록 판을 깔아주신 같은 구글 캠퍼 한

refine-thinking.tistory.com

* GMB = Google Machine Learning Bootcamp

■ 배움 in GMB

- Coursera

전공 수업으로 mnist 데이터 실습과 AI의 역사만 알고 있던 나에게 새로운 지표를 세울 수 있게 한 수업이지 않을까 싶다.

그 유명한 앤드류 응 교수님의 강의를 들으며 왜 응 교수님을 그렇게 신봉하는지 알 것 같았으며,

거의 5~6년 이상 된 강의인데도 불구하고 낡은 것이라기 보다는 근본을 꽉 잡아주는 듯한 느낌이 들었다.

(자료 같은 경우 계속 업데이트 되긴 함)

앞부분은 그래도 한번 들었던 내용이라 수월했지만 뒤에 갈수록 세분화되고 내용이 무거워지면서 퀴즈와 실습이 좀 어려웠다. 다행히도 비슷한 고민을 한 캠퍼분들이 많이 계셔서 커뮤니티에 올려주신 질문글을 참고하며 꾸역꾸역 할 수 있었다.

아래는 코세라를 들으면서 상당히 도움이 많이 됐던 링크 모음이다.

'Coursera 강의/Deep Learning' 카테고리의 글 목록 (tistory.com) : 이론 정리 블로그

DeepLearningAI - YouTube : 한글 자막 잘 돼있음 (코세라의 자막은 조금 어색 편)

참고로 코세라 완강 선착순 굿즈 증정 이벤트가 있었는데 못 받을 뻔했으나 우리의 열정을 높이 산 매니저님께서 10명 더 늘려주셔서 막판 스퍼트로 선착순 안에 들 수 있었다. 굿즈는 백팩! 나중에 사진을 보여드리겠다.

- Kaggle

※ Kaggle 수료 조건
(팀/개인 ) Featured Competition에 참여하여 상위 40% 내 랭킹
(팀) Play Ground Competition 혹은 Community Competition에 참여하여 상위 20% 내 랭킹
* (팀/개인/competition 상관X) 상위 5% 이내 랭킹 될 경우 특별 굿즈 (선착순)

지금은 뭐 괜찮은 캐글 대회 없나~ 쏠랑쏠랑 찾아볼 정도이지만 처음 시작할 때만 해도 캐글이 낯설고 어려운 미지의 존재였다. 부캠 기간 동안 총 3번의 캐글 대회를 참여했고, 과정과 결과는 각 포스트별로 정리해 놨다.

결론만 미리 말하자면 수료 기준은 일찍이 충족됐지만 특별 굿즈는 받지 못했다..ㅠ

1) Improve a Fixed Model the Data-Centric Way!

[머신러닝/캐글캐글] - 캐글 대회 회고: Improve a Fixed Model the Data-Centric Way! (with GMB)

캐글 대회 회고: Improve a Fixed Model the Data-Centric Way! (with GMB

구글 머신러닝 부트캠프에서 처음으로 참여했던 캐글 대회로, ㅅㅈㅇ님이 올려주신 모집글을 보고 다시 한번 캐글에 입문하기 계기를 마련하기 위해 좋은 기회라고 생각하여 참여했다. (팀 합

refine-thinking.tistory.com

2) Binary Classification with a Software Defects Dataset

[머신러닝/캐글캐글] - 캐글 대회 회고: Binary Classification with a Software Defects Dataset (with GMB)

캐글 대회 회고: Binary Classification with a Software Defects Dataset (with GMB)

2023.10.15 ~ 2023.10.24 약 9일 동안 참여한 대회에 대한 회고이다. 원래는 대회별로 깃허브에 기록 남기기를 지향했지만 캐글 노트북에서만 진행하다 보니 일일이 버전기록을 남기는 게 쉽지 않았다.

refine-thinking.tistory.com

3) Binary Prediction of Smoker Status using Bio-Signals

[머신러닝/캐글캐글] - 캐글 대회 회고: Binary Prediction of Smoker Status using Bio-Signals (with GMB)

캐글 대회 회고: Binary Prediction of Smoker Status using Bio-Signals (with GMB)

2023.10.25 ~ 2023.11.14 약 20일 동안 참여한 대회에 대한 회고이다. GMB에 들어와서 가장 길게 임했으며, 기존의 틀에서 벗어나 Data-centric을 찍먹 해본 대회이다. 이때 당시 긴 기간만큼 캐글 노트북의 G

refine-thinking.tistory.com

- Tech Talk / Career Talk / Resume Clinic

총 11번의 Tech Talk과 Office Hour, 1번의 Resume Clinic 등이 매주 수요일즈음 진행됐다.

Tech Talk은 야놀자, 넷마블, 넥슨코리아, Alumni, 롯데 e커머스, KT, 몰로코, 쏘카, 노타, CJ올리브영, 보이저엑스, Google Developer Programs Team 등의 기업 또는 사람들을 알게 되고 굉장히 많은 인사이트도 얻어갔던 세션으로 아직 취업 준비를 하지 않은 나에게 정말 필요한 시간이었다.

AI에 관련하여 어떤 기업과 직무 분야가 있는지 알 수 있었고, 단순 채용 설명뿐만 아니라 QnA를 통한 직·간접적인 멘토링으로 내가 나아가야 할 방향을 조금씩 잡아나갈 수 있었달까?

모든 내용을 다 적을 순 없고 인상 깊었던 것을 적어보자면 첫 번째로 진행했던 야놀자 테크톡에서의 내용이 떠오른다.

최신 트렌드에 대해 집중하는 게 좋을지에 대한 질문이었는데 이상적인 답변과 함께 회사를 보는 안목도 기를 수 있는 말을 해주셨다. 기본에 충실한 것으로 충분하며, 할 줄 안다기보다는 이해하고 있는지 등을 바탕으로 탄탄한 기본기를 다져놔야 신입으로 메리트가 있다고 하셨다. 만일 취업 준비 중 양자택일 한다면 기본을 보는 회사로의 진로를 추천하며, 이는 당장 필요한 사람을 쓰느냐 vs 성장시켜서 쓰느냐의 차이를 생각해 보면 된다고 하셨다. 머리로는 알지만 조급한 마음이 그렇지 못하여 이것저것 기웃거리곤 했는데 이 비교가 한눈에 꽂히면서 좀 더 단순하게 생각할 수 있는 계기를 마련해 줬다.

그리고 마지막으로 당부하신 말이 퍽 마음에 들었다.

의사의 돈을 잘 번다는 이미지에는 지독하게 공부해야 된다는 배경이 있다.

소프트웨어 엔지니어도 의사만큼 돈을 벌 수 있고 심지어 한정된 장소가 아닌 여기저기서 일할 수 있는데 왜 의사만큼 하지 않으면서 그만큼의 대가를 원하는지 역질문을 던지셨다.

이 말을 들었을 때 머리가 댕- 울리면서 그렇네?!라는 생각으로 가득 찼다. 의사를 보면 그저 부럽다고만 생각했지, 의사만큼의 뭘 하려고 하지 않고 나 스스로 한계를 지정했던 것 같다.

이 말을 계기로 의사를 준비하듯 치열하게 준비해 보자는 마음이 한켠에 자리 잡았다.

Resume Clinic은 권순선 리드매니저님의 이력서 특강과 함께 희망자에 한해 이력서를 제출하고 피드백받는 형식으로 진행됐다. 그중에 동의한 사람들의 이력서 피드백은 익명 처리 후 공유 드라이브에 올려주셨는데 추후 이력서를 쓸 때 굉장히 도움이 됐다.

■ 네트워킹 in GMB

- GMB 비공식 오프라인 네트워킹

한 캠퍼분의 총대로 첫 오프라인 모임을 가질 수 있는 계기가 생겼다.

AI에 관심 있거나 현직에 계신 분들이 모인다는데 이건 못 참지 하며 냉큼 신청하고 약속날 강남의 한 술집에서 모였었다. 생각보다 엄청난 인파에 혀를 내둘렀지만 정말 잘 갔다는 생각이 들었던 게, AI 공부를 시작하면서 대학원 진학을 뗄래야 뗄 수 없는 존재로 여겨왔지만 이번에 여러 사람들과 얘기를 나누면서 나름대로의 방향성이 생겼기 때문이다.

바로 학위를 위한 진학은 하지 말자! 는 것으로, 하고 싶은 연구주제가 생기면 그때 대학원 진학에 관심을 둬도 늦지 않다는 게 방향성의 내용이다. 물론 대학원을 가지 않고 노력을 증명하는 게 힘들긴 하겠지만 위에도 말했다시피 의사처럼 하면 뭔들 안 되겠나 싶은 생각으로 임하면 되지 않을까?

훈훈했던 첫 오프 모임 / 호스트 chanmuzi님 감사합니다!

- GMB 공식 오프라인 밋업

GMB 측에서 공식적인 Offline Meetup을 주최했다.

선착순으로 100명을 모집했는데 모집날 신청 시각인 17시에 5분도 안되어서 마감했던 걸로 기억이 난다.

나는 여유롭게 신청완료...!

하나 흥분됐던 요소는 Meetup이 역삼에 있는 구글 코리아에서 주최된다는 것으로, 비록 기업 탐방까진 아니었지만 구글에 방문한다는 사실 자체만으로 버킷리스트 하나 깬 기분(?)이 들었다.

구글은 뭔가 기린 같은 존재랄까.. 하지만 이것도 스스로 한계를 만드는 꼴이니 극복해야지

(하나 인상 깊었던 점은 젠더프리 화장실이 존재한다는 것..! 이때 구글답다는 강하게 들었다)

밋업은 자기소개 + 부트캠프 참여 소회/성취한 점 등 발표 + 단체사진, 간단한 식사(하지만 든든한) + 네트워킹 이렇게 두 개의 세션으로 나누어 진행됐다. 저번 오프 모임 이후 아는 얼굴도 꽤 보여서 낯가리지 않고 잘 얘기할 수 있어서 다행이었다. (내향적인 ENFP)

밑의 사진은 밋업 동안 있었던 과정을 찍은 것으로, GMB 운영진, 다른 캠퍼분들과 이야기도 나누고 다과 수준을 한참 벗어난 맛있는 음식도 먹으면서(+맥주, 와인 등 술도) 재밌는 시간을 보낼 수 있었다. 밑의 사진에서 적색 니트를 꽤 찾아볼 수 있을 텐데 공교롭게도 카메라에 많이 잡힌 나였다ㅋㅋㅋ Meetup 이후에는 캠퍼분이 주최하는 비공식적인 뒤풀이가 있었는데 하필 이 날 MT가 잡혀있어서 참여하지 못했던 게 아쉬웠다.

남는 음식, 음료는 포장을 적극 권장하셔서 자취생인 나는 싹싹 긁어왔다.

- GMB 졸업식

처음에 졸업식을 한다고 했을 때 하면 하는 거지 하며 별로 큰 상관은 안 했었다.

그런데 막상 졸업식을 와보니 이게 웬걸? 스케일이 엄청나게 큰 것이다...

압구정에 있는 카페 캠프통이라는 곳을 대관했다길래 카페가 카페지 했는데 넓은 공간, 각종 배너와 무대, 엄청난 촬영/진행 스태프가 맞이해 주면서 GMB를 졸업한다는 것에 굉장히 자부심을 느낄 수 있었다.

게다가 졸업복도 한번 입어본 적 없는데 여기서 졸업복을 입을 줄은 꿈에도 몰랐다.

진행 순서는 아래와 같았다.

1) 환영식

2) 축사(구글 코리아 김경훈 사장님 )

3) 머신러닝 부트캠프 돌아보기(권순선 매니저님)

4) 현직자 선배가 들려주는 ML 커리어 빌딩 노하우

5) 졸업생 소감 발표(3명)

6) 네트워킹

정해진 순서 외에도 각종 즐길거리가 가득했다. 다른 색깔의 스티커끼리 팀을 형성하거나 명함을 만들어 교환하는 등 다양한 미니게임과 함께 포토존, 인생네컷 부스, 전문 사진사 섭외 등 추억을 남길 수 있는 다양한 방법들이 마련되어 있어서 굉장히 존중받는 느낌과 함께 구글이란 기업의 문화를 더 잘 느낄 수 있었다. 국비 교육도 아니라서 순전히 리턴 없는 투자로 진행되는 걸 텐데도 불구하고 이런 감동을 선사해 주는 그저 빛...

진짜 모든 하나하나가 자부심 뿜뿜으로 이어졌다. 이미 과정을 진행하며 굿즈를 많이 받았었는데 입장, 미니게임에서 굿즈를 퍼주기도 했고 음식 맛은 말해 뭐 해~

그리고 캠퍼분이 주최한 비공식 뒤풀이도 갔었는데 이게 또 잘 갔다는 생각이 든 게, 이때 만난 분들과 논문 스터디를 같이 진행하게 됐기 때문이다. 이건 나중에 따로 포스팅해야지.

■ 성장&성취 in GMB

- 역시 남는 건 사람이라고 했던가?

네트워킹을 하면서 얻은 인사이트와 인맥을 통해 스스로와 주변 환경을 확장시킨 것이 가장 크다고 볼 수 있다.

대학원, 취업시장, 해외 취업 등에 관한 동향과 함께 이에 대한 관점을 키우고 뒷받침을 마련할 수 있었으며, 이는 개설된 지 얼마 안 된 링크드인 1촌 수와 관심 분야 팔로우를 통해 엿볼 수 있다. 그리고 모각글이나 논문 스터디 등 정기적으로 이어나가는 인연도 생겼으니 얼마나 기쁜가. 매번 스터디에 대한 호기심은 들었지만 흔한 스터디는 싫었는데, 적기에 찾아와 준 고마운 기회이지 않나 싶다.

- Tech Talk을 통해 얻은 인사이트

앞서 언급했듯 취준 경험이 없는 나에게 기업들이 찾아와서 떠먹여 준다는데 마다할 일 이유가 있겠는가?!

필수 활동은 아니었지만 꾸준히 들으며 인사이트를 얻고 내용을 정리하는 과정을 통해 체득하고자 했다.

좀 더 잘 정리하고 싶은 마음으로 Tech Talk 정리본을 공유해 왔는데 뜻하지 않게 우수활동자로 선정될 정도로 알아봐 주심이 감사할 따름이었다.

- 소문난 굿즈 맛집

GMB는 여러 활동에서 성취가 있을 때마다 굿즈를 선사해 주셨는데 바꿔 말하면 얼마나, 무엇을 받았냐를 통해 GMB에서의 성취도를 엿볼 수 있다. 나의 경우 캐글 부문 특별 굿즈인 후드티를 제외하고는 거의 다 받았다

하나 기억에 남는 것은 권순선 리드매니저님 曰 졸업식 때 보통 이런 온라인 교육은 수료자가 약 15% 남짓이라는 통계가 있다고 말씀하셨는데 이번에는 그 수치를 월등히 뛰어넘었다니 아무래도 굿즈 모으는 재미가 붙어서 캠퍼분들의 성취도를 이끌어 내는데 한몫 단단히 하지 않았나 싶다.

굿즈 구도는 모각글 동반자 한**님 참고

■ 마치며

GMB는 휴학하는 동안 가장 의미 있었던 활동이 됐다.그 영향은 아직도 미치면서 AI 분야를 걷고 있는 나의 절반 이상을 만들었다고 봐도 과언이 아닐 것이다.활동 외에 별도의 프로젝트와 창업 활동을 하면서 AI를 활용한 프로덕트를 개발하고 싶은 욕심이 생겼고 이와 관련하여 MLOPs, AI엔지니어 분야를 관심 있게 보고 있는 중이다.

아쉬운 게 있다면 코세라로 공부하며 필기한 것을 아직 정리하지 않았다는 것?

하지만 졸업 특전인 TensorFlow certification 응시권을 써먹기 위해서라도 한번 정리할 계획이다.

4월까지 응시가 가능하니 3월에 프로젝트가 하나 마무리되는 대로 취득할 예정!

+ 아 참고로 GMB 졸업 이후 보이저엑스 기업 탐방을 다녀왔다. Tech Talk 당시 언제든지 오라고 하시기도 했고 기업 분위기가 괜찮아 보이길래 팀 꾸려서 갈 생각 중이었는데 어떤 발 빠른 캠퍼분이 모집해 주셔서 갔다 오게 됐다. 나중에 간단하게 후기를 남겨보겠다. (갔다 오니까 더 가고 싶은 마음도 들었다.)

자료참고:

- Google ML Bootcamp 공유 드라이브에 음식 사진 공유해 주신 캠퍼분들

- Google Developer