2023 AI Grand Challenge

💬 Summary

정책지원AI 개발 프로젝트의 일환으로 과학기술정보통신부에서 주최한 2023 AI Grand Challenge에 팀원으로 참여하였습니다. 해당 대회는 30여개의 정부 간행물을 바탕으로 주어진 주제에 대한 보고서를 작성하는 언어모델 개발이 주제였습니다. 총 3명의 팀원과 함께 참여하여, 1) 30여개의 정부 간행물에서 주제와 관련된 내용을 검색하는 검색 엔진 모델 개발, 2) 차트 이미지를 텍스트로 추출하는 모델 개발, 3) 주제와 근거를 바탕으로 보고서를 작성하는 언어 모델 개발로 작업을 분담하였습니다. 저는 보고서 작성 언어 모델을 담당하였고, 해당 대회에서 3위의 성적을 기록하여 과학기술정보통신부 장관상을 수상하였습니다.

✍️ 주요 기능

• 30여개의 정부 간행물에서 주제와 관련된 문단 검색

• 한국어 차트 이미지를 자연어로 추출

• 주어진 주제에 대한 보고서 작성

• 글을 보고 적절한 제목 작성

👀 나의 역할

• 데이터 수집

  AI-HUB 데이터와 신문기사 크롤링을 통한 학습 데이터 수집

• 학습 데이터 전처리

• LLM fine-tuning

📱 사용 기술 요소

• python을 활용하여 학습 데이터를 언어모델 학습 가능한 형태로 전처리

• Pytorch를 이용한 LLM fine-tuning 코드 작성

• deepspeed를 활용한 분산 학습

• Docker를 활용하여 인공지능 실행 가능 환경 구축

👩‍🎓 의미

• LLM 학습 데이터 수집부터 및 fine-tuning 작업을 담당함으로써 AI에 대한 깊은 이해

• AI 모델링을 위해 여러 강의를 수강하면서 AI관련 전문적인 지식 습득

• Pytorch 프레임워크를 활용한 모델링 경험

• deepspeed 라이브러리를 활용한 거대 언어 모델 분산 학습 경험

• Docker를 이용한 작업 경험

🎯 결과 및 성과

• 대회에 출전하여 3위의 성적으로 과학기술정보통신부 장관상 수상