한국어 코딩 테스트에서의 인간 대 ChatGPT 3.5 & 4.0 성능 비교 및 평가 체계

논문 링크

Abstract

본 연구는 대화형 인공지능 모델인 ChatGPT와 인간 프로그래머 간의 코딩 문제 해결 능력을 비교 분석하는 것을 목표로 한다.
다양한 난이도와 알고리즘 유형을 포함하는 코딩 문제를 대상으로 정답률, 실행 횟수, 코드 길이, 실행 시간 및 메모리 사용량과 같은 평가 지표를 사용하여 ChatGPT 모델이 생성한 코드와 인간이 작성한 코드를 비교한다.
기존 연구와 달리 본 연구는 특히 한국어 언어에 중점을 두고 생성한 코드 자체의 내용과 품질에 초점을 맞추어, ChatGPT가 생성한 코드와 인간이 작성한 코드 간의 유사성과 차이점 등을 비교분석한다.