"Python" 태그로 연결된 1개 게시물개의 게시물이 있습니다.

논문 정보​

• 제목: Program Synthesis with Large Language Models
• 저자: Jacob Austin (Google Research), Augustus Odena (Google Research), Maxwell Nye (Google Research), Maarten Bosma (Google Research), Henryk Michalewski (Google Research / University of Warsaw), David Dohan (Google Research), Ellen Jiang (Google Research), Carrie Cai (Google Research), Michael Terry (Google Research), Quoc Le (Google Research), Charles Sutton (Google Research)
• 학회/저널: arXiv Preprint
• 발행일: 2021-08-16
• DOI: arXiv:2108.07732
• 주요 연구 내용: 244M에서 137B 파라미터까지의 대규모 언어 모델(LaMDA PT)의 프로그램 합성 능력을 MBPP 및 MathQA-Python 벤치마크에서 few-shot 및 fine-tuning 방식으로 체계적으로 평가
• 주요 결과 및 결론: 프로그램 합성 성능이 모델 크기에 따라 로그-선형적으로 증가하며, 최대 모델이 few-shot으로 MBPP 태스크의 59.6%를 해결하고, fine-tuning으로 약 10%p 추가 향상 가능하며, 인간 피드백으로 오류율을 절반으로 줄일 수 있음을 입증
• 기여점: LLM 기반 프로그램 합성의 가능성과 한계를 체계적으로 분석하고, 프로그램 합성 연구를 위한 두 가지 새로운 벤치마크(MBPP, MathQA-Python)를 제공