본문으로 건너뛰기

Self-Refine - Iterative Refinement with Self-Feedback

· 약 4분
Aman Madaan
Niket Tandon
Prakhar Gupta
Skyler Hallinan
Luyu Gao
Sarah Wiegreffe
Uri Alon
Nouha Dziri
Shrimai Prabhumoye
Yiming Yang
Shashank Gupta
Bodhisattwa Prasad Majumder
Katherine Hermann
Sean Welleck
Amir Yazdanbakhsh
Peter Clark

논문 정보​

  • 제목: Self-Refine: Iterative Refinement with Self-Feedback
  • 저자: Aman Madaan (Carnegie Mellon University), Niket Tandon (Allen Institute for AI), Prakhar Gupta (Carnegie Mellon University), Skyler Hallinan (University of Washington), Luyu Gao (Carnegie Mellon University), Sarah Wiegreffe (Allen Institute for AI), Uri Alon (Carnegie Mellon University), Nouha Dziri (Allen Institute for AI), Shrimai Prabhumoye (NVIDIA), Yiming Yang (Carnegie Mellon University), Shashank Gupta (Allen Institute for AI), Bodhisattwa Prasad Majumder (Allen Institute for AI), Katherine Hermann (Google Research), Sean Welleck (Carnegie Mellon University), Amir Yazdanbakhsh (Google Research), Peter Clark (Allen Institute for AI)
  • 학회/저널: NeurIPS 2023 (Thirty-seventh Conference on Neural Information Processing Systems)
  • 발행일: 2023-12-10
  • DOI: arXiv:2303.17651
  • 주요 연구 내용: 단일 LLM을 생성기, 피드백 제공자, 개선기로 동시에 활용하여 초기 출력을 반복적으로 개선하는 Self-Refine 프레임워크 제안
  • 주요 결과 및 결론: 7개의 다양한 태스크에서 평균 약 20%의 절대적 성능 향상을 달성하며, 추가 학습 데이터나 강화학습 없이 GPT-4와 같은 최신 모델의 성능도 테스트 시간에 추가로 향상 가능함을 입증
  • 기여점: 별도의 학습 없이 단일 LLM만으로 출력 품질을 반복적으로 개선할 수 있는 범용적 프레임워크를 제안하여, LLM의 활용 패러다임에 새로운 방향을 제시

Scaling deep learning for materials discovery

· 약 6분
Amil Merchant
Simon Batzner
Samuel S. Schoenholz
Muratahan Aykol

논문 정보​

  • 제목: Scaling deep learning for materials discovery
  • 저자: Amil Merchant (Google DeepMind), Simon Batzner (Google DeepMind), Samuel S. Schoenholz (Google DeepMind), Muratahan Aykol (Google Research), Gowoon Cheon (Google Research), Ekin Dogus Cubuk (Google DeepMind)
  • 학회/저널: Nature
  • 발행일: 2023-11-29
  • DOI: 10.1038/s41586-023-06735-9
  • 주요 연구 내용: 본 연구는 그래프 신경망(GNN)을 대규모로 확장하고 액티브 러닝을 적용하여 무기 결정의 안정성을 정확하게 예측하는 GNOME(Graph Networks for Materials Exploration) 프레임워크를 개발했다. 이 프레임워크는 대칭성을 고려한 부분 치환(SAPS)과 같은 새로운 후보군 생성 방법과 밀도 범함수 이론(DFT) 계산을 결합한 반복적인 학습 사이클을 통해 모델을 지속적으로 개선하며 방대한 화학 공간을 효율적으로 탐색함.
  • 주요 결과 및 결론: GNOME을 통해 기존 연구 대비 220만 개의 새로운 안정적인 결정 구조를 발견했으며, 이 중 381,000개는 새로운 볼록 껍질(convex hull)을 형성하여 인류에게 알려진 안정적인 재료의 수를 10배 가까이 확장함. 최종 모델은 에너지 예측 오차를 원자당 11 meV까지 낮췄으며, 안정적인 구조 예측의 정확도(hit rate)를 80% 이상으로 향상시킴. 또한, 이 과정에서 생성된 방대한 데이터셋은 전이 학습 없이도 높은 정확도를 보이는 범용 머신러닝 원자간 전위(MLIP) 모델 개발을 가능하게 함.
  • 기여점: 알려진 안정적인 무기 재료의 수를 10배 가까이 확장하여 재료 과학 분야에 방대한 데이터를 제공함. 딥러닝 모델의 규모를 확장함으로써 학습 데이터 분포를 벗어나는 문제(out-of-distribution)에 대한 일반화 성능이 향상될 수 있음을 보여주었고, 이는 과학적 발견에서 머신러닝의 근본적인 한계를 극복할 가능성을 제시함. 또한, 생성된 데이터셋을 통해 특정 재료에 대한 추가 학습 없이도 분자 동역학 시뮬레이션에 바로 사용될 수 있는 고성능 사전 학습 원자간 전위 모델을 개발함.

Explainable AI for Material Property Prediction Based on Energy Cloud: A Shapley-Driven Approach

· 약 3분
Faiza Qayyum
Murad Ali Khan
Do-Hyeun Kim
Hyunseok Ko
Ga-Ae Ryu

논문 정보​

  • 제목: Explainable AI for Material Property Prediction Based on Energy Cloud: A Shapley-Driven Approach
  • 저자: Faiza Qayyum (Jeju National University), Murad Ali Khan (Jeju National University), Do-Hyeun Kim (Jeju National University), Hyunseok Ko (Korea Institute of Ceramic Engineering and Technology), Ga-Ae Ryu (Korea Institute of Ceramic Engineering and Technology)
  • 학회/저널: Materials, Volume 16, Issue 23, Article 7322
  • 발행일: 2023-11-24
  • DOI: 10.3390/ma16237322
  • 주요 연구 내용: TabNet 딥러닝 프레임워크와 SHAP 기법을 결합하여 PZT(납 지르코늄 티타네이트) 세라믹의 유전율을 예측하고 해석하는 연구
  • 주요 결과 및 결론: TabNet 모델이 MSE 0.047, MAE 0.042로 기존 머신러닝 모델 대비 우수한 예측 성능을 달성하였으며, SHAP 분석을 통해 d33(압전 전하 계수)가 유전율 예측에 가장 큰 영향을 미치는 변수임을 확인
  • 기여점: 재료 특성 예측에서 딥러닝의 정확도와 XAI의 해석 가능성을 동시에 달성하는 방법론을 제시

Experimental-based statistical models for the tensile characterization of synthetic fiber ropes: a machine learning approach

· 약 6분
Yahia Halabi
Hu Xu
Zhixiang Yu
Wael Alhaddad
Isabelle Dreier

논문 정보​

  • 제목: Experimental-based statistical models for the tensile characterization of synthetic fiber ropes: a machine learning approach
  • 저자: Yahia Halabi (Southwest Jiaotong University), Hu Xu (Southwest Jiaotong University), Zhixiang Yu (Southwest Jiaotong University), Wael Alhaddad (Tongji University), Isabelle Dreier (University of Giessen)
  • 학회/저널: Scientific Reports
  • 발행일: 2023-10-18
  • DOI: 10.1038/s41598-023-44816-x
  • 주요 연구 내용: 폴리에스터, 폴리프로필렌, 나일론 로프에 대해 DSC 열분석, 섬유/얀 인장 실험, 196개의 로프 인장 실험을 수행하여 포괄적인 데이터베이스를 구축함. 이 데이터를 기반으로 로프의 3선형(tri-linear) 응력-변형률 프로파일을 예측하는 인공신경망(ANN) 모델을 개발하고 최적화함.
  • 주요 결과 및 결론: 개발된 ANN 모델은 파단 강도 및 변형률에 대해 약 5%의 오차로 로프의 3선형 응력-변형률 특성을 정확하게 예측함. 이 연구는 로프의 공정-구조-물성 관계에 대한 이해를 높이고, 인장 특성 설계 및 예측에 드는 비용과 노력을 줄이는 데 기여함.
  • 기여점: 합성 섬유 로프의 인장 특성에 대한 광범위한 실험적 통계 데이터를 체계적으로 구축함. 기계 학습(ANN)을 적용하여 복잡한 비선형적 인장 거동을 실용적인 3선형 모델로 예측하는 방법을 제시했으며, 이는 산업 현장에서의 로프 설계 및 성능 예측에 직접적으로 활용될 수 있음.

The emergent role of explainable artificial intelligence in the materials sciences

· 약 3분
Tommy Liu
Amanda S. Barnard

논문 정보​

  • 제목: The emergent role of explainable artificial intelligence in the materials sciences
  • 저자: Tommy Liu (Australian National University), Amanda S. Barnard (Australian National University)
  • 학회/저널: Cell Reports Physical Science, Volume 4, Issue 10, Article 101630
  • 발행일: 2023-10-18
  • DOI: 10.1016/j.xcrp.2023.101630
  • 주요 연구 내용: 재료 정보학(Materials Informatics)에서 설명가능 인공지능(XAI)의 역할과 활용 방법론을 체계적으로 정리한 실용적 가이드
  • 주요 결과 및 결론: XAI가 데이터, 모델, 응용 결정의 결과를 이해하는 포렌식 분석 도구 또는 중요 특징을 구별하는 모델 정제 도구로 활용될 수 있음을 제시
  • 기여점: 물리과학 분야에 가장 유용한 XAI 방법론을 체계적으로 정리하고, 딥러닝 및 대규모 언어 모델 시대에서의 XAI의 중요성을 강조

섬유의 변퇴색 기준 판정 내광성 등급 기반 이상치 처리 기법

· 약 3분
Daegyu Lee
Kangbok Seo
Deokyeop Kim
이우진
경북대학교 컴퓨터학부 전임교수

논문 정보​

  • 제목: 섬유의 변퇴색 기준 판정 내광성 등급 기반 이상치 처리 기법 (Outlier Processing Techniques Based on Colorfastness Rating Determination Based on Change in Color of Textile)
  • 저자: Daegyu Lee (경북대학교), Kangbok Seo (경북대학교), Deokyeop Kim (경북대학교), 이우진 (경북대학교 컴퓨터학부)
  • 학회/저널: 한국소프트웨어종합학술대회 (KSC 2023)
  • 발행일: 2023-06-21
  • DOI: -
  • 주요 연구 내용: 섬유 내광성 등급 예측에서 변퇴색 기준 판정을 활용한 도메인 특화 이상치 탐지 및 처리 기법 제안
  • 주요 결과 및 결론: 도메인 지식 기반 이상치 처리 기법이 일반적인 통계적 이상치 처리 기법보다 예측 모델의 성능을 더 효과적으로 개선
  • 기여점: 섬유 산업의 내광성 시험 데이터에 특화된 이상치 처리 방법론을 제시하여 예측 모델의 신뢰성을 향상

Systematically Producing Test Orders to Detect Order-Dependent Flaky Tests

· 약 6분
Chengpeng Li
M. Mahdi Khosravi
Wing Lam
August Shi

논문 정보​

  • 제목: Systematically Producing Test Orders to Detect Order-Dependent Flaky Tests
  • 저자: Chengpeng Li (The University of Texas at Austin), M. Mahdi Khosravi (Middle East Technical University), Wing Lam (George Mason University), August Shi (The University of Texas at Austin)
  • 학회/저널: Proceedings of the 32nd ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA '23)
  • 발행일: 2023-05-03 (Accepted date)
  • DOI: https://doi.org/10.1145/3597926.3598083
  • 주요 연구 내용: 기존의 무작위 순서 변경이나 테스트 '클래스' 단위 페어링의 한계를 극복하기 위해, Tuscan squares를 활용하여 테스트 '메서드' 단위의 페어를 체계적으로 생성하는 세 가지 기법 (Tuscan Intra-Class, Tuscan Inter-Class, Target Pairs)을 제안함. 이 기법들은 테스트 클래스 내 페어(intra-class)와 클래스 간 페어(cross-class)를 커버함.
  • 주요 결과 및 결론: 47개 프로젝트의 289개 OD 테스트 평가 결과, 'Tuscan Intra-Class' 기법이 평균 104.7개의 테스트 순서로 97.2%의 OD 테스트를 탐지하여, 기존 기법(36.0% 탐지) 대비 비용 대비 효율성이 가장 높았음. 'Tuscan Inter-Class'는 100% 탐지하지만 비용이 매우 높았음.
  • 기여점: (1) 테스트 페어를 체계적으로 커버하는 세 가지 새로운 OD 테스트 탐지 기법 제안. (2) 289개 OD 테스트에 대한 평가를 통해 'Tuscan Intra-Class'가 가장 비용 효율적임을 입증. (3) 실제 OD 탐지에 필요한 최소 순서 집합이 매우 작음을 보여(평균 < 4), 향후 테스트 순서 우선순위화 연구의 필요성을 제시함.

Behavior Trees and State Machines in Robotics Applications

· 약 3분
Matteo Iovino
Julian Förster
Pietro Falco
Jen Jen Chung
Roland Siegwart
Christian Smith

논문 정보​

  • 제목: Behavior Trees and State Machines in Robotics Applications
  • 저자: Matteo Iovino (KTH Royal Institute of Technology), Julian Förster (ETH Zurich), Pietro Falco (ABB Corporate Research), Jen Jen Chung (University of Queensland), Roland Siegwart (ETH Zurich), Christian Smith (KTH Royal Institute of Technology)
  • 학회/저널: IEEE Transactions on Software Engineering, Volume 49, Issue 9, 2023
  • 발행일: 2023-04-18
  • DOI: 10.1109/TSE.2023.3269081
  • 주요 연구 내용: Behavior Tree(BT)와 Finite State Machine(FSM)을 로봇 조작 태스크에서 실증적으로 비교하여 설계 복잡도, 유지보수성, 성능을 분석
  • 주요 결과 및 결론: BT가 복잡한 다단계 로봇 태스크에서 FSM 대비 우수한 확장성과 유지보수성을 제공함을 실증
  • 기여점: BT와 FSM의 이론적 비교를 넘어, 실제 로봇 조작 태스크에서의 실증적 비교 데이터를 최초로 제공

Teaching Large Language Models to Self-Debug

· 약 3분
Xinyun Chen
Maxwell Lin
Nathanael Schärli
Denny Zhou

논문 정보​

  • 제목: Teaching Large Language Models to Self-Debug
  • 저자: Xinyun Chen (Google DeepMind), Maxwell Lin (UC Berkeley), Nathanael Schärli (Google DeepMind), Denny Zhou (Google DeepMind)
  • 학회/저널: ICLR 2024 (International Conference on Learning Representations)
  • 발행일: 2023-04-11 (arXiv), 2024 (ICLR)
  • DOI: 10.48550/arXiv.2304.05128
  • 주요 연구 내용: LLM이 생성한 코드를 스스로 실행하고, 실행 결과를 분석하며, 자연어 설명을 통해 오류를 파악·수정하는 Self-Debugging 프레임워크 제안
  • 주요 결과 및 결론: Spider(text-to-SQL)에서 2-3%, TransCoder(C++-to-Python)와 MBPP(text-to-Python)에서 최대 12%의 정확도 향상을 달성하며, 10배 이상의 후보 프로그램을 생성하는 베이스라인과 동등하거나 우수한 성능
  • 기여점: 추가 학습 데이터 없이 인퍼런스 단계에서만 동작하는 자기 수정 메커니즘을 제안하고, 러버 덕 디버깅 개념을 LLM에 적용