본문으로 건너뛰기

"Software Testing" 태그로 연결된 12개 게시물개의 게시물이 있습니다.

모든 태그 보기

A Study on the Capability of Generative AI to Understand and Utilize Test Cases

· 약 4분
김정인
김정인
경북대학교 컴퓨터학부 석사과정생
이우진
경북대학교 컴퓨터학부 전임교수

논문 정보​

  • 제목: A Study on the Capability of Generative AI to Understand and Utilize Test Cases
  • 저자: 김정인, 이우진 (경북대학교 컴퓨터학부)
  • 학회/저널: KCC 2025
  • 발행일: 2025-06-20
  • DOI: N/A
  • 주요 연구 내용: 최신 LLM인 GPT-4.1을 대상으로 경쟁 프로그래밍(CP) 문제 해결 시, 제로샷 프롬프팅 환경에서 테스트케이스(TC) 정보를 제공하는 것이 코드 생성 정확도에 미치는 영향을 분석함. 문제 정의만 제공한 경우, 문제 정의와 TC를 함께 제공한 경우, 입출력 정보와 TC만 제공한 경우로 나누어 실험을 설계하고 결과를 비교함.
  • 주요 결과 및 결론: TC 정보 추가가 전반적인 코드 생성 정확도 향상으로 이어지지 않았으며, 특히 문제 난이도가 높을수록 성능이 저하되는 경향을 보였음. 또한, GPT-4.1은 TC를 생성하고 검증하는 능력에도 명확한 한계를 보였음.
  • 기여점: LLM의 코드 생성 과정에서 TC 정보가 항상 긍정적인 영향을 미치는 것은 아니라는 점을 실험적으로 밝힘. 이는 LLM이 개발자처럼 TC를 통해 문제의 요구사항이나 잠재적 오류를 추론하는 단계에 이르지 못했음을 시사하며, LLM 활용 시 TC 포함 전략에 신중한 접근이 필요함을 제기함.

The Future of Software Testing: A Review of Trends, Challenges, and Opportunities

· 약 5분
Elavarasi Kesavan

논문 정보​

  • 제목: The Future of Software Testing: A Review of Trends, Challenges, and Opportunities
  • 저자: Mrs. Elavarasi Kesavan (Full Stack QA Architect, Cognizant)
  • 학회/저널: International Journal of Innovations in Science Engineering and Management
  • 발행일: 2025-04-15
  • DOI: 10.69968/ijisem.2025v4i253-57
  • 주요 연구 내용: 본 논문은 AI, IoT, 클라우드, 애자일 등 최신 기술이 소프트웨어 테스팅 분야에 미치는 영향을 분석함. 문헌 연구를 통해 최신 테스팅 동향, 지속적인 과제, 그리고 새로운 기회들을 종합적으로 검토하고, 미래의 테스트 엔지니어가 갖추어야 할 역량을 조망함.
  • 주요 결과 및 결론: 소프트웨어 테스팅은 AI와 IoT 같은 신기술과 깊이 연관되어 빠르게 발전하고 있으며, 테스터에게는 코딩 능력과 새로운 도구 및 프레임워크에 대한 적응력이 요구됨. 애자일, 자동화, TCoE(Testing Centers of Excellence)가 QA Practice를 재편하고 있으나, 성능 테스트, 숨겨진 종속성, 품질 책임과 같은 과제는 여전히 남아있음.
  • 기여점: 소프트웨어 테스팅의 현재 상황과 미래 방향에 대한 포괄적인 개요를 제공함. 최신 동향, 고질적인 문제, 새로운 기회를 종합하여 미래의 테스트 엔지니어를 위한 지속적인 학습과 기술 개발의 필요성을 강조함.

dSPACE SIL Introduction

· 약 3분

논문 정보​

  • 제목: Automotive SIL Testing: How do I do it right?
  • 저자: dSPACE GmbH (기업 기술 문서)
  • 학회/저널: dSPACE Engineers' Insights (기술 문서)
  • 발행일: N/A
  • DOI: dSPACE 공식 문서
  • 주요 연구 내용: Software-in-the-Loop(SIL) 테스팅의 개념, 구성 요소, dSPACE VEOS 플랫폼을 활용한 자동차 소프트웨어 검증 방법론 소개
  • 주요 결과 및 결론: SIL 테스팅은 실제 하드웨어 없이 소프트웨어를 검증하여 개발 초기 단계에서 빠르고 비용 효율적인 테스팅을 가능하게 함
  • 기여점: MIL-SIL-HIL-Vehicle로 이어지는 V-모델 검증 워크플로우에서 SIL의 역할과 VEOS 플랫폼의 기능을 체계적으로 설명

Systematically Producing Test Orders to Detect Order-Dependent Flaky Tests

· 약 6분
Chengpeng Li
M. Mahdi Khosravi
Wing Lam
August Shi

논문 정보​

  • 제목: Systematically Producing Test Orders to Detect Order-Dependent Flaky Tests
  • 저자: Chengpeng Li (The University of Texas at Austin), M. Mahdi Khosravi (Middle East Technical University), Wing Lam (George Mason University), August Shi (The University of Texas at Austin)
  • 학회/저널: Proceedings of the 32nd ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA '23)
  • 발행일: 2023-05-03 (Accepted date)
  • DOI: https://doi.org/10.1145/3597926.3598083
  • 주요 연구 내용: 기존의 무작위 순서 변경이나 테스트 '클래스' 단위 페어링의 한계를 극복하기 위해, Tuscan squares를 활용하여 테스트 '메서드' 단위의 페어를 체계적으로 생성하는 세 가지 기법 (Tuscan Intra-Class, Tuscan Inter-Class, Target Pairs)을 제안함. 이 기법들은 테스트 클래스 내 페어(intra-class)와 클래스 간 페어(cross-class)를 커버함.
  • 주요 결과 및 결론: 47개 프로젝트의 289개 OD 테스트 평가 결과, 'Tuscan Intra-Class' 기법이 평균 104.7개의 테스트 순서로 97.2%의 OD 테스트를 탐지하여, 기존 기법(36.0% 탐지) 대비 비용 대비 효율성이 가장 높았음. 'Tuscan Inter-Class'는 100% 탐지하지만 비용이 매우 높았음.
  • 기여점: (1) 테스트 페어를 체계적으로 커버하는 세 가지 새로운 OD 테스트 탐지 기법 제안. (2) 289개 OD 테스트에 대한 평가를 통해 'Tuscan Intra-Class'가 가장 비용 효율적임을 입증. (3) 실제 OD 탐지에 필요한 최소 순서 집합이 매우 작음을 보여(평균 < 4), 향후 테스트 순서 우선순위화 연구의 필요성을 제시함.

Behavior-Tree Based Scenario Specification and Test Case Generation for Autonomous Driving Simulation

· 약 3분
Yunjun Yao
Zijun Shi
Lihua Fu
Li Li

논문 정보​

  • 제목: Behavior-Tree Based Scenario Specification and Test Case Generation for Autonomous Driving Simulation
  • 저자: Yunjun Yao, Zijun Shi, Lihua Fu, Li Li
  • 학회/저널: ICITES 2022 (2nd International Conference on Intelligent Technology and Embedded Systems)
  • 발행일: 2022-11-04
  • DOI: 10.1109/ICITES56274.2022.9943753
  • 주요 연구 내용: 행동 트리(BT) 기반 시나리오 기술 언어 BTScenario를 설계하고, 이를 활용하여 자율주행 시뮬레이션 테스트 케이스를 자동으로 생성하는 방법론 제안
  • 주요 결과 및 결론: BTScenario를 통해 맵 객체의 공간 배치와 행위자의 시간적 행동을 모두 기술할 수 있으며, PyTrees 라이브러리를 활용한 자동 테스트 케이스 생성으로 수동 설계 대비 더 넓은 엣지 케이스 커버리지를 달성
  • 기여점: BT를 로봇 제어뿐 아니라 시나리오 명세 언어로 활용하는 새로운 방향을 제시하고, 자율주행 SIL 테스팅에서 BT의 역할을 확장

Scenic: A Language for Scenario Specification and Data Generation

· 약 4분
Daniel J. Fremont
Edward Kim
Tommaso Dreossi
Shromona Ghosh
Xiangyu Yue
Alberto L. Sangiovanni-Vincentelli
Sanjit A. Seshia

논문 정보​

  • 제목: Scenic: A Language for Scenario Specification and Data Generation
  • 저자: Daniel J. Fremont (UC Santa Cruz), Edward Kim (UC Berkeley), Tommaso Dreossi (UC Berkeley), Shromona Ghosh (UC Berkeley), Xiangyu Yue (UC Berkeley), Alberto L. Sangiovanni-Vincentelli (UC Berkeley), Sanjit A. Seshia (UC Berkeley)
  • 학회/저널: Machine Learning Journal (Springer)
  • 발행일: 2022-02-01
  • DOI: 10.1007/s10994-021-06120-5
  • 주요 연구 내용: 사이버-물리 시스템, 특히 자율주행 시스템의 설계와 분석을 위한 확률적 프로그래밍 언어 Scenic을 제안. 시나리오 내 객체의 공간적, 시간적 관계를 확률 분포로 명세하여 다양한 시나리오를 자동 생성
  • 주요 결과 및 결론: Scenic을 통해 CARLA, GTA V, Webots 등 다양한 시뮬레이터에서 시나리오를 자동 생성하고, 학습 데이터 증강 및 엣지 케이스 탐색에 효과적으로 활용할 수 있음을 입증
  • 기여점: 확률적 시나리오 명세를 위한 도메인 특화 언어를 정의하고, 자율주행 시스템의 학습 및 검증을 위한 체계적인 데이터 생성 방법론을 제공. Boeing, Meta, Deutsche Bahn, Toyota 등 산업계에서도 채택

Train here, drive there: ROS based end-to-end autonomous-driving pipeline validation in CARLA simulator using the NHTSA typology

· 약 3분
Lasse Schwartz
Christian Lötter
Rolf Drechsler

논문 정보​

  • 제목: Train here, drive there: ROS based end-to-end autonomous-driving pipeline validation in CARLA simulator using the NHTSA typology
  • 저자: Lasse Schwartz, Christian Lötter, Rolf Drechsler
  • 학회/저널: Multimedia Tools and Applications, Springer
  • 발행일: 2021-12
  • DOI: 10.1007/s11042-021-11681-7
  • 주요 연구 내용: CARLA 시뮬레이터에서 ROS 기반 종단간(end-to-end) 자율주행 파이프라인을 훈련시키고, NHTSA(미국 도로교통안전국)의 사전 충돌 사고 유형 분류 체계를 기반으로 설계된 교통 시나리오에서 검증하는 방법론 제안
  • 주요 결과 및 결론: NHTSA 사고 유형론에 기반한 체계적 시나리오 설계로 정지, 보행자 횡단, 적응형 순항 제어, 예기치 못한 보행자 등의 시나리오에서 자율주행 시스템의 안전성을 검증
  • 기여점: 훈련-검증 분리 파이프라인과 NHTSA 사고 유형론의 시뮬레이션 적용을 결합하여, 실제 도로 테스트 이전 단계의 체계적 시뮬레이션 검증 프레임워크를 제시

ASAM OpenSCENARIO

· 약 2분

논문 정보​

  • 제목: ASAM OpenSCENARIO
  • 저자: ASAM (Association for Standardisation of Automation and Measuring Systems)
  • 학회/저널: ASAM 국제 표준 (산업 표준 규격)
  • 발행일: 2020-03 (V1.0), 지속 업데이트
  • DOI: 해당 없음 (산업 표준)
  • 주요 연구 내용: 자율주행 및 ADAS 시스템의 개발·테스팅·검증을 위한 동적 시나리오 기술 표준으로, 차량·보행자·교통 참여자의 복잡하고 동기화된 기동을 정의
  • 주요 결과 및 결론: XML 기반(V1.x) 및 DSL 기반(V2.0) 두 가지 형식으로 추상·논리·구체 시나리오의 계층적 기술을 지원하며, 주요 시뮬레이션 도구와 호환
  • 기여점: 시뮬레이션 도구 간 시나리오 이식성을 확보하고, 시나리오 기반 검증(Scenario-Based Testing)의 핵심 인프라로 자리매김

CARLA Scenario Runner

· 약 2분

논문 정보​

  • 제목: CARLA Scenario Runner
  • 저자: CARLA 시뮬레이터 개발팀 (오픈소스 커뮤니티)
  • 학회/저널: GitHub 오픈소스 프로젝트
  • 발행일: 2019 (초기 릴리스, 지속 업데이트 중)
  • DOI: GitHub - carla-simulator/scenario_runner
  • 주요 연구 내용: CARLA 시뮬레이터 환경에서 교통 시나리오를 정의하고 실행하는 엔진으로, Python API 및 OpenSCENARIO 표준을 지원
  • 주요 결과 및 결론: CARLA Autonomous Driving Leaderboard의 공식 평가 엔진으로 활용되며, 자율주행 연구의 표준 시나리오 테스팅 플랫폼으로 자리잡음
  • 기여점: 표준화된 시나리오 정의 형식과 실행 환경을 제공하여 자율주행 알고리즘의 재현 가능한 평가를 지원

Improving the Parallel Execution of Behavior Trees

· 약 3분
Michele Colledanchise
Lorenzo Natale

논문 정보​

  • 제목: Improving the Parallel Execution of Behavior Trees
  • 저자: Michele Colledanchise (Istituto Italiano di Tecnologia), Lorenzo Natale (Istituto Italiano di Tecnologia)
  • 학회/저널: 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
  • 발행일: 2018-10-01
  • DOI: 10.1109/IROS.2018.8593504
  • 주요 연구 내용: Behavior Tree의 병렬 노드(Parallel Node) 실행 시 발생하는 동시성 문제를 분석하고, 진행도(progress)와 자원 사용(resource usage) 개념을 도입한 Concurrent BT(CBT) 제안
  • 주요 결과 및 결론: CBT를 통해 안전한 동시 액션 실행을 보장하며, 수학적 분석과 로봇 실험으로 유효성을 검증
  • 기여점: BT의 병렬 실행에 대한 형식적 기반을 마련하여, 자율주행 및 로봇 제어에서 복수 행동 동시 수행의 신뢰성 향상에 기여