[ISTQB] Chapter 1. 테스팅의 기초

🟡 1.1 테스팅이란 무엇인가?

 

* 용어 정의 *

 

• 테스트 베이시스(Test basis) : 테스트 분석 및 설계의 기초로 사용되는 지식 체계
• 테스트 컨디션(Test condition) : 테스팅의 베이시스로 파악된 컴포넌트나 시스템의 테스팅 가능한 측면
• 테스트 케이스(Test case) : 테스트 컨디션에 기초해 개발한 일련의 사전조건, 입력, 행동, 예상 결과 및 사후조건
• 테스트 분석(Test analysis) : 테스트 베이시스(test basis)를 분석하여 테스트 컨디션을 식별하는 활동
• 테스트 설계(Test design) : 테스트 컨디션으로부터 테스트 케이스를 유도하고 도출하는 활동
• 테스트 스위트(Test suite) : 특정 테스트 주기에서 실행해야 하는 테스트 케이스의 집합이나 테스트 절차
• 테스트 스크립트(Test script) : 테스트 실행을 위한 일련의 지시 사항
• 테스트 오라클(Test oracle) : 테스트 중인 시스템의 실제 결과와 비교할 기대 결과를 판단하기 위한 출처
• 테스트 웨어(Testware) : 테스팅에 대한 계획, 설계, 실행, 평가, 보고 등에 활용하기위한 목적으로 테스트 프로세스 동 안 생성되는 작업 산출물
• 테스트 차터(Test charter) : 세션-기반 탐색적 테스팅에서의 테스트 활동 문서

 

 

 

✅ 1.1.1 테스팅의 목적

 

1. 결함과 장애 발견
2. 테스트 대상이 사용자와 다른 이해관계자들이 예상한 대로 작동하는지 검증
3. 명시된 요구사항이 모두 충족됐는지 검증
4. 테스트 대상의 품질 수준에 대한 자신감 획득
5. 요구사항, 사용자 스토리, 설계, 소스 코드 등과 같은 작업 산출물 평가에 의한 결함 예방
6. 이해관계자가 테스트 대상의 품질 수준을 결정하는 데 필요한 정보 제공
7. 계약/법률/규제 요구사항이나 표준의 준수 및 테스트 대상이 이러한 요구사항이나 표준을 준수하는지 확인

 

 

✅ 1.1.2 테스팅과 디버깅

 

• 테스트 : 소프트웨어 결함으로 인한 장애를 찾아낼 수 있음.
• 디버깅 : 장애의 원인을 찾고 분석해서 수정하는 개발 활동

"동적 테스팅은 결함으로 발생하는 장애를 보여주고, 디버깅은 장애의 원인인 결함을 제거한다."

 

 

 

🟡 1.2 테스팅이 왜 필요한가?

 

✅ 1.2.1 성공을 위한 테스팅의 기여

 

1. 테스터를 요구사항 리뷰 혹은 사용자 스토리 개선에 참여시키기 -> 해당 작업 산출물에서 결함 발견 가능
2. 시스템을 설계하는 동안 테스터와 시스템 설계자가 적극적으로 협업하기 -> 이해도가 높아짐, 설계에 결함이 유입되는 리스크가 줄어듦.
3. 코드를 개발하는 동안 테스터와 개발자가 적극적으로 협업하기 -> 코드와 테스트 사이에서의 결함 발생 리스크가 줄어듦.
4. 테스터가 릴리즈 전에 소프트웨어를 확인하고 검증하기 -> 장애를 발견하고 결함(장애의 원인)을 제거 할 수 있음

 

 

✅ 1.2.2 품질 보증과 테스팅

 

품질 보증 : 적절한 품질 수준을 달성했는지 확신을 얻기 위해 적절한 프로세스를 준수하도록 하는 것.

 

"테스팅은 소프트웨어 품질 저하 리스크 수준을 낮춰준다."

 

 

 

✅ 1.2.3 오류, 결함, 장애(Errors, Defects, Failures)

 

"오류 -> 결함 -> 장애"

 

 

[오류 발생 원인]

• 시간적인 압박
• 사람의 실수
• 경험이 적거나 기술이 부족한 프로젝트 참여자
• 요구사항과 설계 등에 대한 프로젝트 참여자 간의 의사소통 문제

 

장애 : 사용자에게 명백하게 드러나는 장애 상황 (ex) 라디오 볼륨을 키울 때 시스템이 설정 속도를 유지하지 못함, 화면 깨짐 현상 발생 등

 

 

 

✅ 1.2.4 결함, 근본 원인, 결과

 

결함의 근본 원인 : 해당 결함을 만들어낸 최초의 행동이나 조건

(ex) 요구사항 작성자가 해당 분야에 익숙하지 않아서 잘못 가정함, 테스터가 상태 전이 테스팅을 배운 적이 없어서 주요 결함을 놓침 등

 

 

 

🟡 1.3 테스팅의 7가지 원리

 

1. 테스팅은 결함이 존재함을 밝히는 활동이지, 결함이 없음을 밝히는 활동이 아니다.
2. 완벽한 테스팅은 불가능하다.
3. 조기 테스팅으로 시간과 비용을 절약할 수 있다.
4. 결함은 집중된다. => 리스크 분석은 테스트 노력을 집중시키는데 필요함
5. 살충제 패러독스에 유의하라 => 같은 테스트를 계속해서 반복 실행한다면, 결국 해당 테스트로는 결함을 더이상 발견할 수 없게 됨.(리그레션 테스팅의 경우에는 리그레션 결함이 적다는 것을 의미할 수도 있음)
6. 테스팅은 context에 의존적이다. => 테스팅은 수동/자동에 상관없이 정황에 의존적이다.
7. 오류 부재는 궤변이다.

 

 

 

🟡 1.4 테스트 프로세스

 

✅ 1.4.1 정황에 따른 테스트 프로세스

 

[테스트 프로세스에 영향을 줄 수 있는 요소]

 

 

 

✅ 1.4.2 테스트 활동과 작업

 

"테스트 계획 -> 테스트 모니터링과 제어 -> 테스트 분석 -> 테스트 설계 -> 테스트 구현 -> 테스트 실행 -> 테스트 완료"

 

1. 테스트 계획

: 테스팅의 목적과 정황으로 인한 제약 사항을 고려해 테스트 목적을 달성하기 위해 필요한 접근법을 정의하는 활동

(ex) 적합한 테스트 기법과 작업 명시, 정해진 출시 일정 전에 완료하기 위한 테스트 일정 수립

 

 

2. 테스트 모니터링과 제어

: 테스트 계획에 정의된 테스트 모니터링 메트릭을 활용해 실제 진행 상황을 계획한 진척 상황과 지속적으로 비교하는 활동

 

 

3. 테스트 분석

: 테스트 가능한 기능과 연관된 테스트 컨디션을 식별하기 위해 테스트 베이시스를 분석하는 활동. "무엇을 테스트할지"

 

<주요 활동>

- 테스트 베이시스의 테스트 용이성 평가

ex) 요구사항 명세(비즈니스 요구사항, 시스템 요구사항, 사용자 스토리, 에픽(epic), 유스케이스 등)

/ 설계와 구현 정보(소프트웨어 아키텍처 다이어그램 또는 문서, 설계 명세, 모델링 다이어그램 등)

/ 구현한 컴포넌트나 시스템(코드, 데이터베이스 메타데이터, 쿼리, 인터페이스 등)

/ 컴포넌트나 시스템의 기능, 비기능, 구조 측면을 고려한 리스크 분석 보고서

 

- 테스트 베이시스와 테스트 항목을 평가하여 다양한 형태의 결함 식별

ex) Ambituities(모호함) / Omissions(누락) / Inconsistencies(불일치) / Inaccuracies(부정확) / Contradictions(모순) / Superfluos Statements(불필요한 구문)

 

- 테스트할 기능과 기능 세트 식별

 

- 테스트 베이시스를 평가하고 각 기능에 대한 테스트 컨디션의 정의 및 우선순위 선정

 

- 테스트 베이시스의 개별 요소와 연관된 테스트 컨디션 간의 양방향 추적성 포착

 

 

4. 테스트 설계

: 테스트 컨디션을 기반으로 상위 수준 테스트 케이스, 상위 수준 테스트 케이스 세트, 기타 테스트웨어를 생성. "어떻게 테스트할 것인가?"

 

<주요 활동>

- 테스트 케이스와 테스트 케이스 세트 설계 및 우선순위 선정

- 테스트 컨디션과 테스트 케이스에 필요한 테스트 데이터 식별

- 테스트 환경 설계와 필요한 인프라 및 도구 식별

- 테스트 베이시스, 테스트 컨디션, 테스트 케이스 간의 양방향 추적성 설정

 

 

5. 테스트 구현

: 테스트 실행에 필요한 테스트웨어를 생성하고 완성하며, 테스트 케이스를 배치해서 테스트 프로시저를 만드는 활동. "테스트를 실행하기 위해 필요한 모든 것이 갖춰져 있는가?"

 

<주요 활동>

- 테스트 프로시저의 개발과 우선순위 선정, 가능하다면 자동 테스트 스크립트 생성

- 테스트 스크립트로 테스트 스위트 생성

- 테스트 환경 구축

- 테스트 데이터 준비, 테스트 환경에 제대로 입력했는지 확인

- 테스트 베이시스, 테스트 컨디션, 테스트 케이스, 테스트 프로시저, 테스트 스위트 간의 양방향 추적성 설정

 

 

6. 테스트 실행

: 테스트 스위트를 테스트 실행 일정에 따라 실행

 

<주요 활동>

- 테스트 항목, 테스트 대상, 테스트 도구, 테스트웨어 등의 고유번호(ID)와 버전 기록

- 테스트 실행

- 기대 결과와 실제 결과 비교

- 이상 현상을 분석해 원인 파악(불일치를 분석하여 해당 불일치의 원인 판단)

- 관찰한 장애를 기반으로 결함 보고

- 테스트 실행 결과 기록

- 이상 현상 때문에 취한 활동의 결과로 인해 또는 계획된 테스팅의 일부로 테스트 활동 반복

- 테스트 베이시스, 테스트 컨디션, 테스트 케이스, 테스트 프로시저, 테스트 결과 간의 양방향 추적성 설정

 

 

7. 테스트 완료

: 완료한 테스트 활동에서 데이터를 수집하여 경험, 테스트웨어, 기타 관련 정보를 축적하는 활동

 

<주요 활동>

- 모든 결함 보고 처리를 완료했는지, 테스트 실행 후 해결되지 않은 모든 결함에 대해 수정 요청서 또는 프로젝트 백로그 항목을 생성했는지 확인

- 이해관계자에게 전달할 테스트 요약 보고서 생성

- 차후 재사용을 위해 테스트 환경, 테스트 인프라, 기타 테스트웨어의 마무리 및 보관

- 테스트웨어를 다른 관계자에게 인계

- 완료한 테스트 활동을 통해 얻은 교훈을 분석해서 향후 반복주기, 릴리스, 또는 프로젝트를 위해 수정해야 하는 사항 판단(프로세스 개선을 위한 교훈 도출)

- 테스트 프로세스 성숙도 개선을 위해 수집된 정보 활용

 

 

 

✅ 1.4.3 테스트 작업 산출물

 

- 테스트 계획 작업 산출물 : 하나 이상의 테스트 계획이 포함됨. 테스트 계획은 테스트 베이시스에 대한 정보를 포함함.

 

- 테스트 모니터링과 제어 작업 산출물 : 지속적, 정기적으로 생성되는 테스트 진행 현황 보고서와 다양한 테스트 완료 마일스톤에서 생성되는 테스트 요약 보고서와 같은 여러 형태의 테스트 보고서를 포함함.

 

- 테스트 분석 작업 산출물 : 분석을 통해 식별되고 우선순위가 선정된 테스트 컨디션

 

- 테스트 설계 작업 산출물 : 테스트 분석에서 정의한 테스트 컨디션을 실행할 수 있는 테스트 케이스와 테스트 케이스 세트가 만들어짐.

 

- 테스트 구현 작업 산출물 : 테스트 프로시저, 테스트 스위트, 테스트 실행 일정

 

- 테스트 실행 작업 산출물 : 개별 테스트 케이스나 테스트 프로시저의 상태에 대한 문서, 결함 보고서, 테스팅에 사용한 테스트 항목, 테스트 대상, 테스트 도구, 테스트웨어 등에 대한 문서

 

- 테스트 완료 작업 산출물 : 테스트 요약 보고서, 차후 프로젝트나 반복주기의 개선을 위한 액션 아이템, 수정 요청서, 완성된 테스트웨어

 

 

 

✅ 1.4.4 테스트 베이시스와 테스트 작업 산출물 간의 추적성

 

<좋은 추적성의 가치>

1) 수정으로 인한 영향 평가를 가능하게 함.

2) 테스팅에 대한 감사(audit)를 가능하게 함

3) IT 통제(IT governance) 조건을 충족할 수 있게 함.

4) 테스트 진행 상황 보고서와 테스트 요약 보고서를 좀 더 쉽게 이해할 수 있게함.

5) 테스팅의 기술적인 내용을 이해관계자가 이해할 수 있는 형태로 전달함.

6) 비즈니스 목표 대비 제품 품질, 프로세스 역량, 프로젝트 진행 상황 등을 평가할 수 있는 정보를 제공함.

7) 새로운 테스트 케이스가 요구사항 커버리지를 증가시켰는지 판단할 수 있음.

 

 

 

🟡 1.5 테스팅의 심리학

 

✅ 1.5.1 인간 심리학과 테스팅

 

- 다툼보다는 협력으로 시작하라.

- 테스팅의 이점을 강조하라.

- 테스트 결과와 기타 발견 사항을 중립적이면서 사실에 기반을 둔 방법으로 전달하라.

- 객관적이고 사실에 기반을 둔 결함 보고서와 리뷰 결과서를 작성하라.

- 상대방이 전달 받은 내용을 이해했는지, 반대로 상대방이 하고자 하는 말을 제대로 이해했는지 확인하라.

 

 

 

✅ 1.5.2 테스터와 개발자의 사고방식

 

 

 

테스터 : 무엇이 잘못될지 예견할 수 있는 능력

개발자 : 해결책을 설계하고 구축하는 데 더 관심을 기울이지만, 그런 해결책에 무슨 문제가 있는지에 대해 관심을 가지는 경우는 많지 않음. "확중 편향(confirmation bias)" 때문에 자신이 만든 오류에 대해 인지하기 어려움.

 

 

 

 

 

 

 

Reference

ISTQB CTFL Syllabus 2018 V 3.1.1_한글_v1.0

 

위 책 내용을 챕터별 중요한 포인트 위주로 정리한 자료입니다.

스스로 공부하기 위한 요점정리 노트이므로 상업적인 사용 목적은 전혀 없음을 알려드립니다:)

 

이 시험에 대한 정보 및 각종 자료는 아래 사이트에서 확인하실 수 있습니다. ⬇⬇⬇

http://www.kstqb.org/sw/sw3.asp