36. Azure Test Plans로 테스트 계획 및 관리하기 2편
<참조> https://azuredevopslabs.com/labs/azuredevops/testmanagement/
실습 2 : 수동 테스트 작성, 실행 및 분석하기
이번 실습에서는 수동 테스트 계획을 작성하고 단계별로 덧붙여 나가는 방법에 대해 학습할 것이다. 나중에 계획을 실행하여 소프트웨어의 예상 동작을 확인할 수 있다. 이 실습에서는 새로운 수동 테스트 케이스를 만들어 실행하는 데 중점을 둘 것이다.
과제 1 : 테스트 & 피드백 확장 설치하기
1, http://google.com/chrome에서 Google Chrome을 설치한다. 이 실습의 나머지 부분에서는 Chrome을 브라우저로 사용한다. 이미 Chrome을 사용중인 경우 다음 단계를 위해 새 인스턴스를 연다.
2. http://marketplace.visualstudio.com에서 Azure DevOps Marketplace로 이동한다.
3. Azure DevOps 탭을 선택한다. “feedback”을 검색하고 Test & Feedback 확장을 클릭한다.
4. 세부 사항 페이지에서 Install 버튼을 클릭한다.
5. Chrome 확장에 대한 Install을 클릭한다.
6. Chrome Web Store에서 Add to Chrome을 클릭한다.
7. 설치에 대한 확인을 묻는다면 설치를 확인한다.
동기화 설정 관련 창이 나타나면 창을 닫고 계속 진행한다.
8. 확장을 열려면 주소 표시 줄 오른쪽에 나타나는 확장 아이콘을 클릭한다. Connected를 선택하고 "https://dev.azure.com/ORG_NAME/"과 같은 Azure DevOps 인스턴스의 URL을 서버 URL로 입력하고 다음을 클릭한다.
9. 확장은 Connected 및 Standalone 모드의 두 가지 모드에서 사용할 수 있다. Azure DevOps 또는 Team Foundation Server (TFS)가 있는 경우 Connected 모드를 선택한다. Standalone 모드는 Azure DevOps 또는 TFS가 없고 확장 기능을 사용하여 버그를 신고하고 팀과 보고서를 공유하려는 사용자를 위한 모드이다.
10. Azure DevOps에 연결 한 후 이러한 노력과 관련된 팀을 선택해야 한다. Parts Unlimited 프로젝트에서 Parts Unlimited Team을 선택하고 Save를 클릭하여 계속 진행한다.
과제 2 : 수동 테스트 플랜 작성하기
1, Chrome에서, Parts Unlimited 프로젝트로 이동한다.
2. 이전과 같이, Test Plans 허브로 이동한다.
3. 테스트 플랜 옆의 드롭다운을 펼치고 New Suite | Static suite를 선택한다.
4. 새로운 세트를 “End-to-end tests” 라고 명명하고 Enter를 누른다.
5. Tests 탭에서, New | New test case를 선택하여 새로운 테스트 케이스를 만든다.
6. Title 박스에 새로운 테스트 케이스에 대한 이름으로 “Confirm that order number appears after successful order”라고 타이핑한다.
7. 이제 이 수동 테스트에 단계를 추가할 준비가 되었다. 드롭다운 메뉴에서 Edit test case(s)를 선택한다.
각 단계에는 테스터가 수행해야 하는 조치를 설명하는 Action이 포함된다. 선택적으로 단계는 Expected Result를 포함 할 수 있으며, 이것은 주어진 조치의 예상 결과를 설명한다. 단계 패널에서 다음 Action 각각에 대해 단계를 작성한다. 이 조치 중 하나에만 Expected Result가 있다.
| Action | Expected Result |
| Open project site | |
| Click Brakes | |
| Click Disk and Pad Combo | |
| Click Add to Cart | |
| Click Checkout | |
| Enter @Email, @Password | |
| Enter @Name, @Phone, @Email, @Address, @City, @State, @PostalCode, @Country, @Promo | |
| Click Submit Order | |
| Confirm order page has order # | Order # should appear on order confirmation page |
| Log out | |
| Close browser |
참고 : 빈 단계가 추가로 있으면 삭제한다.
8. 이 시점에서, Steps 패널은 다음과 유사해야 한다.
9. “Enter @Email, @Password” 및 “Enter @Name, @Phone, @Email, @Address, @City, @State, @PostalCode, @Country, @Promo” 단계를 참고한다. 이 단계에서 @ 기호를 사용하여 수동 테스트 단계에서 반복 특정(iteration-specific) 변수가 사용되었음을 나타낸다. 이 양식의 Parameter Values 섹션으로 아래로 스크롤하여 각 반복에 대해 입력하여 사용할 변수를 정의 할 수 있다. 이 섹션을 보려면 테스트 케이스 대화 상자의 맨 오른쪽에있는 스크롤 막대를 사용해야 할 수도 있다.
10. 다음 표를 사용하여 두 반복에 대한 값을 설정한다.
| Fields | Iteration1 | Iteration2 |
| State | WA | IL |
| Promo | FREE | FREE |
| PostalCode | 98052 | 11135 |
| Phone | 425-555-1234 | 555.555.5555 |
| Password | P@ssw0rd | P@ssw0rd |
| Name | Admin User | Sachin Raj |
| admin@test.com | sachin@test.com | |
| Country | USA | USA |
| City | Redmond | Springfield |
| Address | One Microsoft Way | Two Tailspin Trail |
11. Parameter Values 섹션은 이제 다음과 같은 모습이어야 한다. 폭 넓은 시나리오를 완전히 테스트하는 데 필요한 횟수만큼 반복을 입력 할 수 있다.
과제 3 : 수동 테스트 플랜 실행하기
1, 이 과제에서는 앞서 생성한 수동 테스트 계획을 실행하는 방법에 대해 학습할 것이다. 자동화된 테스트 실행을 트리거하는 프로세스는 유사한 워크 플로우를 따른다. 보다 자세한 내용은 이 문서를 통해 학습할 수 있다.
2. Execute 탭으로 이동한다. 앞에서 작성한 테스트 케이스를 마우스 오른쪽 단추로 클릭하고 Run with options을 선택하여 수동 테스트 실행을 시작한다.
(Run with options의 경우 대상 빌드를 검색하여 선택하도록 되어 있는데, 빌드 검색 결과가 없어 대신 Run for web application을 선택하여 진행하였다.)
3. Test Runner 창에서 Test 1 of 1: Iteration 1 드롭다운을 펼친다. 테스트 케이스에 지정된 각 매개 변수 세트마다 하나씩 두 개의 반복이 있다. 첫 번째 반복에서는 admin@test.com 계정이 사용된다. 두 번째로는 sachin@test.com이 사용된다.
4. 테스트의 첫 번째 단계는 프로젝트 사이트를 여는 것이다. 이렇게 하려면 Parts Unlimited 솔루션이 로드된 Visual Studio 인스턴스로 전환한다. IIS Express 대상 드롭다운에서 Browse With…를 선택한다.
5. Google Chrome을 선택하고 Browse을 클릭한다.
6. 큰 화면에서 작업하는 경우 Test Runner 창 옆에 맞게 새 창의 크기를 조정하는 것이 더 쉬울 수 있다. 그렇지 않으면 앞뒤로 전환 할 수 있다.
7. 사이트가 로드되면 Test Runner로 돌아가서 테스트 Pass test step를 클릭한다. 이 테스트의 다음 단계를 완료 할 때 Pass test step 버튼도 확인한다.
8. 다음 단계는 Brakes 메뉴 항목을 클릭하는 것이다.
(위 가이드에 따라 Brakes를 클릭하면 Github로 이동된다. 따라서 다음과 같이 More 탭에서 Brakes를 선택하는 방법으로 진행하였다.)
9. 그런 다음 Disk and Pad Combo 제품을 클릭한다.
10. 그런 다음 Disk and Pad Combo 제품을 클릭한다.
11. 다음 페이지에서 Checkout을 클릭한다.
12. 다음 단계에서 지정된 자격증명 정보를 사용하여 로그인한다.
13. 불행히도 admin@test.com 계정이 없기 때문에 실패한다.
14. Test Runner는 테스트 실행에서 미디어를 기록하는 세 가지 유용한 방법을 제공한다. 첫 번째 옵션은 스크린 샷을 찍는 것이다. 두 번째는 이미지 작업 로그에서 각 사용자 작업을 캡처하는 것이다. 마지막은 화면을 비디오로 녹화하는 것이다. 스크린 샷 캡처 버튼을 클릭하여 스크린 샷을 만든다.
15. 화면을 아래로 자르면 로그인 양식과 오류 메시지가 표시된다. “No admin account” 이라는 이름을 지정하고 Confirm 버튼을 클릭한다.
16. 실패한 단계를 마우스 오른쪽 단추로 클릭하고 Add comment를 선택한다.
17. "Admin account does not exist by default"라는 설명을 입력하고 Fail test step 버튼을 사용하여 테스트 실패 처리 한다.
18. 새 버그를 기록하려면 Create bug를 클릭한다.
19. "Admin account does not exist by default"라는 버그 제목을 입력하고 Save & Close를 클릭하여 버그를 기록한다.
20. 테스트중인 기능과 직접 관련이 없는 버그로 인해 테스트를 완료할 수 없으므로 Mark test case result 드롭다운을 펼치고 Block test을 선택한다. Save & Close를 클릭하여 테스트 실행을 저장한다.
21. 테스트 브라우저 창을 닫는다.
과제 4 : 수동 테스트 플랜 분석하기
1, 이 과제에서는 수동 테스트 실행 결과를 검토하는 방법에 대해 학습할 것이다.
2. Test Hub를 호스팅하는 브라우저 창으로 돌아간다. Runs 탭을 선택한다.
3. 가장 최근의 테스트 실행을 두 번 클릭하여 연다. 데이터를 보려면 데이터를 새로 고쳐야 할 수도 있다.
4. Run summary 탭에는 테스트 실행에 대한 개요와 실행의 일부로 포함된 모든 테스트 결과에 대한 자세한 내용이 있다.
5. Test results 탭을 선택한다. 이 탭에는 실행에 포함된 각 개별 테스트 케이스의 결과가 나열된다. 여기에 테스트 케이스가 하나만 포함되었으므로 두 번 클릭하여 연다.
6. 여기에서 실행되는 이 특정 테스트 케이스에 대한 모든 세부 사항을 검토 할 수 있다.
7. 반복을 찾으려면 맨 아래로 스크롤한다. 첫 번째 반복을 펼친다.
8. 이 반복에서 각 단계의 결과와 실패한 로그인 단계를 검토하여 테스트 실행 중 첨부된 스크린 샷을 표시한다.
과제 5 : 공유 단계 만들기
1, 이 과제에서는 공유 단계를 작성하는 방법에 대해 학습할 것이다. 공유 단계는 일반적으로 순차적으로 수행되는 여러 단계를 단일 논리 단계로 결합하여 테스트간에 공유 할 수 있다. 공유 단계에 의해 정의된 프로세스가 나중에 변경 될 경우 한 단계에서 공유 단계를 업데이트 할 수 있으며 이를 참조하는 모든 테스트에 반영된다.
2. Summary 섹션에서 테스트 케이스 링크를 클릭한다.
3. 케이스를 선택하고 드롭다운 메뉴에서 Edit test case를 선택한다.
4. 2-4 단계를 선택(Shift+클릭 사용)하고 공유 단계 작성 버튼을 클릭한다.
5. 이 공유 단계의 이름을 "Add Disk and Pad Combo to cart"로 설정하고 작성을 클릭한다.
6. 이제 이전 단계가 공유 단계로 바뀐 것을 볼 수 있다. 공유 단계를 두 번 클릭한다.
7. 필요한 경우 나중에 이 단계를 다시 방문하여 새로운 요구 사항에 맞게 업데이트 할 수 있다.
8. Esc를 눌러 Shared Steps 대화 상자를 닫는다.
9. Save & Close를 클릭하여 테스트 케이스를 저
장한다.