핵심 요약
AI 문항 생성은 출제 시간을 크게 줄여 주는 가장 실용적인 AI 기능 중 하나입니다. 강의 자료를 넣으면 몇 분 만에 객관식 20문항이 만들어집니다. 그러나 OWASP가 잘못된 정보(Misinformation)라고 부르는 위험, 즉 그럴듯하지만 틀린 내용이 문항과 정답에 섞일 수 있습니다. 시험은 학습자의 수료와 자격에 직접 영향을 주므로, 생성 속도보다 검수 기준이 먼저입니다.
AI 문항에서 자주 나오는 문제 다섯 가지
| 문제 | 예시 | 영향 |
|---|---|---|
| 사실 오류 | 개정 전 법령 기준으로 정답 작성 | 정답 시비, 재채점 |
| 정답 중복 | 보기 2개가 모두 맞음 | 이의 신청 증가 |
| 난이도 쏠림 | 정의 암기형 문항만 생성 | 역량 평가 불가 |
| 자료 밖 내용 | 강의에 없는 내용 출제 | 학습자 불만 |
| 저작권·출처 | 외부 교재 문장 그대로 사용 | 권리 문제 |
특히 사실 오류는 문장이 매끄러워 출제자도 놓치기 쉽습니다. 법정의무교육이나 직무 자격 과정처럼 기준이 자주 바뀌는 분야에서는 AI가 학습한 시점의 오래된 기준으로 정답을 만드는 경우가 있습니다.
출제자가 쓸 8가지 검수 체크리스트
1. 정답이 강의 자료의 어느 부분에 근거하는지 위치를 확인했는가. 2. 오답 보기 중 상황에 따라 정답이 될 수 있는 것은 없는가. 3. 법령·규정·수치는 최신 기준과 대조했는가. 4. 문항이 학습 목표 중 무엇을 평가하는지 연결되는가. 5. 정의 암기·적용·판단 문항이 기관이 정한 비율로 섞였는가. 6. 문장이 지나치게 길거나 정답을 암시하는 단어가 없는가. 7. 외부 교재 문장을 그대로 옮기지 않았는가. 8. 최종 승인자와 승인일이 기록되었는가.
이 체크리스트를 문항 한 개마다 모두 적용하기 어렵다면, 생성 단계에서 AI에게 근거 위치를 함께 표시하게 하고 출제자는 근거와 정답을 대조하는 데 집중하는 방식이 효율적입니다.
추천 운영 절차
첫째, 자료를 고정합니다. AI에게 인터넷 지식이 아닌 해당 과정의 강의 자료만 근거로 쓰도록 범위를 정합니다. 둘째, 필요한 양보다 많이 생성합니다. 20문항이 필요하면 40문항을 만들고 검수에서 고릅니다. 셋째, 두 사람이 봅니다. 출제자가 1차 검수를 하고 다른 강사가 정답만 다시 풀어 봅니다. 넷째, 시험 후 데이터를 봅니다. 정답률이 지나치게 높거나 낮은 문항, 특정 오답에 응답이 몰린 문항은 다음 회차 전에 다시 점검합니다.
시험 보안도 함께 봐야 합니다
AI 문항 생성 기능은 강의 자료와 문제 은행에 접근합니다. 학습자가 이 기능을 사용할 수 있거나, 생성된 문항이 승인 전에 학습자 화면에 노출되면 시험 공정성이 무너집니다. 문항 생성과 검수는 강사·출제자 권한에서만 가능하도록 하고, 승인 전 문항은 시험지에 넣을 수 없도록 상태를 구분해야 합니다. 이는 앞 글의 권한 원칙이 평가 영역에 적용된 예입니다.
웹헤즈는 어떻게 대응하고 있나
웹헤즈 LMS는 시험·과제와 수료 기준을 오랫동안 운영해 온 경험을 바탕으로, AI 문항은 초안이고 최종 출제는 사람의 승인이라는 원칙을 권장합니다. 문항 관리와 시험 편성은 관리자·강사 권한으로 구분해 운영합니다. AI 문항 생성 기능의 제공 범위는 제품과 구성에 따라 다르므로, 데모와 도입 상담에서 실제 화면으로 확인하시기 바랍니다.
자주 묻는 질문 — AI가 만든 문항을 그대로 쓰면 안 되나요?
연습 문제처럼 수료에 영향이 없는 경우에는 가볍게 검수해도 됩니다. 수료·자격·성적에 반영되는 시험은 반드시 출제자 승인을 거치는 것이 좋습니다.
자주 묻는 질문 — 검수에 시간이 많이 걸리면 효과가 없지 않나요?
문항을 처음부터 쓰는 시간보다 근거와 정답을 대조하는 시간이 훨씬 짧습니다. 실제로는 출제 시간의 상당 부분을 줄이면서 품질은 유지할 수 있습니다.
자주 묻는 질문 — 같은 자료로 매번 비슷한 문항이 나오면 어떻게 하나요?
평가할 학습 목표와 문항 유형을 지정해 생성하면 다양성이 높아집니다. 이전 회차 문항을 제외하도록 조건을 주는 것도 도움이 됩니다.
참고 자료와 다음 단계
아래 공식 자료(2026년 11월 20일 확인)를 LMS 운영 관점에서 해석했습니다. 특정 업체의 사고를 보도하는 글이 아니며, 표의 예시는 이해를 돕기 위한 가상의 운영 장면입니다. OWASP LLM09 잘못된 정보 · NIST AI 600-1 · NIST AI RMF
웹헤즈 보안 센터에서 보호 항목과 적용 조건을, LMS 구축 안내에서 도입 범위를 확인할 수 있 습니다. 실제 화면은 데모 안내에서 보고, 우리 기관 조건은 도입 상담으로 함께 정리합니다.