+ Strictly aligns transfer items with observable attainment criteria.
- It oversimplifies solid ordering and particle-distance changes.
Fixes what is being measured before writing any question.
| Category | Education › Lesson prep |
|---|---|
| Tags | Question generationReviewingTeacher |
Design assessment items. **Objectives first** For each objective, decide **what has to be observed for it to count as reached.** Without this, the items only sweep over "what was covered". **Item design** Per objective: 1. **An item answerable from memory** — necessary, but it alone does not confirm the objective 2. **An item that requires understanding** — applied to a case different from the one taught. ***This is the actual check*** 3. **Why the answer is the answer**, per item 4. **Wrong-answer analysis** — what did a student choosing this one miss? ***If the wrong answers do not diagnose, you have only graded*** **Check** - **Flag items answerable by pattern** because they reuse the exact phrasing from class - Remove items that ask about something not in the objectives - **Items whose question is hard to parse** — ***those measure reading ability instead*** - Does the point weighting follow **importance of the objective** rather than difficulty? **Output** - Items and answer rationale, by objective - Diagnosis per wrong answer - Whether it fits the time I gave you - **Objectives these items do not check** **Rules** - Do not test outside the objectives I gave you - ***Do not quote achievement standards from memory.*** Say they need checking
Writing questions first leaves you unsure what they measure. This sets a checkpoint per objective and builds items that separate recall from understanding.
Claude is strongest in alignment and diagnostic design. ChatGPT is solid but has scope issues, while Gemini is detailed yet overextends the objective and contains notable inaccuracies.
+ Strictly aligns transfer items with observable attainment criteria.
- It oversimplifies solid ordering and particle-distance changes.
+ Covers the requested format with clear diagnoses and weighting.
- Perfume and condensation items have scope and transfer concerns.
+ Provides highly specific misconceptions for every distractor.
- It tests mass, volume, and forces beyond scope, with some errors.
| Criterion | ChatGPT | Claude | Gemini | Leader |
|---|---|---|---|---|
| Instruction following | 8 | 9 | 6 | Claude +13% |
| Accuracy | 7 | 8 | 5 | Claude +14% |
| Specificity | 9 | 10 | 9 | Claude +11% |
| Structure | 9 | 9 | 8 | Tie |
| Right length | 7 | 7 | 5 | Tie |
Scored 1–10 by gpt-5.6-sol with model names hidden (2026-09-25). This is an AI review, not a measurement.
We gave three models the same input and copied their answers unedited. Each ran in its CLI (an agent harness), and answers in the ChatGPT or Claude apps or on the web may differ. Outputs are in Korean.
Objectives: 중학교 2학년 과학 '물질의 상태 변화' 단원 — 온도 변화에 따른 물질의 상태 변화를 입자 운동 모델로 설명할 수 있다 Student level: 중학교 2학년 28명, 과학 흥미도는 중하위권이며 용어 암기 위주로 학습해 온 편 Format and time: 객관식 5문항 + 서술형 2문항, 40분 지필평가
성취 목표: 온도 변화에 따른 물질의 상태 변화를 입자 운동 모델로 설명할 수 있다.
목표 도달로 볼 수 있으려면 학생이 다음을 함께 보여야 한다.
단순히 “고체, 액체, 기체” 또는 “녹음, 얼음”을 암기해 고르는 것만으로는 목표 도달을 확인할 수 없다.
공식 성취기준과의 정확한 문구 일치 여부는 교육과정 원문을 확인해야 한다. 아래 문항은 사용자가 제시한 목표만을 기준으로 설계했다.
다음 중 기체 상태의 입자 운동 모습으로 가장 알맞은 것은?
① 입자가 일정한 위치에서만 진동한다.
② 입자 사이의 거리가 매우 가깝고 입자가 자유롭게 이동한다.
③ 입자 사이의 거리가 비교적 멀고 입자가 여러 방향으로 자유롭게 움직인다.
④ 온도가 변해도 입자의 운동 정도는 변하지 않는다.
정답: ③
기체에서는 입자 사이의 거리가 크고, 입자가 서로 떨어져 여러 방향으로 자유롭게 움직인다.
액체가 냉각되어 고체가 될 때 나타나는 변화로 옳은 것은?
① 입자의 운동이 활발해지고 입자 사이의 거리가 커진다.
② 입자의 운동이 줄어들고 입자가 일정한 배열을 이루기 쉬워진다.
③ 입자의 종류가 다른 물질로 바뀐다.
④ 입자의 수가 줄어든다.
정답: ②
액체가 냉각되면 입자의 운동이 줄어들고 입자들이 비교적 규칙적인 배열을 이루면서 고체가 된다.
차가운 컵에 담긴 얼음물이 시간이 지나면서 컵 바깥쪽에 물방울을 만든다. 이 현상을 입자 운동 모델로 가장 잘 설명한 것은?
① 컵 바깥의 물 입자가 냉각되어 서로 가까워지고 액체가 되었다.
② 컵 안의 물 입자가 컵을 통과하여 바깥에서 기체가 되었다.
③ 공기 중 수증기 입자의 운동이 줄어들어 서로 가까워지고 액체 물이 되었다.
④ 컵 바깥의 산소 입자가 물 입자로 변했다.
정답: ③
공기 중 수증기가 차가운 컵 표면에서 냉각된다. 수증기 입자의 운동이 줄어들고 입자 사이가 가까워져 액체 물방울이 된다.
밀폐된 용기에 액체 향수를 조금 넣고 따뜻한 곳에 두었더니 용기 안의 향수 냄새가 더 넓게 퍼졌다. 이에 대한 설명으로 옳은 것은?
① 온도가 올라가 입자의 운동이 활발해지고, 기체 상태 입자가 더 빠르게 퍼진다.
② 온도가 올라가 입자의 운동이 줄어들어 한곳에 모인다.
③ 향수 입자가 가열되어 전혀 다른 물질의 입자로 변한다.
④ 액체 입자가 사라졌기 때문에 빈 공간으로 냄새가 퍼진다.
정답: ①
온도가 올라가면 입자의 운동이 활발해진다. 향수의 일부가 기체 상태로 존재하며, 기체 입자가 활발하게 움직여 용기 전체로 퍼진다.
다음은 어떤 물질을 가열하면서 관찰한 결과이다.
이 물질의 상태 변화와 입자 운동을 바르게 설명한 것은?
① 고체에서 액체를 거쳐 기체가 되었으며, 가열할수록 입자의 운동이 활발해지고 입자 사이가 멀어진다.
② 기체에서 액체를 거쳐 고체가 되었으며, 가열할수록 입자의 운동이 줄어든다.
③ 물질이 사라졌다가 새로운 입자로 바뀌었다.
④ 입자의 종류는 변했지만 상태는 변하지 않았다.
정답: ①
일정한 모양을 유지하던 고체가 흐르기 시작한 것은 액체가 된 것이고, 용기 전체로 퍼진 것은 기체 상태로 변한 것으로 볼 수 있다. 가열하면 입자의 운동이 활발해지고 입자 사이가 더 멀어질 수 있다.
얼음 조각을 실온에 두었더니 물이 되었고, 그 물을 계속 가열하자 수증기가 되었다. 이 과정을 입자의 운동과 배열 변화를 포함하여 설명하시오.
얼음에서는 입자가 비교적 규칙적으로 배열되어 제자리에서 진동한다. 온도가 올라가면 입자의 운동이 활발해지고 배열이 느슨해져 액체 물이 된다. 계속 가열하면 입자의 운동이 더 활발해지고 입자 사이의 거리가 커져 입자가 자유롭게 움직이는 기체인 수증이가 된다.
어떤 물질을 투명한 밀폐 용기에 넣고 냉각했더니 용기 안쪽에 액체 방울이 생겼다. 이 현상을 입자 운동 모델로 설명하시오. 답안에는 다음 내용을 포함하시오.
액체 방울은 공기 중에 있던 기체 상태의 물질이 냉각되어 생긴 것이다. 온도가 내려가면 기체 입자의 운동이 줄어들고, 입자 사이의 거리가 가까워져 입자들이 모이므로 액체 상태가 된다.
총점은 64점이다.
| 문항 유형 | 문항 수 | 배점 | 예상 시간 |
|---|---|---|---|
| 기억·기초 확인 | 2문항 | 10점 | 4분 |
| 새로운 사례 적용 객관식 | 3문항 | 24점 | 10분 |
| 서술형 | 2문항 | 30점 | 20분 |
| 검토 | - | - | 6분 |
| 합계 | 7문항 | 64점 | 40분 |
시간 안에 가능하다. 다만 중학교 2학년이고 서술형 경험이 적다면 서술형 2문항에 각각 답안 조건을 제시하는 것이 좋다.
배점은 단순 암기보다 목표의 핵심인 새로운 상황에 입자 운동 모델을 적용하는 능력에 더 크게 두었다.
문항 수를 모두 같은 배점으로 주기보다는 목표의 중요도를 반영한 배점이다.
제시된 목표만으로는 다음 내용을 평가하지 않는다.
이러한 내용을 포함하려면 목표에 명시하거나 별도의 평가 목표로 추가해야 한다.
| Write feedback on student work | |
| Academic Writing Workshop Plan | |
| Analogy Generator | |
| Chinese Hookah Training Program | |
| Teach a sensitive topic |