연구 설계 가이드

1. 연구 주제 구체화

현재 주제인 **「생성형 AI가 대학생 글쓰기 능력에 미치는 영향」**은 의미 있지만, ‘생성형 AI 사용’과 ‘글쓰기 능력’의 범위를 구체화할 필요가 있습니다.

권장 연구 제목은 다음과 같습니다.

생성형 AI 활용이 대학생의 논증적 글쓰기 능력에 미치는 영향: 글쓰기 과정과 자기조절학습의 매개효과를 중심으로

또는 비교 연구로 설계할 경우 다음과 같이 표현할 수 있습니다.

생성형 AI 피드백 활용이 대학생의 학술적 글쓰기 성과에 미치는 영향: 생성형 AI 비활용 집단과의 비교

여기서 글쓰기 능력은 다음 요소로 조작적으로 정의할 수 있습니다.

• 논지의 명확성
• 근거의 적절성과 충분성
• 글의 논리적 구조
• 문단 간 응집성과 일관성
• 문법 및 어휘의 정확성
• 인용과 참고문헌의 적절성
• 수정·편집 능력

2. 연구 목적과 연구문제

연구 목적

본 연구는 대학생의 생성형 AI 활용이 학술적 글쓰기 능력에 미치는 영향을 분석하고, 생성형 AI가 글쓰기 결과뿐 아니라 글쓰기 과정과 자기조절학습에 어떤 영향을 미치는지 규명하는 것을 목적으로 한다.

연구문제

1. 생성형 AI를 활용한 대학생과 활용하지 않은 대학생 사이에 학술적 글쓰기 능력의 차이가 있는가?
2. 생성형 AI 활용은 글의 논리성, 응집성, 문법적 정확성 및 인용 능력에 각각 어떤 영향을 미치는가?
3. 생성형 AI 활용 방식과 활용 빈도는 글쓰기 능력에 어떤 영향을 미치는가?
4. 글쓰기 자기효능감과 자기조절학습은 생성형 AI 활용과 글쓰기 능력의 관계를 매개하는가?
5. 대학생들은 생성형 AI의 장점과 한계를 어떻게 인식하는가?

3. 권장 연구방법

가장 적절한 방법은 혼합연구방법입니다. 양적 연구로 글쓰기 성과의 변화를 측정하고, 질적 연구로 학생들이 생성형 AI를 어떻게 활용했는지 분석할 수 있습니다.

3.1 연구설계

가능하다면 다음과 같은 준실험설계를 권장합니다.

• 생성형 AI 활용 집단
• 생성형 AI 비활용 통제집단
• 사전 글쓰기 평가
• 6~8주간 글쓰기 과제 수행
• 사후 글쓰기 평가
• 학생 인터뷰 또는 성찰일지 분석

단순히 AI 사용 집단과 비사용 집단의 최종 점수만 비교하면 원래부터 존재하던 글쓰기 능력 차이를 통제하기 어렵습니다. 따라서 사전·사후 검사를 실시하고, 사전 점수를 공변량으로 통제하는 공분산분석(ANCOVA) 또는 반복측정분산분석을 활용하는 것이 바람직합니다.

3.2 연구대상

• 국내 4년제 대학생 약 80~120명
• 전공과 학년을 고려한 층화표집
• 생성형 AI 사용 경험을 사전에 조사
• 동일하거나 유사한 수준의 학술적 글쓰기 과제 부여

표본 수는 연구모형과 분석 방법에 따라 달라지므로, 최종적으로는 검정력 분석을 통해 결정해야 합니다.

3.3 생성형 AI 활용 조건

‘AI 활용’이라는 표현만으로는 처치가 불분명하므로 허용 범위를 명시해야 합니다.

예를 들면 다음과 같습니다.

• 주제 아이디어 생성
• 개요 작성
• 문장 표현 개선
• 논리적 연결에 대한 피드백
• 문법 및 맞춤법 점검

반면 다음 행위는 별도로 제한하거나 분석 대상에서 구분할 필요가 있습니다.

• 글 전체의 대리 작성
• 존재하지 않는 자료나 참고문헌의 사용
• 출처 확인 없는 AI 생성 내용의 직접 제출
• 표절 또는 저자성 은폐

3.4 측정도구

글쓰기 수행평가

분석적 평가 루브릭을 사용하여 두 명 이상의 평가자가 독립적으로 채점합니다.

평가 영역	주요 평가 기준
논지	주장이 명확하고 일관적인가
근거	주장을 뒷받침하는 자료가 적절한가
조직	서론·본론·결론의 구조가 논리적인가
응집성	문장과 문단이 자연스럽게 연결되는가
표현	문법, 어휘, 문체가 적절한가
학술성	인용과 참고문헌이 정확한가

평가자 간 신뢰도는 급내상관계수(ICC) 또는 일치도 계수로 확인할 수 있습니다.

설문조사

다음 변인을 측정할 수 있습니다.

• 생성형 AI 사용 빈도
• 생성형 AI 활용 목적
• 글쓰기 자기효능감
• 자기조절학습
• AI 결과에 대한 신뢰도
• AI 사용에 대한 윤리적 인식

기존 척도를 번안할 경우 번역·역번역 절차와 신뢰도 검증이 필요합니다.

질적 자료

• 학생 인터뷰
• 작성 과정의 프롬프트 기록
• 초고와 최종본
• 학습 성찰일지

질적 자료는 주제분석을 통해 반복적으로 나타나는 활용 방식, 의존성, 검증 전략 및 학습 경험을 도출할 수 있습니다.

4. 논문의 권장 구성

본론 기준 A4 10~15매라면 다음과 같은 분량 배분이 적절합니다.

Ⅰ. 서론: 약 1.5~2매

• 연구 배경
• 생성형 AI 확산과 대학 글쓰기 교육의 변화
• 연구의 필요성
• 연구 목적과 연구문제
• 주요 용어의 정의

서론에서는 “생성형 AI가 무조건 글쓰기 능력을 향상시킨다”와 같은 단정적 표현보다, 학습 지원 가능성과 인지적 의존 위험이 동시에 존재한다는 문제의식을 제시하는 것이 좋습니다.

Ⅱ. 이론적 배경 및 선행연구: 약 3~4매

1. 대학생 학술적 글쓰기의 개념

학술적 글쓰기를 단순한 문법 능력이 아니라 주장, 근거, 구조, 독자 인식 및 출처 활용을 포함하는 복합적 능력으로 설명합니다.

2. 생성형 AI의 교육적 활용

생성형 AI의 피드백, 아이디어 생성, 문장 수정 기능을 검토합니다. 동시에 허위 정보, 편향, 과도한 의존, 학업윤리 문제도 함께 논의해야 합니다.

3. 생성형 AI와 글쓰기 능력

선행연구를 다음 세 범주로 구분하면 문헌 검토가 명확해집니다.

• 글쓰기 결과에 미치는 영향
• 글쓰기 과정과 자기조절학습에 미치는 영향
• 학업윤리와 저자성에 미치는 영향

4. 연구의 차별성

기존 연구가 생성형 AI의 가능성이나 인식 조사에 집중했다면, 본 연구는 사전·사후 글쓰기 평가와 실제 활용 과정을 함께 분석한다는 점을 제시할 수 있습니다.

Ⅲ. 연구방법: 약 2~3매

• 연구설계
• 연구대상 및 표집
• 연구절차
• 실험 처치 또는 AI 활용 지침
• 측정도구
• 자료분석방법
• 연구윤리

Ⅳ. 연구결과: 약 2~3매

• 연구대상의 일반적 특성
• 기술통계
• 측정도구의 신뢰도
• 집단 간 글쓰기 능력 차이
• 세부 평가영역별 차이
• 질적 분석 결과

결과 장에서는 해석이나 평가를 지나치게 섞지 않고, 통계 결과와 자료에서 직접 확인되는 사실을 중심으로 서술합니다.

Ⅴ. 논의: 약 2~3매

• 연구결과의 의미
• 선행연구와의 일치 또는 차이
• 생성형 AI가 특히 효과적이거나 제한적인 글쓰기 영역
• 대학 글쓰기 교육에 대한 시사점
• 생성형 AI 의존과 검증 능력의 문제

Ⅵ. 결론: 약 1~1.5매

• 연구 요약
• 이론적·교육적 시사점
• 연구의 한계
• 후속 연구 제언

5. 자료분석 계획

양적 자료는 다음 순서로 분석할 수 있습니다.

1. 결측치와 이상치 확인
2. 연구대상자의 인구통계학적 특성 분석
3. 척도의 신뢰도 검증
4. 집단별 평균과 표준편차 산출
5. 사전 점수 통제 후 집단 차이 검증
6. 효과크기 산출
7. AI 사용 빈도와 글쓰기 점수의 상관 및 회귀분석
8. 자기효능감 또는 자기조절학습의 매개효과 분석

통계적 유의성만 제시하기보다 효과크기와 신뢰구간을 함께 보고하는 것이 바람직합니다. 또한 AI 활용 집단의 점수가 높더라도 그것이 장기적인 글쓰기 능력 향상을 의미하는지, 단기적인 산출물 개선에 불과한지 구분해야 합니다.

6. 학술적 문체와 표현

다음과 같은 표현을 권장합니다.

• “영향을 미친다” → 인과관계가 확인된 경우에만 사용
• “관련이 있는 것으로 나타났다” → 상관분석 결과에 적합
• “향상시킨다” → 실험적 근거가 충분할 때 사용
• “가능성을 보여준다” → 제한된 표본이나 탐색적 결과에 적합
• “생성형 AI는 유용하다” → “일부 글쓰기 과정에서 지원 도구로 활용될 가능성이 있다”

문단은 다음 구조로 작성하면 안정적입니다.

핵심 주장 → 선행연구 근거 → 연구자료 또는 분석 결과 → 해석 및 연결

7. 연구윤리상 유의점

• 연구 참여자의 사전 동의 확보
• 생성형 AI에 입력된 개인정보와 민감정보 보호
• AI 사용 여부와 사용 범위를 연구대상자에게 명확히 안내
• AI가 생성한 참고문헌의 실제 존재 여부 확인
• 연구자가 AI를 사용한 경우 사용 목적과 범위를 기록
• 대학 또는 학술지의 생성형 AI 저자성·공개 기준 준수
• AI 생성물을 인간 연구자의 검토 없이 연구 결과로 사용하지 않기

생성형 AI를 연구 도구로 사용했더라도, 최종적인 내용의 정확성·책임성·저자성은 연구자에게 있습니다.

8. 참고할 핵심 문헌

APA 7판 형식의 참고문헌 예시는 다음과 같습니다.

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). American Psychological Association.

Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–623. https://doi.org/10.1145/3442188.3445922

Graham, S., & Perin, D. (2007). Writing next: Effective strategies to improve writing of adolescents in middle and high schools. Carnegie Corporation of New York.

Kasneci, E., et al. (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, 103, 102274. https://doi.org/10.1016/j.lindif.2023.102274

Noy, S., & Zhang, W. (2023). Experimental evidence on the productivity effects of generative artificial intelligence. Science, 381(6654), 187–192. https://doi.org/10.1126/science.adh2586

UNESCO. (2023). Guidance for generative AI in education and research. UNESCO.

Zawacki-Richter, O., Marín, V. I., Bond, M., & Gouverneur, F. (2019). Systematic review of research on artificial intelligence applications in higher education. International Journal of Educational Technology in Higher Education, 16, Article 39. https://doi.org/10.1186/s41239-019-0171-0

핵심적으로 이 연구는 생성형 AI의 사용 여부만 비교하기보다, 어떤 방식으로 활용했는지, 학생이 AI의 제안을 얼마나 검증했는지, 그리고 최종적으로 독립적인 글쓰기 능력이 향상되었는지를 함께 분석하는 방향으로 설계하는 것이 바람직합니다.