5월 3일 대전과고의 한 교실에 이 학교에서 정보 과목을 맡고 있는 박지훈 교사와 AI에 관심 많은 1학년 6명이 모였다. 바로 2023학년도 대학수학능력시험 수학 영역 문제를 챗GPT에 넣어 함께 풀어본 뒤, 챗GPT를 활용할 때 지켜야 할 점에 대해 이야기를 나누기 위해서였다. 어떤 이야기가 오고갔을까.
박지훈 교사 수학 영역에서 기본 문제인 1~10번을 챗GPT한테 물어볼게요. 그런데 그 전에 챗GPT가 이 문제를 잘 풀 수 있을지 예상해볼까요?
임예온 잘 못 풀 것 같아요. 챗GPT는 언어 모형이잖아요. 논리적인 사고를 통해서 답을 얻기보다는 여러 가지 데이터를 학습해서, 확률적으로 어떤 답이 올까를 추측해서 답을 내니까요.
김도훈 생각보단 잘 풀 것 같아요. 수학을 독학할 때 챗GPT를 많이 이용했는데요. 전 세계에서 나온 방대한 자료를 학습해서인지 어려운 개념을 물어도 곧잘 답변하더라고요.
박지훈 교사 챗GPT는 문제 10개 중 2개를 맞혔네요. 그런데 챗GPT 플러스는 10개 중 9개를 맞혔어요.
김건우 헉, 버전에 따라 이렇게 결과가 다르다니
김수환 버전이 높아질수록 수학을 더 잘하나요?
박지훈 교사 학습된 데이터양이 많은 챗GPT 플러스가 수학 문제를 훨씬 잘 푸네요. 2022년 11월에 챗GPT가 나왔는데 불과 4개월 만에 플러스가 나왔어요. 그래서 챗GPT가 얼마나 문제를 잘 풀지는 중요치 않아요. 점점 더 잘 풀 거니까요. 우리가 어떻게 챗GPT를 슬기롭게 활용할지 고민하는 데 집중해야 하는 이유예요.
환각 현상은 아닌지 의심하기
구민재 틀린 문제를 챗GPT에 여러 번 다시 물었어요. 그랬더니 다 틀린 답을 이야기하네요. 신뢰도가 떨어져요.
앙현영 저는 챗GPT를 수학 공부에 자주 쓰지만, 문제의 답이 궁금할 땐 챗GPT한테 묻지 않아요. 틀린 답변을 정답처럼 말하는 ‘환각’ 현상 때문에 헷갈리더라고요. 진실과 거짓이 교묘하게 섞여 있어요.
김건우 학교 시험 문제에 나온 증명 문제를 챗GPT에 넣어봤어요. 풀이 과정이 그럴듯해서 대충 보면 맞아보였어요. 그런데 들여다보니 조건 자체가 심각한 오류인데도 넘어갔더라고요.
양현영 맞아요. 다른 효율적인 방법이 있는데도 챗GPT는 자신이 학습한 방법으로만 풀려고도 하더라고요.
답변 검증은 필수, 지식이 많을수록 유리
임예온 챗GPT한테 질문을 한 뒤에 A라는 답변을 듣고, 그다음 ‘A는 틀렸어. B가 맞지 않아?’라고 동의를 구하듯이 물으면 ‘잘못된 답변을 해서 미안하다. B가 맞다’는 답변을 하기도 해요(웃음).
앙현영 지난주에 다녀온 ‘챗GPT 포럼’에서 알게 됐는데, 챗GPT에 실제 존재하지 않는 ‘콘크리트 먹기 대회’에 대한 기사를 쓰라고 하면 진짜 있었던 일처럼 기사를 쓰더라고요. 앞으로 가짜 뉴스가 많이 나올 것 같아서 걱정돼요.
임예온 챗GPT 답변에 의존하면 절대 안돼요! 답변이 맞는지, 그 근거는 무엇인지, 출처는 확실한지 확인해보고 추가정보를 찾아보면서 검증해야 해요. 답변을 더 나은 생각을 하기 위한 실마리로 보면 좋겠어요.
김도훈 또 답변 자체가 바람직하지 않은지도 생각해봐야죠. 편견이 담겨 있을 수 있거든요.
김수환 맞아요. 수행평가 때 써보니, 답변을 꼼꼼하게 읽어야 잘못된 점을 찾을 수 있더라고요.
김건우 오히려 전 챗GPT 시대에 사람이 지식을 많이 습득하기 위해 더 노력해야 할 것 같아요. 질문하는 주체는 사람이잖아요. 구체적으로 여러 조건을 제시해 질문하면 챗GPT가 정확도가 높은 답변을 제시해요. 그러니 우리가 아는 게 많아야 좋은 질문을 할 수 있고, 챗GPT의 말에서 어떤 부분이 틀렸는지 알 수 있어요.
김수환 또 챗GPT가 만든 창작물을 모두 내가 만든 것이라고 거짓말하는 사람이 생길텐데 스스로 양심적으로 행동하려고 노력해야 하고요. 막는 방법이 필요해요.
구민재 챗GPT가 답변을 작성했는지 알아내는 AI가 나왔어요. 이렇게 챗GPT를 사용하는 동시에 단점을 보완하기 위해 어떤 방법을 쓸지 고민해야 해요.
