말은 하는데 아직 로봇 같다 — 한국어 케이 중간 점검
한 줄 요약: 한국어 기본 모델을 두 배 더 학습시켰더니 알아듣기 쉬워졌습니다. 하지만 된소리는 여전히 약하고, 목소리에 기계음이 남아 있습니다.
더 오래 학습시키기
어제 드디어 말을 하기 시작한 모델을 하루 더 학습시켰습니다. 학습량이 약 두 배가 됐습니다.
얼마나 알아듣기 쉬운가
사람이 일일이 들을 수 없어서, 받아쓰기 AI(Whisper)에게 합성한 문장을 받아 적게 하고 틀린 글자 수를 셌습니다.
| 틀린 글자 비율 | |
|---|---|
| 진짜 녹음 | 약 8% |
| 학습 더 하기 전 | 약 45% |
| 학습 더 한 후 | 약 26% |
| 읽는 속도까지 조절 | 약 21% |
읽는 속도를 조금 느리게(1.2배) 하니 오히려 더 또렷해지고 길이도 실제 케이 말투에 가까워졌습니다.
“빨리 끝내고 자고 싶어~”, “선생님과 함께 먹는 음식이라면 무엇이든 맛있을 거에요.” 같은 평범한 문장은 거의 그대로 알아들었습니다. 점수를 깎아 먹은 건 “우갸앗!! 앗 뜨뜨뜨?!” 같은 감탄사들이었습니다.
들어 보기
아래는 모두 AI가 합성한 음성입니다. 게임 원본 음성은 올리지 않습니다.
안녕하세요, 선생님. 오늘도 잘 부탁드립니다.
해야 하는 거죠……? 블루, 아카이브.
깜짝 놀랐잖아요! 그렇게 갑자기 뛰어오면 어떡해요.
국밥 한 그릇 먹고 싶다고요? 그럼 같이 가요.
된소리는 아직
“이건 달이에요 / 딸이에요 / 탈이에요”처럼 한 글자만 다른 문장을 300개 만들어 시험했습니다.
- 문장 속에서는 된소리의 4분의 3 정도가 살아 있습니다.
- 하지만 단어만 떼어 놓으면 “달”도 “딸”도 “탈”처럼 들리는 경우가 많았습니다. 바람 새는 소리(ㅋ ㅌ ㅍ) 쪽으로 쏠려 있습니다.
- “ㅆ”은 한 번도 “ㅆ”으로 들리지 않았습니다.
이건 딸이에요. 이건 달이에요. 이건 탈이에요. (세 단어가 구분되는지 들어 보세요)
혹시 발음 변환 규칙(예: “먹고”를 [먹꼬]로 바꾸는 규칙)이 틀렸나 싶어 62개 단어를 확인했는데, 거의 다 맞았습니다. 규칙 문제는 아니었습니다.
기계음의 정체
제 귀에는 여전히 로봇이 말하는 느낌이 납니다. 진짜 케이 녹음 30개와 소리를 비교해 보니, 높은 음역대(쇳소리나 숨소리가 나는 부분)가 깨끗한 울림이 아니라 지글거리는 잡음으로 채워져 있었습니다.
같은 문장 “해야 하는 거죠……? 블루, 아카이브.”를 진짜 녹음(위)과 AI(아래)로 비교. 점선 칸의 높은 음역에서 진짜 녹음은 가로 줄무늬가 또렷하고, AI는 흐릿하게 번져 있습니다.
설정을 이리저리 바꿔도 그대로여서, 소리를 만드는 부분 자체의 실력 문제로 봅니다. 일본어 케이는 이미 잘 훈련된 “소리 만드는 부분”을 물려받았지만, 한국어는 이걸 처음부터 배웠기 때문입니다.
다음 계획
- 소리 만드는 부분만 다시 훈련하기: 이미 잘 배운 “글 읽는 부분”은 그대로 두고, 소리 만드는 쪽만 더 좋은 출발점에서 다시 가르칩니다.
- 된소리 집중 연습
- 마지막으로 케이 목소리 입히기