임상 음성인식(ASR)의 숨은 난관: 전문 용어와 발음
병원에서 쓰는 음성인식 시스템은 일상 대화와는 다른 도전 과제를 안고 있습니다. Acetaminophen(아세트아미노펜), Amlodipine(암로디핀), Cefazolin(세파졸린) 같은 약물 이름이나 복잡한 시술명, 해부학적 용어들은 일반적인 음성 모델이 학습하기 어려운 '희귀 단어'에 속하죠.
문제는 여기서 끝이 아닙니다. 실제 임상 데이터는 HIPAA(미국 건강보험 이동성 및 책임법) 같은 규정 때문에 팀 간 공유나 버전 관리 시스템 사용이 제한적입니다. 결국 개발자들은 특정 도메인에 특화된 ASR 성능을 검증하기 어려운 상황에 놓입니다.
이런 문제를 해결하기 위해 NVIDIA는 에이전트 스킬(Agent Skills) 기반의 임상 ASR 평가 워크플로우를 공개했습니다. 핵심은 발음(음소) 정확도를 보장하는 합성 데이터를 생성해 평가 파이프라인을 빠르게 구축하는 것입니다. 이 글에서는 해당 워크플로우가 어떻게 동작하는지, 그리고 실무에 어떻게 적용할 수 있는지 자세히 살펴보겠습니다.
발음 인식 합성 오디오 생성 파이프라인: SDG의 핵심
파이프라인의 첫 단계는 NeMo Data Designer를 활용해 시드 용어(Seed Terms)를 풍부한 데이터셋으로 확장하는 것입니다. 예를 들어, 정형외과 환자 평가를 위한 용어 목록이 있다면, 이 도구를 통해 각 용어가 포함된 실제 임상 문장을 생성합니다.
이 과정은 단순히 문장을 만드는 것을 넘어, 각 행(Row)이 다음 다섯 가지 핵심 열(Column)을 갖도록 설계됩니다.
| 열(Column) | 목적 | 스킬 사용처 |
|---|---|---|
sample_id | 생성된 샘플의 고유 ID | 오디오, 대본, 매트릭 데이터 정렬 |
sentence | 대상 용어가 포함된 임상 문장 | ASR 기준 대본(Reference Transcript) |
ipa_pronunciation | 사전 검토 또는 사전 기반 발음 기호(IPA) | 음소 주입 및 검토 필요성 플래그 |
ssml_sentence | 음소 마크업이 포함된 SSML 문장 | TTS(음성 합성) 입력 |
audio_filepath | 합성된 오디오 파일 경로 | 매니페스트(Manifest) 오디오 경로 |
SSML 음소 태그 주입으로 발음 제어하기
TTS 엔진이 정확한 발음을 내도록 하기 위해 SSML(Speech Synthesis Markup Language) 의 <phoneme> 태그를 활용합니다. 아래 코드처럼 대상 용어가 등장할 때마다 IPA(국제 음성 기호)를 명시해 주입합니다.
<!-- 예시: Acetaminophen의 정확한 발음 지정 -->
<speak>
The nurse administered <phoneme alphabet="ipa" ph="əˌsiːtəˈmɪnəfɛn">Acetaminophen</phoneme> to the patient after surgery to manage mild pain.
</speak>
이 방식은 TTS 모델이 자체적으로 추측하는 발음(grapheme-to-phoneme)에 의존하지 않고, 검증된 IPA 시퀀스를 사용하도록 강제합니다. 이는 훈련 데이터의 품질을 좌우하는 결정적인 차이점입니다.
수동 발음 검토 루프: LLM 제안은 '후보'일 뿐
모든 의학 용어가 사전에 등재되어 있는 것은 아닙니다. 신약이나 희귀 시술명의 경우, LLM이 IPA 후보를 제안할 수 있지만, 이는 어디까지나 검토가 필요한 '후보'입니다. 워크플로우는 이 과정을 강제합니다.
- IPA가 누락되거나 신뢰도가 낮은 행을 플래그
- LLM 에이전트가 IPA 후보 제안
- TTS 음소 인벤토리와 대조 검증
- 짧은 QA 클립 생성 후 사람이 직접 듣고 승인/수정/거절
- 승인된 발음은 오버라이드(Override) 파일에 저장 후 재생성
이 프로세스는 단순히 데이터를 많이 만드는 것보다, 데이터의 신뢰도를 유지하는 데 초점을 맞춥니다. 잘못된 발음으로 생성된 합성 오디오는 모델이 틀린 발음을 학습하게 만드는 독이 되기 때문입니다.
ASR 성능 평가: 단순 WER을 넘어, 엔티티 중심 지표로 판단하라
파이프라인을 통해 생성된 합성 오디오(JSONL 매니페스트)는 ASR 모델 평가에 바로 사용됩니다. 핵심은 전체 문장의 오류율(WER)만 보는 것이 아니라, 임상에서 중요한 엔티티(용어)가 제대로 인식되었는지를 별도로 확인하는 것입니다.
| 지표 | 측정 내용 | 스킬 활용법 |
|---|---|---|
| WER | 전체 문장 단어 오류율 | 전반적인 ASR 품질 신호 |
| CER | 문자 오류율 | 긴 임상 용어의 근접 오류 탐지 |
| KER | 핵심 엔티티(키워드) 오류율 | 워크플로우에 중요한 용어 인식 여부 확인 |
| SER | 문장 오류율 | 문장 내 오류 발생 여부 확인 |
주의사항: 합성 데이터의 한계 인식하기
이 워크플로우가 아무리 강력해도, 합성 데이터는 실제 임상 환경을 완벽히 대체할 수 없습니다. 배경 소음, 기계 알람, 마스크 착용, 원격 진료 마이크 등 다양한 음향 조건이 반영된 실제 데이터로 최종 검증은 반드시 필요합니다.
또한, 현재 이 방식은 특정 시드 용어를 기반으로 하기 때문에, 모델의 일반화 성능을 높이기 위해서는 더 다양한 문맥과 화자, 음향 변형을 포함한 확장이 필요합니다. 초기 단계에서는 '프로토타입 검증' 또는 '회귀 테스트' 용도로 활용하는 것이 적합합니다.
결론: 이제 임상 ASR 개발의 패러다임이 바뀔 수 있습니다
NVIDIA의 이번 에이전트 스킬은 단순한 코드 제공을 넘어, '어떻게 하면 임상 도메인에 특화된 ASR 모델을 체계적으로 개선할 수 있을까'에 대한 훌륭한 프레임워크를 제시합니다. 개발자는 복잡한 인프라 구축 대신, 대화하듯 스킬을 실행해 프로파일 기반 벤치마크 생성 → 발음 품질 관리 → 엔티티 레벨 평가 → 재학습 결정이라는 선순환 구조를 만들 수 있습니다.
이 방식은 국내 의료 IT 시장에서도 유용하게 쓰일 수 있습니다. 예를 들어, AI 기반 진료 기록 작성 솔루션을 개발하는 스타트업이라면, 이 워크플로우를 도입해 특정 진료과(예: 정형외과, 정신건강의학과)에 특화된 음성인식 성능을 빠르게 검증하고 제품 경쟁력을 확보할 수 있습니다.
다만, 이 기술을 도입할 때는 '발음 검토'라는 인간의 개입이 필수적이라는 점을 명심해야 합니다. 자동화된 파이프라인에 의존하기보다, 의료 전문가의 검토를 결합한 하이브리드 방식이 가장 이상적입니다.