[AI] YODAS v3: 110만 시간 스테레오 음성 데이터셋, 무엇이 달라졌나

음성 AI에서 모델 구조는 빠르게 바뀌지만 격차를 만드는 것은 대개 학습 데이터입니다. 2026년 9월 27일 ESPnet 팀이 공개한 YODAS v3는 110만 시간 규모의 오픈 다국어 음성 코퍼스로, 규모뿐 아니라 48kHz 고음질과 진짜 스테레오 비중을 내세웁니다. 이 글은 무엇이 들어 있고 무엇을 할 수 있으며, 어디까지 믿고 써야 하는지를 공개된 블로그와 논문 초록을 근거로 정리합니다.

왜 오픈 음성 데이터가 병목이었나

ESPnet 팀 블로그는 Whisper나 GPT-Live 같은 최상위 음성 시스템이 대규모 비공개 오디오로 만들어졌고, 오픈 연구 진영에는 비슷한 규모의 데이터가 가장 큰 장벽이었다고 설명합니다. 기존 오픈 자원은 각각 좁은 면이 있었습니다.

낭독체가 아닌 자연스럽고 시끄러운 대화 음성을 수백 개 언어에서 학습하려던 연구자는 쓸 오픈 데이터가 없었고, 첫 YODAS(약 37만 시간, 100개 이상 언어)가 그 공백을 메우려고 나왔습니다. 블로그에 따르면 v1은 파생 데이터셋 포함 580만 회 이상 내려받았고, IBM Granite, NVIDIA Canary·Parakeet, AI2 OLMoASR 같은 모델 개발에 쓰였습니다.

v3에서 달라진 것

블로그와 논문 초록이 밝히는 핵심 사양은 다음과 같습니다.

언어 수가 100개 이상과 147개로 다르게 적힌 것은 집계 기준이 블로그와 논문에서 다르기 때문으로 보이며, 이 글은 두 출처의 표기를 그대로 병기합니다.

샘플레이트와 채널을 믿을 수 있는 이유

웹에서 모은 오디오는 낮은 품질 원본을 업샘플링한 경우가 많아 파일 헤더의 샘플레이트를 믿기 어렵습니다. 팀은 헤더 대신 실제 주파수 내용으로 유효 샘플레이트를 추정해 메타데이터로 넣었다고 밝힙니다. 채널도 같은 접근입니다. 모노를 복제해 스테레오로 저장한 파일은 모노로 분류하고, 채널 사이에 측정 가능한 차이가 있을 때만 다채널로 셉니다. 사용자가 필요한 충실도로 직접 걸러 쓸 수 있다는 점이 숫자 자체보다 실용적입니다.

무엇을 할 수 있나

v1이 주로 음성 인식(ASR)용 자원이었다면 v3는 용도가 넓어졌다는 것이 팀의 주장입니다.

• 다국어 ASR·음성 파운데이션 모델: 블로그는 110만 시간이면 Whisper급(68만 시간 이상) 모델을 처음부터 학습하기에 충분하다고 말합니다.
• 음성 합성(TTS): 48kHz 데이터로 더 선명한 음질의 모델을 학습할 수 있습니다.
• 스테레오·공간 오디오 생성: 진짜 다채널 음성이 수십만 시간 규모로 공개된 것은 이번이 처음이라는 설명입니다. 지금까지는 소규모 스튜디오 데이터에 의존했습니다.
• 음성 번역: 타임스탬프 있는 영어 번역이 붙어 있어 오픈 음성-텍스트 번역 자원으로 쓸 수 있습니다.
• 정렬·자막: 단어 단위 타임스탬프로 강제 정렬이나 자막 생성 모델을 학습합니다.
• 코덱·음성 향상: 실제 녹음 환경에 가까운 고대역 데이터는 코덱과 향상 모델 학습에 적합합니다.

논문은 기준선으로 음성 인식 모델과 뉴럴 코덱을 직접 학습해 데이터셋의 효과를 보였다고 밝힙니다. 구체적인 수치는 이 글에서 검증하지 않았으니 도입 전에 논문 본문을 확인하세요.

쓰기 전에 알아둘 한계

가장 중요한 한계는 논문이 스스로 weakly-labeled(약라벨) 코퍼스라고 부르는 점입니다. 전사는 웹에서 수집한 자막 등에 기반하므로 사람이 검수한 정답이 아닙니다. 그래서 몇 가지를 감안해야 합니다.

1. 전사 오류 비율은 언어마다 다를 수 있습니다. 논문이 전사 품질 분석을 포함하지만, 쓰려는 언어의 품질은 샘플을 직접 들어 확인하는 편이 안전합니다.
2. 1,000시간 이상 확보한 34개 언어와 그 아래 긴 꼬리 언어의 데이터 양 차이가 큽니다. 블로그는 1,000시간을 독립 ASR 모델이 가능한 대략의 문턱으로 봅니다.
3. 웹 크롤링 기반이므로 화자 구성과 도메인이 편향될 수 있고, 라이선스는 CC BY 3.0이라 출처 표기가 필요합니다. 개별 영상의 권리 문제까지 해소된다는 뜻은 아닙니다.
4. 커뮤니티 댓글에서는 화자 전환 라벨이나 정렬 신뢰도 점수 같은 추가 주석에 대한 요청이 나왔고, 공개 시점 기준으로 이런 기능이 포함됐다는 근거는 확인하지 못했습니다.

어떤 경우에 고를까

범용 대규모 코퍼스는 특정 언어나 방언에 집중한 데이터와 쓰임이 다릅니다. 아프리카 언어나 아랍어 방언처럼 한 영역을 깊게 파는 프로젝트라면 전용 데이터가 먼저일 수 있고, 처음부터 다국어 모델을 학습하거나 TTS·코덱처럼 음질이 중요한 작업이라면 YODAS v3가 유력한 후보입니다. 한국어 모델을 만든다면 먼저 한국어 분량과 전사 품질을 샘플링해 보고, 부족하면 다른 코퍼스와 섞는 쪽이 현실적입니다.

참고 및 출처

• Hugging Face Blog, “YODAS v3: A 1 Million Hour Dataset for the Next Generation of Open Voice AI Research”, 2026-09-27
• arXiv:2609.29448, “YODAS v3: Over 1 Million Hours of High-Bandwidth, Stereophonic, Multilingual Speech”
• Hugging Face Datasets, espnet/yodas3