如何使用 Web 音频 API 防止语音转录中的说话者反馈
文章标签
转录
最近我需要弄清楚另一件事,将我的 assembly.ai 转录引擎连接到一个声音很大的前端。
这是我尝试过的:
- 请求具有回声消除功能的麦克风访问权限。
- 使用 web audio api 设置音频处理链。
- 将此设置与语音识别集成。
- 利用 dynamicscompressornode 进行额外的音频处理。
第 1 步:请求使用回声消除功能的麦克风访问权限
第一步是请求访问启用了回声消除功能的麦克风。此功能内置于大多数现代浏览器中,有助于减少扬声器的反馈。
async function getmicrophonestream() { const constraints = { audio: { echocancellation: true, noisesuppression: true, autogaincontrol: true } }; try { const stream = await navigator.mediadevices.getusermedia(constraints); return stream; } catch (err) { console.error('error accessing the microphone', err); return null; }}
解释
第 2 步:设置 web 音频 api 节点
接下来,我们设置 web audio api 来处理音频流。这涉及创建 audiocontext 并连接各种节点,包括 dynamicscompressornode。
async function setupaudioprocessing(stream) { const audiocontext = new audiocontext(); const source = audiocontext.createmediastreamsource(stream); // create a dynamicscompressornode for additional processing const compressor = audiocontext.createdynamicscompressor(); compressor.threshold.setvalueattime(-50, audiocontext.currenttime); // example settings compressor.knee.setvalueattime(40, audiocontext.currenttime); compressor.ratio.setvalueattime(12, audiocontext.currenttime); compressor.attack.setvalueattime(0, audiocontext.currenttime); compressor.release.setvalueattime(0.25, audiocontext.currenttime); // connect nodes source.connect(compressor); compressor.connect(audiocontext.destination); return { audiocontext, source, compressor };}
解释
第 3 步:与语音识别集成
最后,我们将音频处理设置与 web speech api 集成以执行语音识别。
async function startSpeechRecognition() { const stream = await getMicrophoneStream(); if (!stream) return; const { audioContext, source, compressor } = await setupAudioProcessing(stream); const recognition = new (window.SpeechRecognition || window.webkitSpeechRecognition)(); recognition.continuous = true; recognition.interimResults = true; recognition.onresult = (event) => { for (let i = event.resultIndex; i { console.error('Speech recognition error', event.error); }; recognition.start(); // Handle audio context resume if needed if (audioContext.state === 'suspended') { audioContext.resume(); } return recognition;}// Start the speech recognition processstartSpeechRecognition();
解释
希望您发现这很有用。
快乐编码!
蒂姆.