Tensorflow.js tf.data.microphone()用法及代码示例

Tensorflow.js是Google开发的开源库，用于在浏览器或节点环境中运行机器学习模型和深度学习神经网络。

tf.data.microphone() 函数用于生成迭代器，该迭代器使用浏览器的本机 FFT 从麦克风音频流创建 frequency-domain 频谱图张量。

注意：

• 此代码仅在设备带有麦克风时有效。在运行此 API 时，它会要求允许打开麦克风。
• 此 API 仅适用于浏览器环境。

用法:

tf.data.microphone (microphoneConfig)

参数：此函数接受如下所示的参数：

• microphoneConfig:MicrophoneConfig 对象包含从麦克风读取音频数据的配置。它是一个可选参数。

该对象包含一些在下面指定的配置：

1. sampleRateHz:它的范围在 44100 和 48000 之间。
2. fftSize:它是一个数值，必须是 2 到 4 和 2 到 14 之间的 2 的幂。
3. columnTruncateLength:它是一个数值。
4. numFramesPerSpectrogram:它是一个数值。
5. audioTrackConstraints:它是 MediaTrackConstraints。
6. smoothingTimeConstant:它是一个数值。
7. includeSpectrogram:它是一个布尔值。
8. includeWaveform:它是一个布尔值。

返回值：它返回一个 MicrophoneIterator。

范例1：运行以下代码后，它会请求启动麦克风的权限。授予权限后，下面的代码将返回并给出输出。

// Importing the tensorflow.js library
import * as tf from "@tensorflow/tfjs"
  
// Calling the .data.microphone() function
// with its parameters
const mic = await tf.data.microphone({
   fftSize:1024,
   columnTruncateLength:32,
   numFramesPerSpectrogram:10,
   sampleRateHz:43000,
   includeSpectrogram:true,
   includeWaveform:false
});
  
// Capturing the data recorded by mircophone
const audioData = await mic.capture();
const spectrogramTensor = audioData.spectrogram;
  
// Printing the data like sampling rate 
// expected and actual
spectrogramTensor.print();
const waveformTensor = audioData.waveform;
waveformTensor.print();
  
// Stopping the microphone
mic.stop();

输出：它给出了一个错误，因为这里预期的采样率为 43000，但实际记录的值为 48000。

An error occured
Mismatch in sampling rate:Expected:43000; Actual:48000

范例2：运行以下代码后，它会请求启动麦克风的权限。授予权限后，下面的代码将返回并给出输出。

// Importing the tensorflow.js library
import * as tf from "@tensorflow/tfjs"
  
// Initializing the configurations of 
// reading audio data from microphone
const x = {
   fftSize:1024,
   columnTruncateLength:32,
   numFramesPerSpectrogram:10,
   sampleRateHz:48000,
   includeSpectrogram:true,
   includeWaveform:false
};
  
// Calling the .data.microphone() function
// with the parameter specified above
const mic = await tf.data.microphone(x);
  
// Capturing the data recorded by mircophone
const audioData = await mic.capture();
const spectrogramTensor = audioData.spectrogram;
  
// Creating an iterator that generate frequency-domain
// spectrogram Tensors from the microphone
spectrogramTensor.print();
const waveformTensor = audioData.waveform;
  
// Stopping the microphone
mic.stop();

输出：

  Tensor
    [[[0        ],
      [0        ],
      [0        ],
      ...,
      [0        ],
      [0        ],
      [0        ]],

     [[0        ],
      [0        ],
      [0        ],
      ...,
      [0        ],
      [0        ],
      [0        ]],

     [[0        ],
      [0        ],
      [0        ],
      ...,
      [0        ],
      [0        ],
      [0        ]],

     [[0        ],
      [0        ],
      [0        ],
      ...,
      [0        ],
      [0        ],
      [0        ]],

     [[0        ],
      [0        ],
      [0        ],
      ...,
      [0        ],
      [0        ],
      [0        ]],

     [[0        ],
      [0        ],
      [0        ],
      ...,
      [0        ],
      [0        ],
      [0        ]],

     [[0        ],
      [0        ],
      [0        ],
      ...,
      [0        ],
      [0        ],
      [0        ]],

     [[0        ],
      [0        ],
      [0        ],
      ...,
      [0        ],
      [0        ],
      [0        ]],

     [[0        ],
      [0        ],
      [0        ],
      ...,
      [0        ],
      [0        ],
      [0        ]],

     [[-Infinity],
      [-Infinity],
      [-Infinity],
      ...,
      [-Infinity],
      [-Infinity],
      [-Infinity]]]

参考：https://js.tensorflow.org/api/latest/#data.microphone