AudioReactive

AIと読む
全ドキュメントを1ファイルで(llms-full.txt)
AudioReactive #Audio #ノード
AudioReactive

入力デバイス(マイク/ループバック)の音を解析して、映像を動かすための値を出すノードです。Audio LevelBass / Mid / Treble は同じ音声ストリームを共有する4本のレベルトラッカーで、帯域はそれぞれ LowPass / BandPass / HighPass フィルタ違いです。ノード上のドロップダウンで入力デバイスと、Audio Level 側にかけるフィルタ(既定は Bypass)を選びます。

パラメータ

  • Dynamic Range — 正規化の窓幅(dB)。0〜40にクランプ、既定20
  • Fall Speed — レベルの落ち方。0〜1にクランプ、既定0.5
  • Auto Gain — 既定ON。ONのときGainは使われません
  • Gain — Auto Gain OFF時のみ有効な線形倍率(既定0.5)。内部でdBに変換され、1.0が±0dB、2.0が+6dB、0.5が-6dBです
  • Onset Sensitivity — 既定1。大きいほど鳴りにくくなります(しきい値が上がる方向)

Onset と Hit の違い

  • Onset — スペクトラルフラックス(512ビン)が直近43フレームの平均 × (1 + Sensitivity) + 0.01 を超えたら発火。音色の変化ベースの自動検出で、不応期0.1秒で連打を抑えます
  • HitAudio Level がしきい値(ノード上のメーターで直接ドラッグして設定、既定0.6)を上向きに跨いだ瞬間だけ発火する決定論的なトリガーです。0.05のヒステリシスがあり、一度下回るまで再発火しません

ノードUIのメーターは、緑がLevel・赤がしきい値超過分・白ティックがピークホールド、右端のLEDがOnsetの発火です。折りたたみの「Tune」を開くと生の入力dB軸の上にAuto Gainの正規化窓が重ねて表示され、Dynamic Rangeがどこを動かしているか確認できます。

保存されたデバイスIDが見つからない場合や未選択の場合は、一覧の先頭デバイスが選ばれます。

入力ポート

Port ID
Dynamic Rangefloat
Fall Speedfloat
Auto Gainbool
Gainfloat
Onset Sensitivityfloat

出力ポート

Port ID
Audio Levelfloat
Bassfloat
Midfloat
Treblefloat
Onsettrigger
Hittrigger

スクリプトから設定可能なメンバー

パス
dynamicRangeInputfloat
fallSpeedInputfloat
autoGainInputbool
gainInputfloat
sensitivityInputfloat
dynamicRangefloat
fallSpeedfloat
autoGainbool
gainfloat
currentDeviceIDstring
currentAudioLevelfloat
peakLevelfloat

Synapse Apps(スクリプティング)

await synapse.modules.create({ type: "AudioReactive" })

このページへのリンク