ああそうか、台詞の母印をすべて拾って、音声の秒数に合わせて母印の口を表示すればいいんだ。
「a」「i」「u」「e」「o」はそれぞれの口を用意して、「nn」は「ng」は半口でいいよね。
子音の単音は閉じるにすればいいから、そういう音声テキストを用意すればいいよね。
そうすることでそれっぽい動きになるはず。
多少誤差があっても一つ一つあわせるよりリアリティがあるはず。