深夜など決まった時間帯に問いかけ伝言からの通知をオフにできますか？

アプリへの通知をオフにすることはできません。
ただし、問いかけ伝言を送信する際に着信音声は「なし」、お知らせLEDを「点灯しない」に設定して送信すると音声は鳴らず、LED点滅しない状態でアプリに通知されます。