南スーダンでのPKOの経験が基に

 続いては、AI連携コンサートの舞台裏を見てみよう。相原さん、上塚さんの間で、コンサートの最初のコンセプトが固まったのは2018年の夏ごろ。この時点で、「0歳からのコンサート」と「パソコンによるオーケストラ演奏」という方針が決まっていたという。

 ホルンの相原さんは自衛隊の音楽隊の出身。PKO(国連平和維持活動)の後方支援要員として、2014年に南スーダンに派遣された経験がある。その際、現地にいた3人の音楽隊のメンバーだけで演奏する機会が多くあったそうだ。ただ、3人で演奏できる楽器は、キーボード、フルート、オーボエ、ホルンだけ。そこで、パソコン上で作成した音楽データを日本から送ってもらい、スマートフォンとスピーカーをつないで再生。これによって、さまざまな曲を表現力豊かに演奏することができたという。この経験から、「今回のコンサートを企画した時に、南スーダンでの経験を基に、パソコンでオーケストラの演奏を再現したいと考えた」(相原さん)。

 演奏者二人の依頼を受けてオーケストラの演奏データを作成したのは、作・編曲家の大西由峰さん。複数の楽器の音色をコンピューターで組み合わせて、生のオーケストラのような演奏データを作り上げた。

PKO(国連平和維持活動)の要員として南スーダンに赴任していた時の相原さん。首都ジュバの国連キャンプでの演奏(2014年7月、陸上自衛隊提供)
[画像のクリックで拡大表示]
ジュバの児童養護施設でのクリスマス演奏会。現地にいる3人の音楽隊員による演奏(2014年12月、陸上自衛隊提供)
[画像のクリックで拡大表示]
ジュバの児童養護施設で竹馬を教える相原さん(2014年11月、陸上自衛隊提供)
[画像のクリックで拡大表示]

2018年10月からの3カ月間で準備

 コンサートでの「ふくまろ」との連携というアイデアが生まれ、演奏者二人とFCCLとの間で最初のミーティングを開催したのは2018年10月17日。ここからの3カ月間で、コンサートに向けた準備を進めることとなった。

 「ふくまろ」との連携について、最初に方針として決まったのは「音声認識やオーケストラの演奏は『ふくまろ』の機能で実現する」ということ。舞台裏でスタッフが操作するのではなく、演奏者とのやり取りはパソコンの中の「ふくまろ」が担う。本番で、演奏者の声を認識できなかったり、画像や動画などの再生が滞ったりすると、コンサートが台無しになりかねない。コンサートホールの環境の中で、どうやって演奏者と「ふくまろ」とのスムーズなコラボを実現するかが課題だった。

 通常、「ふくまろ」はパソコンの内蔵マイクで音声を認識し、パソコンのディスプレイとスピーカーで画像や動画などを再生する。本番では、舞台上のマイクから会場の音響装置を介してパソコンに音を入力、パソコンからはUSBオーディオ経由で音響装置に音声を出力し、ホールのスピーカーから音を流した。映像は、パソコンのHDMI出力をプロジェクターに接続し、ステージ後方のスクリーンに投射した。

コンサート会場での機器の接続図。パソコンで再生したオーケストラの演奏は、USBオーディオと音響装置を介してホールのスピーカーから流した
[画像のクリックで拡大表示]
使用したノートパソコン。「ふくまろ」の映像はマルチディスプレイの別画面に出力し、HDMI経由で会場のプロジェクターから投射した
[画像のクリックで拡大表示]
2019年1月17日に実施したリハーサル。当日と同じ手順で「ふくまろ」とのやり取りを確認した
[画像のクリックで拡大表示]