Raindance Immersive 2024 Best Live Show部門最優秀賞受賞作品のライブパフォーマンス「Connected Waves: VR Jazz Session」ができるまでの記録です。
7/1 Best Live Show部門で最優秀賞を受賞しました！ありがとうございます！ことのはじまりに追記、受賞の話を一番下に追加しました。
ことのはじまり
2023年9月から弊ワールドBlue RondoでEMN JAMという定期ジャムセッションがはじまった。これは私が所属しているEMN Records（イーエムエヌレコード）というバーチャル音楽コミュニティが主催しているイベントだ。ジャズを中心に飛び入り参加可能なジャムセッションで、SYNCROOMを使ってそれぞれ遠隔で演奏している。こうしたバーチャルのセッションイベントは海外では珍しい。
2023年12月、Raindance 2023の閉会式でジャズバンドでパフォーマンスをして海外の方にもっとアピールできると手応えを感じたSheenaさんと、VRでの活動を色々展開したいEMN Records側と目的が一致し、Raindance Immersiveに出展するための準備が始まった。
「やるからには受賞目指しましょう」そう私が声をかけた。2年前に私の所属するVRChatワールド探索部でRaindance Immersiveに招待していただいて、キュレーターも参加者も並々ならぬ情熱をかけていることは知っていた。私はVMoVA※と並んで恥ずかしくないものにしたかった。Raindance Immersive 2023 Best Immersive Art Experienceの受賞作。好きな作品のひとつ
まずはコアのチームメンバーにVR演出について考えてみたなどの記事を読んでもらった。過去の受賞作やCUE[Archive]やBeyond a bitなどの推奨ワールドも見てもらい、どういうことを考えているのかを共有した。そして、コンセプトをいちから考えた。
コンセプト
相互作用
ヒトの視覚と聴覚の認知には相互に影響を与えている。位置や方向の手がかりに関しては視覚のほうが優位で、ダミーのスピーカーを置いた場合そこから音が鳴っていると錯覚してしまったりする。※タイミングの手がかりは聴覚のほうが優位
視覚が音楽へ与える影響は強く重要な要素だ。問題は何をどのように視覚表現するかである。
ジャズには即興演奏があり、インタープレイ（Inter-play, 相互作用, Inter-actionとほぼ同義）が醍醐味のひとつだ。
他の演奏者のコードやリズム、意向をよみとって瞬時に反映させたり、合いの手をいれたり、曲全体の流れを作ったりしている。リアルの場合は音以外にもアイコンタクトや身振りで伝えたりすることもあるが、VRの場合はトラッキングの精度や遅延があり難しい。
お客さんとも相互作用（Inter-action）があって、合いの手的にいれるイェーみたいな掛け声、ノリがよければ演奏や即興も熱を帯びてきて好循環が生まれる。リアルで開催しているつゆぽんさん主催のセッション会はそういう雰囲気がある。その空気感をVRで出すためにはどういった要素が必要なのかを考えた。
根本は人が作っている。演奏のよさ、ホストの気配りやコンセプトや思想に基づいた態度、参加者の積極性、人が人とつながり熱気を生む。VR SNSにおいても人がいるから人がくる。どうやったら人が集まるかは偶発性が高くコントロールが難しい要因である。そもそも設計やコントロールすべきことではないのかもしれない。VRChatのCreate, Share, Playという標語から分かるが、ユーザーに自発的な行動を委ねている。押し付けがましさがないから自分たちで作っていけて面白いといえる。しかしそれだけでは広がらず、面白がることと、面白そうだって思わせる何かが必要になる。
ちょっと話が脱線した。ジャズのインタープレイは正直に言えば、言語化しにくく分かりにくい要素だ。ここが敷居の高く感じる点なのは否めない。とはいえ、PC環境さえ整っていれば、VRはいろんな人に気軽に聴きに来てもらいやすい状況でもある。
このインタープレイによる変化をジャズに普段馴染みのない方にとっても分かりやすくするために、視覚表現を加えることが有効なんじゃないかというのが発想のもとである。VRで演奏するとき、ワールド音声から音を鳴らしていると誰が音を出してるのかすら分からない。プレイヤーそれぞれが発している音を視覚的に捉えられるようにすれば、リアルのライブを見る際の臨場感に近いものが感じられるかもしれない。
生命の徴候、努力している感じ
何を表現するかにあたってヒントになったきっかけがいくつかある。
はじめは、2022年12月に「ライブのライブ感ってなんだろうね」というトピックについて、かわうそさんのこじんまりした小料理屋のワールドで数時間にわたってタカオミさんたちと議論していた。あえて失敗したり、観客の反応によって分岐するとか話が出た。このとき結論は出なかったが、ライブについて考えるきっかけのひとつになった。ここでの話はタカオミさんがCIELライブを手掛ける布石であった。のちにRaindanceのライブパフォーマンス部門の審査員にもなったと考えると面白いめぐり合わせである
その時の様子。らくとあいすさん、三日坊主さん、isagenさん、かわうそさん、よーぐるとさん、Nyolfenさんがいた次に、隔週で『コンピュータ音楽』という1000ページ超の本(通称：鈍器)をVRChatで知り合った音楽仲間と輪講している。興味深かったのが第14章「音楽入力装置」の冒頭で「楽器は演奏家のインターフェイス（inter-face）であり、生命の徴候（signs of life）を音楽に吹き込む。生命の徴候とは呼吸、体のリズム、努力している感じ、動き、感情である」（筆者要約）と書かれていたことだ。ライブ感で大事なのはまさに「努力している感じ」だと思った。原語はsense of effort、近いところで言うと緊張感みたいなところも含まれると思う。
もうひとつ、今年1月初頭のつゆぽんさん主催のEMNリアル合宿でのことだ。ジャズセッションにおけるリズムは演奏者個人が持つパルス（波長）を合わせていくのが大事だという話を聞いた。これは前述の生命の徴候の呼吸、体のリズム、動きが該当している。音楽は一体感を醸成するために役割がある。ジャズは黒人奴隷の音楽がルーツであり、奴隷として連れてこられる以前のアフリカの出身地や部族が違えば言葉も違うわけで、あいだを繋いだのは音楽であった。このパルスを合わせるというのは、音が純粋に物理的な振動の波であるならば、深海のゆらぎから生命が生まれたときからあったはずだ。
表現するなら波で決まった。セッションメンバーやスタッフ、お客さんとの人と人とのつながり。最初の生命から、いまこの瞬間で発火し、即興で生みだされた音の波までのつながり。Connected Waves。私がとっさに思いついた名称。キュレーターのMariaがいたく気に入ってそのまま採用された。
会場設計
名前はBlue Rondo: Bathys。深海もいくつか層に分けられていて、漸深層bathypelagic zoneの語源である古代ギリシャ語のBathys（βαθύς＝深い）から取ってる。他の層のabyssとかhadesとかだと仰々しいイメージがあるので避けた。
会場は中心を囲む形にするのはすぐ決まった。セッションやるなら向かい合って演奏するのが一番いい。
現実だとハウリングとかリスニングポイントが定めにくいとか音の関係で難しい配置だけどもVRの場合は問題ない。
いや、VRでも音は難しい。中心に音源を置いた場合離れるとモノラルになってしまって音の広がりが出にくいのだ。壁の外にLR逆のスピーカーを追加して音の回り込みを再現し、2mixで補完することで回避した。
現実ならまずは消防法や人の安全性を確保しなければならないが、VRなら表現に必要ないものは置かなくて済む。安全用の柵だとかは設置しなくていいのでステージをフラットにできる。お客さんとの境目は必要ない。エフェクトや奏者の動の部分との対比を効かせるために、空間はシンプルで無機質にした。質感はリアルにして実在感を出している。
エフェクト
エフェクトの制作は定期セッションにも来ていて以前から注目していたRenardさんにお願いした。まずはRenardさんが得意とするライブコーディングとジャズセッションの組み合わせを試験的にやってみたところ、演奏のインタープレイに即座に反応するのは難しそうだったので、試作してあった紐状のエフェクトを使うことにした。
制作は画面共有しながらほしい機能はその場で実装してもらうライブコーディングスタイルで行われた。波の変形、フォグや色や明るさの調整などの機能を追加し、それらをmidiコントローラーを使って即興演奏に合わせてリアルタイムでエフェクトを操作することが可能になった。
Photo by Kaerun.音の感じ方が視覚に影響されると前述したが、何を出すかより何を出さないかのほうが重要だと思う。空間を飽和させようとするといくらでもできて、飽和したものは工夫がないとすぐ飽きるからだ。Butterflyという曲のときに蝶のパーティクルを出すのは簡単だが、安易な発想な気がして避けている。あの曲を聴くと情景がありありと浮かぶので、それを邪魔しないようエフェクトも光とフォグのコントロールだけにしている。
エフェクトの機能として各演奏者の近くで波形を出す仕組みになっている。VRで演奏していると誰が音を出してるか分かりにくいからだ。この仕組みは私が作成した。やっていることとしては以下の通りだ。
- SYNCROOMのパラアウト機能を使ってDAWで各奏者をトラックごとに分割
- 各トラックからルーティングしてTouch Desiginerに音声を入力する
- 音声データをバンドパスフィルタでLow, Mid Highの3つの帯域に分割
- 各帯域の振幅を数値化
- midiデータのVelocityに変換
- midiデータをloopmidiに渡す
- loopmidiからワールドに渡す
- midiデータをUdonで処理しシェーダーに数値を渡す
波形位置とSYNCROOM入室順が紐づいてるので、ワールドの楽器位置もメンバー入れ替わりの順番も決まっている。SYNCROOMの入室が分かりやすいように、入れ替わり中にピアノとギターはアドリブ演奏をしていて、スタンバイできた人が音を重ねて合図代わりにするやり方で行った。
キービジュアル
ロゴはWIREDや西脇電音工学などかっこいいロゴを作っている生物さんに依頼した。ジャズのレトロさよりも抽象的なかっこよさ、敷居高くなりすぎないようなほんの少しの親しみやすさを求めていたので適任だと思った。
コンセプトを簡単に説明してまずはラフを作ってもらった。イメージどおりのかっこいいロゴができあがってテンションが上がった。いいイベントはいいロゴから。可読性が低いところが作った本人も気になる点ではあったが、抽象度高めのイベントであるし、VR Jazz Sessionの副題読めば内容は分かるので問題なかった。むしろ単純なタイトルに興味を惹きつける奥行きが出てよかった。
次にフライヤーやサムネイルに使う撮影が必要だった。演奏は固定メンバーじゃないので誰かをフューチャーするのは違う気がした。しかし題名から言って人はいたほうがいい。そこで建築の写真みたいに長時間露光によるブレでぼかすのがいいと思いついた。撮影には長時間露光で撮れるsuzukiさんのIntegralカメラを使用。生物さんが連射して撮ったものをあとから合成して使ったりもしている。撮影も編集も生物さんと共同作業した。ノミネートから提出までの期間が短くて、ギリギリまで詰めた思い出…
動画撮影
ノミネートが決まってから10秒のティザー動画（必須）と1分前後の動画（任意）が必要になった。引きの構図では事前にCinemachineでドリーを組み、アップの構図はSomelさんと私で手持ち撮影した。
実際に演奏してもらってるときと当て振りで撮った。VRでの撮影に不慣れで収録に時間がかかってしまった。編集は私がDavinci Resolveで行った。撮影時のアバターの明るさが不統一なのと回転するカメラが原因でマスクを切るのが大変だった。ほぼ1フレームごとに修正している。
アバター
会場の雰囲気に統一感を出すために、演奏者メンバーの使用するそれぞれのアバターに調整をする必要があった。アバター改変についての知識はメンバーによってはまちまちなので、アバター調整のドキュメントを作って、リハ後にDiscordで画面共有を見ながらサポートした。ライティングで重要なのは影のほうだったり暗くなることのほうだ。可能であれば破綻が少なく調整しやすいliltoonにしてもらってModular Avatar対応の明るさ調整メニューを導入してもらった。
VRで遊んでいるときに、みんなで鳩とかケセランパサランとか謎の生物アバターになると、個性を失って匿名性を帯びる。それがVRらしくて好きで、今回の会場ではクローン可能なクラゲアバターを用意した。負荷対策も兼ねている。Audio Linkにも対応しているので演出の一部でもある。
クラゲアバターとRenardさん。ヒトモシクラゲがモデル曲
2023年12月からアムニェカさんが中心となって、演奏メンバーが作曲したオリジナル曲をまとめたり、譜面に起こす作業が進められていた。
演奏時間を1時間分もらえたので3曲ずつの交代にして9曲やることになった。会場に音を配信するのはピアノのKosukeさん担当、エフェクトのMIDIデータ送信をギターのアムニェカさん担当として、ベースとドラムとフロントが交代していく仕組みだ。
候補に上がったセットリストを眺めてみると全体的に落ち着いた曲が多くて、私は打楽器という立場上、どの曲でも演奏に加わることが難しそうだった。
それならクライマックスの盛り上がる曲を作ってしまおう。イギリスの映画祭なのでイメージはアフロビートベースのUKジャズで、ベースとドラムパターンは秒で浮かんだのでDAWにすぐさま打ち込んだ。コードはFminor一本（のちにFmajorも足された）のシンプルなものでリズムループにのれるダンサブルな曲。曲名もすぐに浮かんだ。Roundabout。環状交差点のことだ。ロンドンは渋滞がひどいらしいので、渋滞にハマってぐるぐる回る曲にした。解決感のないコード進行や円型の会場にもぴったりだ。
初回リハをしたときに、Sheenaさんがシャカタクみたいだからコーラスをつけようと提案してくれた。これがエンディングのお祭り感と80年代のUKジャズファンクと現代のUKジャズで一本文脈がつながってよかった。リードのギターフレーズが全然浮かばなかったので、あとは譜面作成諸々アムニェカさんにお任せすることに。
公演当日
当日のギリギリまでワールドの作業を詰めていた。演奏自体は手慣れた人たちだから心配はなかったが、演奏以外のメンバー入れ替えや進行部分がちょっと煩雑だったし、ネットワークやワールドの不具合がないかで気が気がではなかった。トラブルはいくつかあったが、みなさんの協力もあって無事に終えられた。
演奏中はエフェクトの操作に集中してて一瞬で終わった感覚だった。Q&Aでは有意義な質問がたくさん飛び交い楽しかった。
演奏者が12人いてリアルタイムで演奏・演出をやる、そのライブ感が伝わったようでよかったです。1ヶ月の期間に5回の公演を行った。
Photo by Kaerun今後の技術的な課題
モーションと音とのズレがあって、そこがライブ感を阻害してるので、ローカルでのモーション調整ディレイ機能がほしいなと思いました。既存の技術を組み合わせればできる気はしている。あとは環境的にトラッキングが難しい人のモーション補助とか。あとは動画の撮影をスムーズにいい感じにできるようにしたい。
感想
私自身はコンクールとかコンペとか競争的なのは（評価基準は色々あってもいいし、評価するほうも作るほうもある程度一点に収束してしまうので）好きじゃないけれども、高校のとき吹奏楽の部活の顧問に「コンクールはこれだけ長期的に曲に取り組むことってないからいい練習になる」と言われて、これには納得してて。チームで長期的に取り組んだことでいい経験になったし方向性や課題など見えてきた。Raindanceでコミュニティを形成していて、他のノミネート作品を見たり、クリエイター同士で交流する機会になってるのもとても意義のあるものだと思う。
メンバー
チームプレイじゃないとできない作品でした。お互いサポートやフォローを率先して自発的に動いてもらって感謝しかないです。
幹部
Photo by Kaerun. 左からアムニェカさん、私、Somelさん、SheenaさんプロデューサーのSheena_baobabさん。Raindance側とのやりとり、情報共有、ホスト、台本制作、翻訳周りを担当。国内外のいろんなコミュニティの人から愛されまくっていて、コミュニケーションが円滑に進む進む。すごい天然ボケなときもあるけれど、言うことが本質的なところを捉えていたり情報共有も早くて助かりました。
プロデューサーと音楽監督のアムニェカさん。セットリスト、デモ音源作り、譜面作成、演奏メンバーの進行表やリハ等のスケジュール管理、Raindance側とのやりとり、雑務全般。まとめ能力はさすがEMN Recordsの主催。短期間で20曲ほどの譜面作ったりでどうなってんねんって思うけど、まあ、アムニェカさんはインテリやからね。
SomelさんはPRや動画撮影、テスト、壁打ち、困ったときの相談や私のずさんなタスク管理のケツ叩きなどのサポート担当。提案がいつも的確で、センスもいいし気配り上手で、いるとうまく回るありがたい存在。目立ちにくい活躍なんですがほんとに助かりました。
私tktkは諸々のディレクション、コンセプト、ワールド制作、アセット制作、ギミック実装、エフェクトの調整、シェーダージョッキー、アバター制作、アバター調整、音響調整、キービジュアル制作、動画撮影等作るの全般。なければ作る、ぜんぶやるんだよの精神。
翻訳担当
Photo by Kaerun. 左がpotatoさん, 右がKay Alpakaさんpotatoさんは質問の和訳を担当してくれました。訳は分かりやすくコミュニケーションも上手で助かりました。歌詞の英訳にも参加しています。情景がうかぶような美しい英文です。
Kay Alpacaさんは回答の英訳を担当してくれました。リハの内容のまとめをやってもらったりもしました。私のまとまってない話を自然な英文の構成に組み替えて伝えてくれました。お二人とも簡潔で伝わりやすい翻訳をしていて感動しました。
演奏者のみなさん
- ピアノ Kosukeさん：キービジュアル撮影やら音配信やら率先して協力頂いて大助かり。ムーブのかわいさと演奏のスリリングさのギャップよ
- サックス 初吹音さきさん：毎週実家帰りして演奏していることに申し訳なさも感じつつ、いつも素敵な演奏で実家のような安心感がある。さきさんがいなければいまのVRのジャズシーンはなかった
- ベース コジローさん：試作の段階から協力してくれてました。沖縄に引っ越し後もこうやって参加してもらえてうれしいかぎり
- ベース のむさん：多忙で体調悪いなか参加して頂いてありがたいかぎり。Butterflyのベースソロ好きです
- ベース Kidouさん：積極的に撮影やリハ代役に参加してくれたり、演奏はいつも盛り上がるしサポートもバッチリで頼りになります
- ドラム STomさん：SYNCROOMの情報共有してくれたり急遽の代役をこなしてくれたり困ったときはお互いさまという素敵な大人
- ドラム やすこさん：ほんとにジャズ初心者かっていうぐらいのソロ回しで聴きごたえありました。初日のことは誰も気にしちゃいない
- ドラム つゆぽんさん：アフロビート瞬時に理解して叩けるのさすがっす。ステージ外でも楽しそうで盛り上げてくれました
- ドラム にしCOさん：リハや15日の代役してくれたり、初見でそつなくできてすごすぎる。またよろしくお願いします
- ピアノ らくとあいすさん：VRジャズセッションのはじまりJazz In VRCの一人として呼びました。相変わらずラテンうまい
- ドラム Yuki Hataさん：Jazz In VRCの一人として呼びました。久しぶりにジャズやるYuki Hataさん見れてよかった
制作スタッフ
- グラフィックデザイン 生物さん：タイトなスケジュールにも関わらずクオリティ追求してくれてありがとうございました。美しいデザインになったと思います
- エフェクト制作 Renardさん：これ追加しますか？ってたくさん提案してくれたりありがとうございました。ほしい機能が高速でできあがっていくのが楽しかった
- 動画撮影 nekさん：動画撮影やったことないのに急遽頼みました。ありがとう
Photo by Kaerun
Raindance Immersiveに関わるみなさんにもたくさん助けられました。とくにキュレーターのMaria, Tropi, Jo_Leigh, Fangsには親身になってやり取りして頂けました。
それとKaerunがたくさん写真を提供してくれました。自分じゃ撮れないのでいつも助かります。
来ていただいたお客さんもありがとうございます。お客さんの雰囲気で変わるので色んな方が来られるのをいつも楽しみにしてます。
受賞
6/30 0:00授与式当日。この発表前のドキドキ感はいつぶりだろう。吹奏楽コンクール以来かもしれない。受賞するつもりで作ってたし自信はあった。不安があるとするならば私の詰めの甘さである。ダメならすべて私の責任だ。
Connected Wavesの名前を呼ばれたときはあんまり実感なくて、じわじわと嬉しさがこみ上げてくるものがあった。審査員からコメントをもらえて、意図したところをちゃんと評価されてたのが嬉しかった。用意してきた短い英文のスピーチを読み上げた。人生思うに任せないことばかりだけど、人と人がつながって作品を作り上げる美しい瞬間もあるよと話した。
Photo by Joe HuntingこうしてRaindance Immersive始まって以来、最優秀賞を受賞した唯一の日本チームになった。大変光栄です。私調べ、おそらく。Raindance Spritsという特別賞は昨年Capsule live IN VRCHAT: metro pulseが受賞している
ディレクションが間違ってなかったことと、チームメンバーに恵まれたことがよかった。ほんと。ありがたいことに自分の周りには優れたディレクターやアーティストがたくさんいて、全然まだまだだなと実感します。もっといい作品作れるよう、よく観察し考え地道にやっていきます。
会場のBlue Rondo: Bathysはたまに使おうかなと考えてます。公演はさすがに5回やって演奏者が飽き飽きしてると思うので内容は同じじゃないかもですけど、そのうちやるかもしれません。
