AIと音楽の融合は、我々の創作活動にどのような可能性をもたらすのか。その中でも「ライブコーディング」という即興性と技術が融合した音楽パフォーマンスの実践において、人間と機械の役割はどのように変化しつつあるのだろうか。
Anna Xambó & Gerard Roma「Human–machine agencies in live coding for music performance」（2024）によれば、ライブコーディングは、人間と機械が音楽制作の過程で協力し合う一つの舞台を提供する。この研究では、ライブコーディングにおける人間と機械のエージェンシー（主体性）の関係性を掘り下げ、その特性を明らかにしている。
ライブコーディングとは、プログラミングコードをリアルタイムで記述し、それを即座に実行して音楽を生成するパフォーマンス形式である。この技術はアルゴリズミック音楽の一分野として発展してきた。従来の音楽パフォーマンスと異なり、観客はパフォーマーの画面上のコードを目にすることで、音楽がどのように構築されているかを視覚的にも体感することができる。この「プログラムを書く」という行為が、即興演奏の一環となり、音楽と技術が深く結びついた新しい表現形式を生み出している。
この研究では、ライブコーディングが音楽パフォーマンスに与える影響を、AI技術やデータ駆動型のツールを取り入れた視点で再定義している。たとえば、ライブコーディングにおける「エージェンシー」は、単なる人間の創造性にとどまらない。プログラムが自律的に意思を持つかのように振る舞い、音楽制作のプロセスに貢献する。このプロセスは、人工知能や機械学習を活用することでさらに複雑化し、人間と機械の相互作用がより豊かなものとなる。
論文では、20世紀後半から21世紀初頭にかけて発展してきたインタラクティブ音楽システムや新しい音楽表現のためのインターフェース（NIMEs）にも言及されている。これらの技術の進化は、ライブコーディングの即興性とパフォーマンス性を支える基盤となっている。たとえば、プログラムされたエージェントが人間の演奏に応答し、さらなる創造的な刺激を与えることが可能となっている。
AI技術の導入によって、ライブコーディングは単なる技術的実験から、深い芸術的実践へと変貌を遂げた。この研究は、ライブコーディングが音楽だけでなく、インタラクティブアート全般における新たな表現の可能性を切り開く鍵であることを示している。
人間と機械のエージェンシーの概念
エージェンシーとは何か
エージェンシーとは、一般に「主体性」や「行為能力」を指し、特定の状況において行動を起こし、影響を及ぼす能力を意味する。人間におけるエージェンシーは、意識的な意思決定や行動に基づくものとされるが、機械やアルゴリズムが高度化するにつれ、これらもまた「エージェント」としての役割を担うようになった。特に音楽のような創造的な分野においては、人間と機械が相互に影響し合いながら音楽を生成する場面が増え、エージェンシーの概念が再定義されつつある。
Xambó と Roma は論文で、ライブコーディングを通じて、人間と機械のエージェンシーがどのように交錯し、新しい音楽表現が生まれるのかを探求している。この研究は、「Actor-Network Theory（アクター・ネットワーク理論）」に基づいて、エージェントを単に人間に限定せず、機械、データ、アルゴリズムといった非人間的要素も含むものとして捉えている点が特徴的である。
ライブコーディングにおけるエージェンシーの役割
ライブコーディングでは、パフォーマーがリアルタイムでプログラムコードを記述し、それを実行して音楽を生成する。このプロセスにおいて、エージェンシーは複数の層で機能する。人間パフォーマーは即興的にコードを記述する主体である一方、プログラムやアルゴリズムもまた、音楽制作において自律的に機能する。
例えば、機械学習を用いたライブコーディングシステムでは、プログラムが人間の意図を学習し、予測をもとに音楽を生成する。このようなシステムは、完全に人間の制御下にあるわけではなく、ある種の「予測不可能性」を伴う。この予測不可能性が、機械のエージェンシーとして現れ、人間と機械の間に新たな創造的関係をもたらす。音楽制作の過程で、どのような音が生成されるのか、どのような変化が生じるのかは、機械の出力次第であり、これがライブコーディングの即興性を支える重要な要素となっている。
また、観客もエージェントとしてこのプロセスに関与する。ライブコーディングでは、パフォーマーがコードを書き込む様子が公開されるため、観客は創作のプロセスを視覚的に体験することができる。これにより、観客は単なる受け手ではなく、創造の一部を共有する主体となる。
Actor-Network Theoryとエージェンシーの拡張
「Actor-Network Theory（ANT）」は、フランスの社会学者ブルーノ・ラトゥール（Bruno Latour）によって提唱された理論であり、社会現象を人間と非人間の「アクター」が形成するネットワークとして分析する手法である。この理論では、アクターは人間だけでなく、物質、概念、技術といったあらゆる要素を含む。
この視点に基づくと、ライブコーディングのパフォーマンスは、人間、プログラム、データ、観客といった多様なアクターが相互に影響を及ぼし合うネットワークとして捉えられる。たとえば、音楽を生成するプログラムコードは、単なる道具ではなく、自律的な行動を行うアクターとして機能する。さらに、このコードが操作する音響データやアルゴリズムもまた、独自のエージェンシーを持つものとして理解される。
ANTの視点では、ライブコーディングにおけるエージェンシーは固定的なものではなく、状況やネットワーク内の関係性によって動的に変化する。この動的なエージェンシーの概念は、ライブコーディングが持つ即興性や創造性を深く理解する上で不可欠である。
人間と機械のエージェンシーの相互作用
人間と機械のエージェンシーが交差することで、ライブコーディングのパフォーマンスには以下のような新たな特徴が生まれる。
- 共創性の増大
機械が自律的に意思決定を行うことで、人間パフォーマーに予想外のインスピレーションを提供する。このような共創性は、従来の音楽制作には見られない特徴である。 - 偶然性の創造的活用
機械の出力が必ずしも完全に予測可能ではないため、この偶然性を活用した即興的な表現が可能となる。これは、ランダム性を創造的に活用する「生成音楽（Generative Music）」の理念に通じる。 - データの主体化
データそのものがライブコーディングのネットワーク内でアクターとして機能する。たとえば、クラウドソースされた音響データベースが、音楽制作の素材としてだけでなく、パフォーマンスの展開を左右する主体としても作用する。
エージェンシーの未来
人間と機械のエージェンシーが協調する場としてのライブコーディングは、音楽制作の新たな可能性を示している。この研究が提案するエージェンシーの多層的な理解は、単なる音楽の技術的進歩を超え、AIやデータ駆動型システムがどのように芸術的実践に影響を与えるかを示唆している。今後、エージェンシーの概念をさらに深く探求することで、音楽だけでなく、他の創造的分野においても新しい展望が開かれるだろう。
ではつづいて、ライブコーディングにおけるエージェンシーの構造を具体的に分析するために提案された理論的フレームワークを紹介しよう、
4つの次元で見るAIライブコーディングシステム
4つの次元の提案背景
ライブコーディングにおける人間と機械のエージェンシーを分析するため、XambóとRomaは理論的なフレームワークを提案している。このフレームワークは、ライブコーディングにおけるエージェンシーを以下の4つの次元で捉えることで、システムの設計や評価を支援するものである。
- 可読性（Legibility）
- 可修正性（Modifiability）
- 予測可能性（Predictability）
- 多様性（Cardinality）
では、これらの次元がどのように定義され、ライブコーディングシステムにおいてどのように機能するかを詳しく見ていこう。
可読性（Legibility）
可読性は、システムが人間に対してどれだけ「わかりやすい」かを示す次元である。ライブコーディングでは、パフォーマーが記述するコードだけでなく、アルゴリズムやデータがどのように動作しているのかを観客やパフォーマー自身が理解できることが重要である。
ライブコーディングのパフォーマンスでは、スクリーンに表示されるコードが観客に公開される。この「コードの公開」は、観客が音楽の生成プロセスを視覚的に理解する助けとなる。しかし、コードだけではなく、以下のような要素の可視化が求められる。
- アルゴリズムの状態
たとえば、音響データベースからどの音が選ばれたのか、どのような条件で選択されたのかを表示することで、システムの動作が明確になる。 - データのコンテキスト
データの出所や特性を表示することで、観客やパフォーマーにその背景情報を提供する。たとえば、クラウドソースされた音響データベース「Freesound」の場合、サウンドファイル名や作者名、タグ情報などを提示することで、データの透明性を確保できる。
可読性は、パフォーマンスの「物語性」にも寄与する。たとえば、音響データの特性や選択プロセスが観客に伝わることで、パフォーマンス全体が一つの物語のように展開される。
可修正性（Modifiability）
可修正性は、システムがどれだけ柔軟に変更可能かを示す次元である。ライブコーディングでは、パフォーマーがリアルタイムでコードを記述・変更することがパフォーマンスの本質であり、システムの可修正性が高いほど創造性が広がる。
たとえば、AIを活用したライブコーディングシステムでは、以下のような可修正性が求められる。
- 学習モデルの更新
機械学習モデルがリアルタイムで再トレーニングされる場合、パフォーマーはその場でデータを追加したり、モデルを調整したりすることが可能である。このプロセスは、観客を巻き込んだインタラクションを生む可能性もある。 - パラメータの変更
音楽生成アルゴリズムのパラメータ（例：テンポ、キー、音色など）をリアルタイムで変更することで、パフォーマンスが動的に展開される。 - エージェント間の相互作用
システム内のエージェントが互いに影響を与え合う仕組みも考慮されている。たとえば、一つのエージェントが生成した音楽的要素が他のエージェントに影響を及ぼすことで、複雑なパフォーマンスが実現する。
可修正性の高いシステムは、パフォーマーの即興性を最大限に引き出すだけでなく、観客にとってもよりダイナミックな体験を提供する。
予測可能性（Predictability）
予測可能性は、システムがどれだけ「予測可能」または「予測不可能」であるかを示す次元である。この次元は、パフォーマンスにおける機械の主体性を理解する上で重要である。
AIを用いたライブコーディングでは、システムの出力が完全に予測可能である場合、創造性が制限される可能性がある。一方で、完全にランダムな出力では、音楽的な一貫性が失われる。そのため、以下のようなバランスが求められる。
- 創造的偶然性
予測不可能性は、パフォーマンスにおける偶然性や驚きを生む要素となる。たとえば、音響データベースからランダムに音が選ばれる場合でも、音楽的な文脈に合った選択が行われるように設計されるべきである。 - 人間の介入可能性
予測不可能なシステムであっても、パフォーマーが出力を制御または修正できる余地を残すことで、バランスが取れる。たとえば、特定の音をミュートしたり、ランダムな出力を特定の範囲内に制限する機能が考えられる。
この予測可能性の次元は、パフォーマーと機械の協調を深め、ライブコーディング特有の即興性を支える重要な要素である。
多様性（Cardinality）
多様性は、パフォーマンスにおけるエージェントの数とその相互作用を示す次元である。ここでのエージェントは、人間や機械に加え、データやアルゴリズムといった要素も含まれる。
- エージェントの数
システム内で動作するエージェントの数が多いほど、パフォーマンスは複雑になる。たとえば、複数のエージェントが異なる音楽的役割を果たすことで、ポリフォニックな構造が生まれる。 - エージェント間の連携
エージェント同士が相互作用する場合、単独では生成できない複雑な音楽的結果が得られる。これにより、パフォーマンス全体の多層性が強調される。
多様性は、ライブコーディングのパフォーマンスをより豊かで深みのあるものにするための基盤である。
次元の相互関係
これらの次元は、それぞれが独立しているわけではなく、相互に関連し合っている。たとえば、可読性が高ければ、観客はシステムの動作を理解しやすくなるが、それが予測可能性を高めすぎると創造性が制限される可能性もある。同様に、可修正性が高ければ、パフォーマーは多様なエージェントを操作しやすくなるが、その結果、システムが複雑化し、可読性が低下する可能性もある。
Xambó と Romaが提案するこのフレームワークは、ライブコーディングのパフォーマンスを設計し、分析する上で有効なツールである。これにより、人間と機械のエージェンシーがどのように相互作用し、創造的なプロセスを形作るのかをより深く理解することができる。
では続いて、このフレームワークを実際のライブコーディングシステムに適用したケーススタディについて詳しく見ていこう。
2つのケーススタディ: MIRLCaとMob
MIRLCaとMobの概要
Xambó と Roma が提案する理論的フレームワークを実際のライブコーディングシステムに適用するため、彼らは2つの独自のシステム「MIRLCa」と「Mob」を開発した。これらのシステムは、それぞれ異なるアプローチを通じて、人間と機械のエージェンシーを探求するものである。MIRLCaはクラウドソースされた音響データを活用する一方、Mobはデータ空間をナビゲートするエージェントベースのシステムとして設計されている。
Xambó と Roma は、これら2つのシステムの設計と実践における特徴を、提案された4つの次元（可読性、可修正性、予測可能性、多様性）を基に詳しく分析している。
MIRLCa: クラウドソースデータを活用したシステム
MIRLCa（Music Information Retrieval in Live Coding）は、音響データベース「Freesound」を活用することで、膨大なクラウドソースデータを即興音楽制作に統合するシステムである。このシステムは、以下の特徴を持つ。
- データの探索と選択
MIRLCaでは、パフォーマーがFreesound上のデータを検索し、音響素材をリアルタイムで選択することができる。検索クエリを用いることで、特定の音色やジャンルに適した音響データを即座に取得できる。 - ライブコーディングと音響生成の統合
パフォーマーが選択した音響データは、その場で編集され、音楽的な要素として組み込まれる。このプロセスは、コードの記述や変更を通じて行われる。 - 観客との共有
MIRLCaは、検索結果や選択したデータを視覚的に提示することで、観客が音楽制作のプロセスをより深く理解できる仕組みを提供する。
MIRLCaの分析: 4つの次元から見る特性
- 可読性（Legibility）
MIRLCaは、観客に検索結果やデータの特性を公開することで、システムの動作を明確に示している。この視覚化により、観客は音楽制作のプロセスを理解しやすくなる。 - 可修正性（Modifiability）
パフォーマーは検索クエリやデータの選択を自由に変更できるため、高い可修正性を持つ。また、取得したデータをリアルタイムで加工できる点も特徴的である。 - 予測可能性（Predictability）
クラウドソースデータを活用しているため、検索結果に一定の予測可能性はあるものの、具体的にどのような音響データが生成されるかについてはパフォーマーの操作に依存する。このバランスが、創造的な偶然性を生み出している。 - 多様性（Cardinality）
膨大なFreesoundデータベースを活用することで、音楽的な素材の多様性が飛躍的に向上している。
Mob: データ空間をナビゲートするエージェントベースのシステム
Mobは、複数のエージェントがデータ空間を探索し、音楽的な素材を動的に生成するシステムである。このシステムは、パフォーマーが直接コードを記述するだけでなく、エージェント同士の相互作用を通じて音楽を形成する点が特徴的である。
- エージェントの動作
Mobでは、各エージェントが独自のアルゴリズムに基づいて動作し、データ空間を探索する。エージェントは、探索結果を音楽素材としてパフォーマンスに統合する。 - パフォーマーの役割
パフォーマーは、エージェントの動作をリアルタイムで制御することができる。具体的には、エージェントのパラメータを調整し、探索の範囲やアルゴリズムを変更する。 - 観客とのインタラクション
Mobは、エージェントの動作や生成された音響データを視覚化し、観客に提示する。これにより、観客はエージェントの役割やシステム全体の動作を直感的に理解できる。
Mobの分析: 4つの次元から見る特性
- 可読性（Legibility）
エージェントの動作が視覚化されているため、観客はシステム内の相互作用を理解しやすい。特に、エージェントがどのようにデータ空間を探索しているかを明示することで、システムの透明性が向上している。 - 可修正性（Modifiability）
パフォーマーはエージェントのパラメータや探索アルゴリズムを変更できるため、高い可修正性を持つ。これにより、リアルタイムでの即興的なパフォーマンスが可能となる。 - 予測可能性（Predictability）
複数のエージェントが独自のアルゴリズムで動作するため、生成される音楽には一定の予測不可能性がある。この偶然性が、パフォーマンスに新たな創造性をもたらしている。 - 多様性（Cardinality）
エージェントが複数存在し、それぞれが独立して動作することで、音楽的な要素の多様性が大幅に向上している。特に、各エージェントが異なる探索パターンを持つ点が特徴である。
MIRLCaとMobの比較と統合的な意義
MIRLCaとMobは、それぞれ異なるアプローチを採用しているが、いずれも人間と機械のエージェンシーを強調する点で共通している。MIRLCaはクラウドソースデータを活用し、データ駆動型の音楽生成に焦点を当てている。一方、Mobはエージェントの相互作用を通じて、動的な音楽生成プロセスを実現している。
これら2つのシステムは、提案された4つの次元を活用することで、ライブコーディングにおける創造性と即興性を深く探求している。それぞれのアプローチは、ライブコーディングシステムの設計における多様な可能性を示しており、AIやデータ駆動型技術が音楽パフォーマンスに与える影響をより深く理解するための実践的なモデルとなっている。
ではつづいて、これらのシステムを通じて得られた知見をもとに、ライブコーディングの未来と他分野への応用について、「Human–machine agencies in live coding for music performance」（2024）での考察を紹介しよう。
ライブコーディングの未来と他分野への応用
データ駆動時代におけるライブコーディングの位置付け
ライブコーディングは、音楽パフォーマンスとプログラミングの融合を通じて、芸術的表現の新たな地平を切り開いてきた。その進化の背景には、AIやデータ駆動型技術の発展がある。データが音楽制作の主体（エージェント）として機能し始めた現在、ライブコーディングは単なるパフォーマンス手法を超え、より広範な文化的・社会的意義を持つようになった。
Xambó と Roma の研究は、ライブコーディングの可能性を拡大するための理論的枠組みを提供している。特に、提案された「可読性」「可修正性」「予測可能性」「多様性」の4つの次元は、AIが関与する他の創造的分野にも応用可能な汎用性を持つ。では、「Human–machine agencies in live coding for music performance」（2024）に基づいて、ライブコーディングの未来を展望し、他分野への応用の可能性を探ろう。
ライブコーディングの未来: 創造性の新たな形
ライブコーディングの未来には、以下のような進化が期待される。
- AIと人間のさらなる協調
ライブコーディングは、人間とAIが共創する場として発展を続けるだろう。AIは、即興的な音楽生成や予測不可能な提案を通じて、パフォーマーに新たなインスピレーションを提供する。一方、人間はAIの出力を解釈し、それを音楽的な文脈に適応させる役割を果たす。このような協調が進むことで、ライブコーディングのパフォーマンスはますます多様化し、観客を魅了するものとなる。 - インタラクティブ性の向上
パフォーマーと観客のインタラクションがより高度化することが予想される。たとえば、観客がスマートフォンやデバイスを通じてパフォーマンスに直接参加し、システムの出力に影響を与える仕組みが考えられる。このような双方向性は、ライブコーディングを従来のパフォーマンス形式とは異なる「共有体験」として進化させる。 - 教育と学習への応用
ライブコーディングは、音楽教育やプログラミング教育の分野においても活用される可能性がある。リアルタイムでのコードの記述と結果の視覚化は、学習者にとってプログラムの動作原理を直感的に理解する助けとなる。特に、AIを活用したライブコーディングシステムは、音楽やデータサイエンスの学びを統合するための効果的なツールとなるだろう。
他分野への応用可能性
ライブコーディングで培われた技術と概念は、音楽以外の分野にも応用可能である。以下は、その具体例である。
- パフォーマンスアート
ライブコーディングの即興性とインタラクティブ性は、視覚芸術や舞台芸術にも適している。たとえば、リアルタイムで生成される映像や舞台効果を活用することで、観客を引き込む没入型のパフォーマンスが可能となる。 - ゲーム開発
ゲームの中でリアルタイムに生成される音楽や視覚効果にライブコーディングの手法を取り入れることで、プレイヤーが参加できるインタラクティブな体験を提供できる。たとえば、プレイヤーの操作に応じて動的に変化する音楽やエフェクトを、ライブコーディングで生成する仕組みが考えられる。 - データビジュアライゼーション
ライブコーディングで使用される即興的なプログラミング技術は、大規模データの可視化にも応用可能である。特に、リアルタイムで変化するデータセットを視覚的に表現する際に、観客にデータの意味を伝えるための効果的なツールとなる。 - AI研究と実験
ライブコーディングは、AIの研究や実験の場としても活用される可能性がある。たとえば、AIモデルのトレーニングや評価プロセスをリアルタイムで視覚化し、研究者や教育者がその動作を理解しやすくする仕組みが考えられる。
ライブコーディングの社会的意義
ライブコーディングの普及は、技術と創造性の融合が社会にもたらす影響を象徴している。この手法は、音楽やアートの領域だけでなく、技術が人間の創造性を補完し、拡張する方法を示している。ライブコーディングの進化は、AIやデータ技術が社会のさまざまな側面にどのように影響を与えるのかを考える上での一つのモデルともいえる。
特に、ライブコーディングは「データ駆動時代」において人間の役割を再評価する機会を提供している。データやアルゴリズムが創造的プロセスの主体として機能する一方で、人間はそのプロセスを制御し、文脈に合わせて適応させる。この協調的な関係が、創造的活動をより豊かで持続可能なものにする可能性を秘めている。
ライブコーディングが切り開く未来
ライブコーディングは、音楽パフォーマンスにおける人間と機械のエージェンシーを探求する中で、創造性と技術の新たな融合を提示している。その応用範囲は音楽にとどまらず、アート、ゲーム、教育、データ分析、さらにはAI研究にまで広がる可能性がある。XambóとRomaの研究が示すように、この分野のさらなる発展は、AIやデータ技術が人間の創造性にどのように寄与できるかを考える上での貴重な洞察を提供している。
ライブコーディングは、データ化の時代における創造的活動のモデルとなりうる。そして、このモデルは、AIや機械が人間の創造性を拡張し、新しい表現の形を実現する未来を照らすだろう。
