ほぼテク8月5日最新情報アップデート!Metaの生成AI「AudioCraft」とGPTのコラボレーション?

ほぼテク読者の皆様、いつも大変ありがとうございます!
我妻裕太です。

本日もよろしくお願いいたします。GPTに関する連続投稿約103日目です!
本日は最新情報アップデートです。

Metaの生成AI「AudioCraft」がオープンソース化されました!

今日はエキサイティングなニュースをお届けします!

AI技術の進化により、以前は夢だったようなことが現実のものとなっています。
その最新の一例として、音声生成AI「AudioCraft」のオープンソース化をご紹介します。

AudioCraftとは、ユーザーがテキスト入力を行うことで、高品質で現実的なオーディオや音楽を生成するシンプルなフレームワークです。
これにより、例えばプロのミュージシャンが楽器を一つも演奏することなく新しい作品を探求したり、インディーゲーム開発者が限られた予算で仮想世界に現実的なサウンドエフェクトや環境音を追加したり、小さなビジネスオーナーが最新のInstagram投稿に簡単にサウンドトラックを追加したりすることが可能になります。

AudioCraftは三つのモデル、MusicGen、AudioGen、そしてEnCodecから成り立っています。
MusicGenは、テキストベースのユーザー入力から音楽を生成するために、Metaが所有する特定の音楽で訓練されました。

一方、公共の効果音で訓練されたAudioGenは、テキストベースのユーザー入力からオーディオを生成します。
これにより、犬の吠え声や車のクラクション、木の床に落ちる足音などの環境音や効果音を生成することが可能になります。

これらのモデルは研究目的で公開され、技術の理解を深めるため、また、研究者や実践者が自身のデータセットで初めてモデルを訓練し、技術の進歩に貢献できるようにするためです。

以下はMetaの紹介ページの日本語翻訳・要約文章です。

【要約】
AudioCraftは、プロのミュージシャン、インディーゲーム開発者、ビジネスオーナーなどが、自身のテキスト入力に基づき高品質な音楽やオーディオを生成できるシンプルなフレームワークです。このシステムはMusicGen、AudioGen、EnCodecの3つのモデルで構成されています。それぞれのモデルは特定の目的のために訓練されており、例えば犬の吠える音や車のクラクションなどのサウンドエフェクトを生成することができます。今回、これらのモデルが研究目的で公開され、研究者や実践者が自分のデータセットを用いてモデルを訓練し、技術を理解深めることが可能となりました。

詳しくはこちらの原文をご覧ください。

ではさっそくやってみよう!もちろんGPTで・・・

さぁ、ここで出てくるのが大好きChatGPTです。
今回は「AudioCraft」に投入するプロンプトを生成してみたいと思います。

プロンプトは以下のとおりです。

【プロンプト】
あなたは優秀な音楽家です。
MusicGenと呼ばれるプロンプトから音楽を生成するAIのサービスがあります。
MusicGenに投入するプロンプトを書いてくれますか?
生まれてきたよかったと思えるワクワクするようなメロディーがいいです。
英語と日本語それぞれ生成てしてください。

プロンプトのサンプルは以下のようなイメージです。
Text Prompt: Earthy tones, environmentally conscious, ukulele-infused, harmonic, breezy, easygoing, organic instrumentation, gentle grooves

結果は以下のとおりです。

もちろんです。以下に英語と日本語それぞれでプロンプトを生成しました。

【English】

Text Prompt: "A melody that evokes the thrill of being alive, resonating with the joy of existence. Infuse it with a sense of exuberance, heart-swelling gratitude, and the uplifting spirit of a life worth living. Think vibrant, optimistic tonalities, buoyant rhythms, and harmonies that bloom like a smile."

【日本語】

テキストプロンプト:「生きている喜びを感じさせ、存在の幸せに共鳴するメロディーを作り出してください。それには、豊かな喜び、心が満たされる感謝、そして生きる価値のある生活の高揚感を込めてください。考えるべきは、明るく楽観的な音色、弾けるようなリズム、そして笑顔のように開花するハーモニーです。」


おぉ、すごいな!このリクエストでここまで書いてくれるんですね!素晴らしいです。
以下の文章などは私からは出てこなそうな表現ですね、また一つ学びとナレッジが増えたな(笑)

そして生きる価値のある生活の高揚感を込めてください。

では、この文章をもとに「AudioCraft」に投入してみよう!

「AudioCraft」で音楽を生成する!

「AudioCraft」をPCで動かそうとするとGPUが必要な感じでしたので、PCの選択肢はやめて、Hugging Faceに助けてもらうことにしました!
Google Colaboratoryでも実行可能かと思います。

Hugging FaceのURLはこちらです!

こちらが画面のイメージです。

では早速プロンプトを入力して生成してみよう!
生成している様子はこちらです。音楽が生成できるまで今回は約3分でした。カップラーメンと同じですね(笑)
以下の動画は約3分間なにも変わらないので、終盤の方をご覧ください(笑)


こちらがAIで生成した音楽です!

おぉ!おぉーーーー、なんだかAIが生成したと思うだけでドキドキするな(笑)
なんかちょっと変な感じに聞こえますけど、とても幻想的な感じですね。

これがAIが考える「生きている喜び、高揚感」などなのでしょうか。なるほど。
深いな・・・

まとめ

っということでいかがでしたでしょうか。

本日はGPT-4で生成したプロンプトと、そのプロンプトで音楽を生成してみました!
生成AI同士の素晴らしい競演です!

もう音声生成AIの可能性が楽しみでなりません。


このAudioCraftは、今後のクリエイティブな音楽制作やオーディオコンテンツ制作において、かなり貢献すると思います!
私たちがこれまで体験したことのない新しい形の音楽体験が期待できますね。

オープンソース化されたAudioCraftを使って何ができるのか、どのような創造力が生まれるのか、今から楽しみですね。
皆さんもこの興奮を共有してください。次回もAIの最新情報をお届けしますので、ぜひお楽しみに。

今回の記事がみなさまの何かの参考になりましたら幸いです。
今回も最後までお読みいただきありがとうございました。

また次回お会いしましょう。

原稿執筆

株式会社GROWTH JAPAN TECHNOLOGIES  我妻裕太

バックナンバー

ほぼテク8月2日GPTのライバルになるか?満を持して登場のIBMのwatsonxで日本語が得意か実験してみました!

ほぼテク7月30日GPT-4のCode Interpreterで気象分析にチャレンジしてみた!?

ほぼテク7月29日GPT-4のCode Interpreterで身体を引き締める?ChatGPTをパーソナルトレーナーにする方法!?

ほぼテク7月26日ソフトウェア開発におけるSQL作成の課題をChatGPTが解決!?人間とAIで開発する次世代のソフトウェア開発!?

ほぼテク7月23日ChatGPTが変える業務効率化!ChatGPTを使った次世代のタスク管理!?

ほぼテク7月22日ChatGPTをあなた専用のAIにカスタマイズ!新機能「Custom Instructions」の紹介です!

ほぼテク7月19日GPTのライバルになるか?満を持して登場のMetaのLlama2が先ほど公開されました!

ほぼテク7月17日海の日にちなんで?多様化するDBの波を乗り越えられるかをChatGPTで試してみました。

ほぼテク7月16日GPT-3.5、GoogleBardでシフト管理を考えてみました!

ほぼテク7月15日GPT-4 Code InterpreterでG20の人口成長率を分析してみたら新しい気づきをくれました!

ほぼテク7月12日最新情報アップデート!GPT-4一般公開されたけど、APIで支払い履歴がないと使えないことが分かりましたの件(涙)

ほぼテク7月9日最新機能ChatGPTの「Code Interpreter(コードインタープリター)」を使ってみました!

ほぼテク7月7日SaaSサービスの利用規約のひな型をGPT、Bardで作ってみました!

ほぼテク7月5日BingのGPTの画像認識を解剖?ChatGPTとの違いと画像解析の可能性を探る!

ほぼテク7月2日ChatGPT・GoogleBardを活用したコンテンツモデレーション(投稿監視)!コミュニティの健全性と品質をChatGPT、GoogleBardで保てるか?

ほぼテク7月1日ChatGPTを活用してオンラインショッピングサイトのカスタマーサポートを効率化しよう?

ほぼテク6月28日AIと一緒にダイエット?ChatGPT、GoogleBardに体重データを分析してもらった!なかなか面白いよ(笑)

ほぼテク6月25日GPTの最新機能!「Azure OpenAI Service on your data」を試してみました!

ほぼテク6月24日GPTの活用事例!チャットボット用のQAデータをGPTで作成してみた!

ほぼテク6月21日GPT4の活用事例!生成AI達でAIの教師データを生成してみよう。

ほぼテク6月17日ChatGPTの活用ガイド!AIをあなたのプロジェクトに取り入れる方法徹底解説?

ほぼテク6月14日!ChatGPTを活用するために重要な留意事項13選! AIとのスムーズな対話を実現!

ほぼテク6月11日!ChatGPTでSNSマーケティングを攻略しよう!

ほぼテク6月10日!ChatGPTで情報の抽出をマスターしよう!

ほぼテク6月7日!ChatGPTを使って業務効率化! - データ解析とレポート作成の新たな方法?

ほぼテク6月4日!ChatGPTでマスタ情報を活用した間違い探し!

ほぼテク6月3日!ChatGPTで文法・スペルチェック!

ほぼテク5月31日!ChatGPTでファンタジーは創造できるか?

ほぼテク5月28日!ChatGPTで地元仙台市を分析してみました!

ほぼテク5月27日!ChatGPTでWebサイトから重要な情報を取得できるか試してみました!

ほぼテク5月24日!ChatGPTプラグイン実践編!画像生成のためのプロンプト生成プラグイン!

ほぼテク5月21日!ChatGPTプラグイン実践編!食べログプラグイン!

ほぼテク5月20日!とても面白いChatGPTのプラグイン使ってみました!

ほぼテク5月17日!GPTとの冒険!ファインチューニングで試行錯誤、そして成功へ!

ほぼテク5月14日!ChatGPT Webブラウジング機能がリリースされました!

ほぼテク5月13日!ChatGPTを活用した創作活動の一例!物語のプロットを創ってみた。

ほぼテク5月12日!Bard – Googleの新しい会話型AIが世界デビュー!

ほぼテク5月10日!今、私たちは新たなフロンティア、つまり宇宙へと視野を広げています!

ほぼテク5月7日!Chat GPTの正しい使い方基本プロンプトで会話してみました④

ほぼテク5月6日!Chat GPTの正しい使い方基本プロンプトで会話してみました

ほぼテク5月5日!Chat GPTの正しい使い方基本プロンプトで会話してみました②

ほぼテク5月4日!Chat GPTの正しい使い方基本プロンプトで会話してみました①

ほぼテク5月3日ImageCreatorで生成した画像で展示会?

今更聞ける!ほぼ毎日テック日報(おとなの週末) 4月30日(マイクロソフト画像生成AI「Bing Image Crator」とは?) – テクノロジーが日常にもたらすイノベーション?

今更聞ける!ほぼ毎日テック日報(おとなの週末) 4月29日(完全自動実行AI AutoGPTとは?) – テクノロジーが日常にもたらすイノベーション?

新企画!?「今更聞ける!ほぼ毎日テック日報 - テクノロジーが日常にもたらすイノベーション?」

前へ
前へ

ほぼテク8月6日GPTの力で未来を予測!?GPT-4が時系列分析モデルARIMAを構築!

次へ
次へ

弊社代表我妻が一般社団法人生成系AI協会(GAIS)様主催のセミナー「第4回 ジェネレーティブAI 勉強会」に登壇いたします!