ほぼテク8月16日GPTのライバルになるか？満を持して登場のLINEの「japanese-large-lm（ジャパニーズラージエルエム）」で日本語が得意か実験してみました！

8月16日

ほぼテク読者の皆様、いつも大変ありがとうございます！
我妻裕太です。

本日もよろしくお願いいたします。GPTに関する連続投稿約114日目です！
本日は最新情報アップデートです。

満を持して登場！LINEの「japanese-large-lm（ジャパニーズラージエルエム）」

満を持して登場！LINEの「japanese-large-lm（ジャパニーズラージエルエム）」！

LINEは、日本語に特化した大規模言語モデル「japanese-large-lm」を発表し、オープンソースとして公開しました。
このモデルは、36億パラメーターのモデルと17億パラメーターのモデルの2種類から構成され、HuggingFace Hubからアクセス可能です。

開発プロセスでは、LINE独自の大規模日本語Webコーパスを使用し、OSSライブラリ「HojiChar」によるフィルタリングで高品質なデータを構築。約650GBのコーパスを学習に利用しました。
効率化のためには、3D ParallelismやActivation Checkpointingといった先進的なテクニックも採用されました。

LINEは以前から「HyperCLOVA」という独自LLMの開発に取り組んでおり、今回のモデルはその一環として、Massive LM開発ユニットが構築したものです。
モデルの性能は他の一般的なモデルとも競り合えるレベルと評価されており、その詳細な指標も提供されています。

さらに、データの品質向上や学習の安定性を高めるための工夫が取り入れられ、具体的な方法論とともに解説されています。
商業利用も可能で、この大規模モデルの応用が今後の展開において期待されています。

それでは、いざ勝負？

せっかくなので大好きChatGPTの性能評価の時間です！
どちらも素晴らしいAIだと思うのですが、せっかくなので、コラボレーションしてみよう！？

【実験ルール】
日本語で回答してくれるかテストする。
「japanese-large-lm」、GPT-3.5で実験する。(実験で使用したHuggingFaceのサイトはこちらです→https://huggingface.co/line-corporation/japanese-large-lm-3.6b)
プロンプトは以下の３つで実行します。

【プロンプト①】
・こんにちは

【プロンプト②】
・自己紹介をお願いします。

【プロンプト③】
・おはようございます、今日の天気は

さぁそれではいってみよう！
いざ、ゆかん！

GPT-3.5 VS LINEの「japanese-large-lm（ジャパニーズラージエルエム）」

【プロンプト①】こんにちは

LINE「japanese-large-lm」の回答
2018年10月15日 10:00

GPT-3.5の回答
こんにちは！どのようなことをお手伝いできるでしょうか？家族構成や住所を考慮したレシピの提案など、お気軽にお聞かせください。

【プロンプト②】自己紹介をお願いします。

LINE「japanese-large-lm」の回答
2017年4月に新卒で入社しました。前職は、

GPT-3.5の回答
もちろんです！私はAIアシスタントのChatGPTです。料理のレシピから質問への回答まで、さまざまなトピックに関するお手伝いをすることができます。特に、宮城県仙台市にお住まいの6人家族の方々に、家族構成や住所を考慮したレシピの提案をすることができます。どのようなことをお助けできるかお教えいただければ嬉しいです！