Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIに私たちの人格を憑依させパラレルワールドを生きる

 AIに私たちの人格を憑依させパラレルワールドを生きる

LLM Meetup Tokyo #3 LT

Masahiro Nishimi

July 05, 2023
Tweet

More Decks by Masahiro Nishimi

Other Decks in Programming

Transcript

  1. AIに私たちの人格を憑依させ
    パラレルワールドを生きる
    LLM Meetup Tokyo #3
    2023.7.5

    View Slide

  2. 「コミュニケーションを圧縮したい」

    View Slide

  3. 人同士の会話はシリアル通信である

    View Slide

  4. シリアル通信である以上、時間短縮には限界がある
    パラレル通信は
    できない

    View Slide

  5. 本当にコミュニケーションを圧縮する方法はないのか?
    高度な高速通信
    プロトコルを発明する
    パラレルワールドを
    MapReduceする

    View Slide

  6. AIであれば可能かも知れない
    高度な高速通信
    プロトコルを発明する
    パラレルワールドを
    MapReduceする

    View Slide

  7. 「高度な高速通信プロトコル」案
    ● transformerモデル同士であれば埋め込みベクトルやニューロン活性を利用す
    ることによってコミュニケーションを取り合うことが可能かも知れない?
    ○ OpenAIが「言語モデルに言語モデルを説明」させるデモンストレーションツールを公開
    ● とりあえずデータを突っ込んでも良いが、それをどう理解して何を返してい
    るかは外部から観察が困難。手を動かして検証するにはちょっとSFすぎる。

    View Slide

  8. 「パラレルワールドをMapReduce」案
    ● ちょっと前にtwitterのアーカイブデータからgpt-neoxやOpenCALMをファイ
    ンチューニング(LoRA)してみる試みが流行っていた。
    ● それなりにそれっぽくなるらしく、このチューニング済みモデルをパラレル
    ワールドに分散配置してみたらどうなるか?
    ● シリアル通信の高速化が難しいのであれば、パラレル通信を実現することで
    コミュニケーションの圧縮に寄与するのではなかろうか?

    View Slide

  9. パラレルワールドを開発する

    View Slide

  10. AI人格を用意する
    ● ベースモデルにはrinna/japanese-gpt-neox-3.6b-instruction-ppoを使用
    ● 8名の方にtwitterアーカイブを提供頂き、データ加工の上でファインチューン
    ○ 試験的パラレルワールドでは100個のお題についてランダムにつぶやいてもらう設計なので、
    各twitterのつぶやきがどのお題に近いか類似検索し、inputがお題、outputがtwitterつぶやきと
    なるようにデータ加工した。
    ● LoRA作成にあたってはPEFTを利用
    ○ learning_rate: 3e-5
    ○ epoch: 3
    ○ これでA6000で5〜6時間程度

    View Slide

  11. ランダムに誰かのつぶやきに反応する
    ● 候補を与えて自己選択させたかったが、生rinnaには難しいタスクだった
    ○ このタスク向けにもチューニングする必要あり
    ● よってランダムに抽出されたつぶやきに反応するメカニズムを加える

    View Slide

  12. できたもの(デモ)

    View Slide

  13. ふりかえり
    ● かなりデータをクレンジングしたのに出力が荒れてしまう問題
    ○ もうちょいlossを抑えないとダメだろうか(現在でもA6000で5時間ぐらいかかっているんだけ
    ど・・・)
    ● スペシャルトークンの残骸のようなものが出てしまう問題
    ○ 今回はppo版をファインチューニングしたが、インストラクションチューニングされていない
    モデルをファインチューニングした方が良かった? 分からん・・・
    ● 次は会話を発生させていきたい
    ○ 会話スレッドはかなり面白そう
    ● 男子ばかりなので女子のデータも欲しい
    ○ 誰か・・・

    View Slide