←

MacBook Pro (M2 Max 96GB) で Command R+ を試す

2024.04.19
このエントリーをはてなブックマークに追加

導入方

mlx-lmをpipするだけで使える。すごい。

pip install mlx-lm

使い方

from mlx_lm import load, generate

model_name = "mlx-community/c4ai-command-r-plus-4bit"
model, tokenizer = load(model_name)


def llm(input_text):
    start_token = "<BOS_TOKEN><|START_OF_TURN_TOKEN|><|USER_TOKEN|>"
    end_token = "<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>"
    prompt = start_token + input_text + end_token
    response = generate(model, tokenizer, prompt, max_tokens=512, verbose=True)
    return response

llm("2000年代の日本のアニメの特徴を教えてください。また、それを特に表している作品を3つ教えてください。")

実行結果

もっさりしているが、動いた。途中None of PyTorch, TensorFlow >= 2.0, or Flax have been found.というエラーが出たが、無視して問題ない。max_tokensを512にしているため、出力は途中で切れてしまった。

==========
Prompt: <BOS_TOKEN><|START_OF_TURN_TOKEN|><|USER_TOKEN|>2000年代の日本のアニメーの特徴を教えてください。また、それを特に表している作品を3つ教えてください。<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>
2000年代は日本のアニメにとって非常に多作で実験的な時代でした。この時代のアニメは、その芸術性、物語の深み、幅広さで知られていました。この時代のアニメの特徴には次のようなものがあります。

- 芸術性と実験性: 2000年代には、アニメーターや監督がアニメーションの可能性を押し広げ、実験的な視覚スタイル、独特の演出、斬新な物語構造を追求する意欲的な作品が数多く登場しました。

- 物語の深み: この時代のアニメは、キャラクターの心理描写や物語の深みに重点を置いていました。多くの作品が、哲学的、心理的、または社会的なテーマを探求し、視聴者に考えさせるような物語を提供しました。

- ジャンルの融合: 2000年代には、SF、ファンタジーの要素を組み込んだアクションやスリラー、またはロマンスやドラマを組み込んだSFなど、ジャンルの融合がよく見られました。この傾向は、アニメが幅広く多彩な視聴者層にアピールするのに役立ちました。

- メディアの融合: 2000年代には、アニメと他のメディアとの融合も盛んに行われました。アニメは漫画、ライトノベルのほか、ゲームや映画など他のメディアと連動して、より豊かな世界観や物語を創造しました。

この時代の特徴を特に表している3つの作品としては、次のようなものがあります。

1. 『新世紀エヴァンゲリオン』（1995-1996年、2007-2009年）：この作品では、SF、アクション、心理スリラーが融合し、哲学的で深遠な物語が展開されます。このアニメは、その芸術性、キャラクターの深み、物語のテーマの探求で知られていました。

2. 『鋼の練金術師』（20グリーン03-2004年、2009-2010年）：この作品では、アクション、冒険、ファンタジーの要素が融合し、兄弟の旅を通じて道徳的、哲学的なテーマを探求していきます。このアニメは、その豊かな世界観、キャラクターの深み、アクションシーンで知られていました。

3. 『攻殼機動隊 S
==========
Prompt: 13.504 tokens-per-sec
Generation: 0.465 tokens-per-sec

参考