M4 Max 128GB でローカル LLM を仕事単位で評価する
ローカル LLM の性能を確認するとき、最初に目に入るのは、モデルを端末のメモリーへ読み込めるか、そして 1 秒間に何トークンを生成できるかという数字である。前者はモデルをその計算機で実行できるかを決め、後者は文章が返っ … 続きを読む
ローカル LLM の性能を確認するとき、最初に目に入るのは、モデルを端末のメモリーへ読み込めるか、そして 1 秒間に何トークンを生成できるかという数字である。前者はモデルをその計算機で実行できるかを決め、後者は文章が返っ … 続きを読む