三値 LLM の圧縮は保存量と復号処理の配置問題になる
低ビット LLM の議論では、重みを何ビットまで小さくできたかが最初に注目される。16 ビットから 8 ビット、4 ビット、2 ビットへ下げれば、重み本体の保存容量を減らせる。推論時に重みを繰り返し読み出す処理では、メモ … 続きを読む
低ビット LLM の議論では、重みを何ビットまで小さくできたかが最初に注目される。16 ビットから 8 ビット、4 ビット、2 ビットへ下げれば、重み本体の保存容量を減らせる。推論時に重みを繰り返し読み出す処理では、メモ … 続きを読む