Bonsai 8B でローカル LLM をミニマムから始める
1-bit Bonsai 8B は、約 82 億個のパラメーターを持ちながら、開発元が示す重み領域を約 1.15 GB に収めた言語モデルである。埋め込み層、注意機構、全結合層、出力層を含む主要な重みに 1-bit 表現 … 続きを読む
1-bit Bonsai 8B は、約 82 億個のパラメーターを持ちながら、開発元が示す重み領域を約 1.15 GB に収めた言語モデルである。埋め込み層、注意機構、全結合層、出力層を含む主要な重みに 1-bit 表現 … 続きを読む