観測手段は、生命現象の解像度を変える

細胞内のある場所に脂質の蛍光が見えないとき、その場所に脂質が存在しないとは限らない。対象となる脂質が少ない場合もあれば、狭い領域にだけ集まっている場合もある。脂質を検出するプローブの結合が弱く、存在している脂質を十分に捉 … 続きを読む

単純な法則の中には、過去の影響が残っている

複雑な現象を扱うとき、微視的な状態をすべて追い続ける必要はない。気体の圧力や温度を求めるために、一個一個の分子の位置と速度を記録し続ける必要はなく、流体の運動を記述するために、構成する全原子の軌道を計算する必要もない。多 … 続きを読む

量子化について詳しく解説する

量子化は、人工知能のモデルを小さくする技術として広く知られるようになった。学習済みモデルでは、数十億から数千億個に及ぶ重みが数値として保存されている。重みを 32 ビットや 16 ビットの浮動小数点数から、8 ビットや … 続きを読む

群を理解するには、積の結果だけでは足りない

群は、元と元を組み合わせる演算によって定義される。有限群であれば、すべての元の組と演算結果を乗積表へ書き並べることで、その演算を漏れなく記録できる。それでも、乗積表を読み終えただけで、群の構造を把握したことにはならない。 … 続きを読む

カテゴリー math

クオリアは脳だけでは説明できない

人工ニューラルネットワークは、人間の脳を模倣した技術だと説明されることが多い。しかし、そこで抽出されたのは、神経細胞どうしの結合を参照した情報変換の原理であり、人間の脳や生命体を縮小して複製したものではない。実際の人間で … 続きを読む

Grok のアルゴリズムを詳解する

Grok の動作は、巨大な言語モデルが入力を受け取り、完成した回答を一度に返すという単純な構図では説明できない。最下層では、入力された文字列をトークンへ分割し、数値ベクトルへ変換したうえで、文脈に続く次のトークンの確率分 … 続きを読む

再学習に必要な情報量は課題構造で決まる

大量のデータで学習した計算機モデルを再現するには、学習時に使ったデータをすべて保存し続けなければならないのだろうか。この問いでは、学習に必要なデータ量と、学習後に保持すべき情報量を分ける必要がある。大量の標本は、未知の規 … 続きを読む