Grok のアルゴリズムを詳解する
Grok の動作は、巨大な言語モデルが入力を受け取り、完成した回答を一度に返すという単純な構図では説明できない。最下層では、入力された文字列をトークンへ分割し、数値ベクトルへ変換したうえで、文脈に続く次のトークンの確率分 … 続きを読む
Grok の動作は、巨大な言語モデルが入力を受け取り、完成した回答を一度に返すという単純な構図では説明できない。最下層では、入力された文字列をトークンへ分割し、数値ベクトルへ変換したうえで、文脈に続く次のトークンの確率分 … 続きを読む
大量のデータで学習した計算機モデルを再現するには、学習時に使ったデータをすべて保存し続けなければならないのだろうか。この問いでは、学習に必要なデータ量と、学習後に保持すべき情報量を分ける必要がある。大量の標本は、未知の規 … 続きを読む
岡本太郎の作品は、しばしば一言で説明しにくい。明るいのに不気味であり、原始的なのに近代的であり、滑稽なのに恐ろしく、祝祭的なのに死の気配を含んでいる。これは、作品の意味が曖昧だからではない。むしろ、複数の力が同時に強く立 … 続きを読む
暗号は、絶対に破れない壁ではない。暗号が現実に強いのは、破れないからではなく、破るために必要な計算量が現在の計算機、現在の費用、現在の人間の寿命、現在の文明の時間感覚を圧倒的に超えているからである。ここでいう計算量とは、 … 続きを読む
ゲノム編集は、生命科学の中でも特に強い倫理的緊張を持つ技術である。理由は、単に DNA を変更できるからではない。DNA は、細胞の働き、発生、疾患リスク、身体条件、場合によっては子孫への継承に関わる。したがって、ゲノム … 続きを読む
現代のバイオエシックスが直面している難しさは、新しい治療技術の安全性を評価するだけでは足りなくなった点にある。人工配偶子は親子関係と生殖系列の意味を作り直し、幹細胞由来胚モデルは胚とモデルの境界を揺さぶり、生命科学全体は … 続きを読む
人間は、努力が結果に影響する世界を生きている。勉強すれば知識は増えやすく、練習すれば技能は上がりやすく、準備すれば失敗確率は下がりやすく、責任ある行動を取れば他者への損害を減らしやすい。この意味で、努力、注意、準備、自己 … 続きを読む
粒子は本当に小さな物体として「そこにある」のか。時空は、物体が入っている固定された容器なのか。光速が有限であることは、単なる数値的な物理定数なのか。それとも、どの出来事がどの出来事へ影響できるかを定める、世界の因果構造そ … 続きを読む
Wi-Fi は、日常的には「スマートフォンや PC を無線でインターネットにつなぐ仕組み」と理解される。しかし、この説明だけでは Wi-Fi の本質は見えない。Wi-Fi は単なる便利な通信手段ではなく、デジタル情報、信 … 続きを読む
Copy Fail については既稿で、Linux カーネルの暗号 API、AF_ALG、algif_aead、AEAD、splice、page cache、scatterlist、setuid root バイナリが結合し … 続きを読む