scLS は擬似時間の途中で変わる遺伝子をどう拾うのか
ある遺伝子の発現量が、細胞の状態遷移の初期には低く、中盤で大きく上がり、終盤には再び低くなったとする。初期と終盤だけを取り出せば、両者の発現量はほとんど変わらない。二つの時点だけを比較する検定では、この遺伝子は「大きく変 … 続きを読む
話がつながると、思い込みに気づきにくくなる
人は、観測できた事実だけを使って判断しているわけではない。明日の天気を予測するときには、現在の気温や雲の状態から、その後の変化を推定する。設備の故障を調べるときには、異音や温度上昇から、内部で起きている異常を推定する。相 … 続きを読む
法律と医療から見る、AI 実務の四つの評価軸
AI の性能は、多くの場合、与えられた入力に対してどのような出力を返したかで評価される。質問応答なら正答率、分類なら適合率や再現率、文章生成なら人間評価や別の評価指標を使える。この方法では、評価対象となる問題文や資料が最 … 続きを読む
モダナイゼーションの「正しい変換」をどう定義するか
モダナイゼーションでは、旧システムと新システムのコードが一致していること自体を正しさの基準にはできない。言語、フレームワーク、アーキテクチャ、データ構造、実行環境を変えるなら、同じ業務を実現していても実装構造は変わる。一 … 続きを読む
生成 AI は、文章と書き手の思考を切り離せるようにした
文章を読んでいるとき、読者は文字列に記された命題だけを受け取っているわけではない。とくに論考や解説では、書かれている事実だけでなく、何を問題として選び、どの根拠を採用し、そこから何を判断したのかまでが文章の内容になる。そ … 続きを読む
フェルマーの最終定理の形式化で、AI が生成した証明を Lean がどう検証したか
AI が正しい文章やコードを生成できることと、その成果物が正しいと確定できることは別の問題である。生成結果がもっともらしく見えること、過去より正答率が高いこと、別の AI が正しいと評価したことは、いずれも成果物そのもの … 続きを読む
RAG の設計は「最適なチャンクサイズ」では終わらない
RAG を設計するとき、最初に決めたくなるのは、文書をどの大きさで区切るかである。200 token なのか、500 token なのか、あるいは段落や節を単位にするのか。文書を短く切れば、一つの断片に含まれる話題が限定 … 続きを読む
AI は正しさではなく、評価の通り方を学ぶことがある
AI の出力を評価するとき、「評価が上がった」と「性能が上がった」は同じ意味に見えやすい。強化学習では、望ましい出力へ高い報酬を与え、その報酬が大きくなる方向へモデルを更新する。評価が正しさを十分に表しているなら、この方 … 続きを読む
人間の役割は、評価からゲート判断へ広がる
AI が生成したものを人間が評価し、問題がなければ使う。生成 AI の利用を考えるとき、この役割分担は分かりやすい。文章やコードでは、少なくとも多くの場合、外部へ作用させる前に内容を確認できるためである。 ところが、AI … 続きを読む
AI は「次の単語を予測しているだけ」なのか
2023 年、Kenneth Li らは、オセロの着手列から次の合法手を予測する Transformer を調べた。モデルに与えられるのは、盤面の画像でも、各マスが黒・白・空きのどれであるかを記録した状態表でもない。オセ … 続きを読む