{"id":5746,"date":"2026-10-24T00:03:22","date_gmt":"2026-10-23T15:03:22","guid":{"rendered":"https:\/\/blog.id774.net\/entry\/?p=5746"},"modified":"2026-10-23T17:53:30","modified_gmt":"2026-10-23T08:53:30","slug":"%e4%bd%8e%e3%83%93%e3%83%83%e3%83%88%e9%87%8f%e5%ad%90%e5%8c%96%e3%81%a7%e3%81%af%e8%aa%a4%e5%b7%ae%e3%81%ae%e7%99%ba%e7%94%9f%e6%99%82%e5%88%bb%e3%81%a8%e5%af%bf%e5%91%bd%e3%81%a8%e6%96%b9%e5%90%91","status":"publish","type":"post","link":"https:\/\/blog.id774.net\/entry\/2026\/10\/24\/5746\/","title":{"rendered":"\u4f4e\u30d3\u30c3\u30c8\u91cf\u5b50\u5316\u3067\u306f\u8aa4\u5dee\u306e\u767a\u751f\u6642\u523b\u3068\u5bff\u547d\u3068\u65b9\u5411\u3078\u7cbe\u5ea6\u3092\u914d\u308b"},"content":{"rendered":"<p>\u91cf\u5b50\u5316\u306f\u3001\u9650\u3089\u308c\u305f\u30d3\u30c3\u30c8\u6570\u3067\u6570\u5024\u3092\u8868\u73fe\u3059\u308b\u305f\u3081\u306b\u3001\u5143\u306e\u5024\u3092\u6709\u9650\u500b\u306e\u4ee3\u8868\u5024\u3078\u5bfe\u5fdc\u3055\u305b\u308b\u64cd\u4f5c\u3067\u3042\u308b\u30024 \u30d3\u30c3\u30c8\u306a\u3089\u5229\u7528\u3067\u304d\u308b\u30b3\u30fc\u30c9\u306f\u6700\u5927 16 \u7a2e\u985e\u3067\u3042\u308a\u3001\u305d\u308c\u3088\u308a\u591a\u304f\u306e\u5024\u3092\u6271\u3046\u306b\u306f\u8907\u6570\u306e\u5165\u529b\u3092\u540c\u3058\u4ee3\u8868\u5024\u3078\u307e\u3068\u3081\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002\u3053\u306e\u5bfe\u5fdc\u306b\u3088\u3063\u3066\u4fdd\u5b58\u91cf\u3084\u30e1\u30e2\u30ea\u8ee2\u9001\u91cf\u3092\u6e1b\u3089\u305b\u308b\u4e00\u65b9\u3001\u91cf\u5b50\u5316\u524d\u306e\u5024\u3068\u518d\u69cb\u6210\u5024\u306e\u9593\u306b\u306f\u8aa4\u5dee\u304c\u751f\u3058\u308b\u3002<\/p>\n<p>\u30e2\u30c7\u30eb\u6027\u80fd\u3092\u8003\u3048\u308b\u3068\u3001\u3053\u306e\u8aa4\u5dee\u306f\u5927\u304d\u3055\u3060\u3051\u3067\u306f\u8a55\u4fa1\u3067\u304d\u306a\u3044\u3002\u3042\u308b\u8aa4\u5dee\u306f\u5f8c\u7d9a\u8a08\u7b97\u3067\u6025\u901f\u306b\u6e1b\u8870\u3057\u3001\u5225\u306e\u8aa4\u5dee\u306f\u591a\u6570\u306e\u751f\u6210\u30b9\u30c6\u30c3\u30d7\u3092\u901a\u3058\u3066\u72b6\u614b\u306b\u6b8b\u308b\u3002\u540c\u3058\u30ce\u30eb\u30e0\u3092\u6301\u3064\u8aa4\u5dee\u3067\u3082\u3001\u5f8c\u7d9a\u306e\u6f14\u7b97\u304c\u654f\u611f\u306a\u65b9\u5411\u3078\u5411\u3044\u3066\u3044\u308c\u3070\u51fa\u529b\u3092\u5927\u304d\u304f\u5909\u3048\u3001\u611f\u5ea6\u306e\u4f4e\u3044\u65b9\u5411\u3078\u5411\u3044\u3066\u3044\u308c\u3070\u5f71\u97ff\u306f\u5c0f\u3055\u304f\u306a\u308b\u3002\u91cf\u5b50\u5316\u5f8c\u306e\u6027\u80fd\u306f\u3001\u3069\u308c\u3060\u3051\u8aa4\u5dee\u304c\u751f\u3058\u305f\u304b\u306b\u52a0\u3048\u3066\u3001\u305d\u306e\u8aa4\u5dee\u304c\u8a08\u7b97\u306e\u4e2d\u3067\u3069\u306e\u3088\u3046\u306b\u6271\u308f\u308c\u308b\u304b\u306b\u3088\u3063\u3066\u6c7a\u307e\u308b\u3002<\/p>\n<p>\u65e2\u7a3f\u3067\u306f\u3001\u91cf\u5b50\u5316\u3092\u300c\u76ee\u7684\u306b\u4e0d\u8981\u306a\u533a\u5225\u3092\u6368\u3066\u308b\u64cd\u4f5c\u300d\u3068\u3057\u3066\u6574\u7406\u3057\u3001\u5165\u529b\u7a7a\u9593\u3092\u6709\u9650\u500b\u306e\u9818\u57df\u3078\u5206\u5272\u3057\u3066\u4ee3\u8868\u5024\u3078\u5bfe\u5fdc\u3055\u305b\u308b\u69cb\u9020\u3092\u6271\u3063\u305f<a href=\"#ref1\">[1]<\/a>\u3002\u91cf\u5b50\u5316\u306b\u3088\u3063\u3066\u8907\u6570\u306e\u5165\u529b\u304c\u540c\u3058\u4ee3\u8868\u5024\u3078\u5199\u3055\u308c\u308b\u305f\u3081\u3001\u5143\u306e\u5024\u3068\u518d\u69cb\u6210\u5024\u306e\u5dee\u3068\u3057\u3066\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u751f\u3058\u308b\u3002\u307e\u305f\u4e09\u5024 LLM \u306e\u5727\u7e2e\u3067\u306f\u3001\u6709\u9650\u500b\u306e\u72b6\u614b\u3078\u5199\u3057\u305f\u5f8c\u306b\u3082\u3001\u4fdd\u5b58\u5f62\u5f0f\u3068\u5fa9\u53f7\u51e6\u7406\u3092\u3069\u3053\u3078\u914d\u7f6e\u3059\u308b\u304b\u3068\u3044\u3046\u8a2d\u8a08\u554f\u984c\u304c\u6b8b\u308b\u3053\u3068\u3092\u78ba\u8a8d\u3057\u305f<a href=\"#ref2\">[2]<\/a>\u3002\u6709\u9650\u30d3\u30c3\u30c8\u8868\u73fe\u3092\u5b9f\u969b\u306e\u63a8\u8ad6\u51e6\u7406\u3078\u7d44\u307f\u8fbc\u3080\u3068\u3001\u91cf\u5b50\u5316\u5668\u304c\u4f5c\u308b\u8aa4\u5dee\u3068\u3001\u305d\u306e\u8aa4\u5dee\u3092\u53d7\u3051\u53d6\u308b\u8a08\u7b97\u69cb\u9020\u306e\u4e21\u65b9\u304c\u6027\u80fd\u3092\u6c7a\u3081\u308b\u3002<\/p>\n<p>\u91cf\u5b50\u5316\u7406\u8ad6\u3067\u306f\u3001\u5165\u529b\u3068\u518d\u69cb\u6210\u5024\u306e\u5dee\u3092\u6b6a\u307f\u3068\u3057\u3066\u8a55\u4fa1\u3057\u3001\u9650\u3089\u308c\u305f\u7b26\u53f7\u6570\u306e\u4e0b\u3067\u305d\u306e\u6b6a\u307f\u3092\u5c0f\u3055\u304f\u3059\u308b\u554f\u984c\u304c\u7814\u7a76\u3055\u308c\u3066\u304d\u305f<a href=\"#ref3\">[3]<\/a>\u3002\u4e00\u65b9\u3001\u6709\u9650\u7cbe\u5ea6\u306e\u6570\u5024\u8a08\u7b97\u3067\u306f\u3001\u3042\u308b\u6f14\u7b97\u3067\u751f\u3058\u305f\u4e38\u3081\u8aa4\u5dee\u304c\u5f8c\u7d9a\u306e\u6f14\u7b97\u3078\u4f1d\u308f\u308a\u3001\u9014\u4e2d\u3067\u6e1b\u8870\u3059\u308b\u304b\u3001\u4fdd\u5b58\u3055\u308c\u308b\u304b\u3001\u5897\u5e45\u3055\u308c\u308b\u304b\u304c\u8a08\u7b97\u7d50\u679c\u306e\u7cbe\u5ea6\u3092\u5de6\u53f3\u3059\u308b<a href=\"#ref4\">[4]<\/a>\u3002\u91cf\u5b50\u5316\u3057\u305f\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3067\u306f\u3001\u3053\u306e\u4e8c\u3064\u306e\u554f\u984c\u304c\u91cd\u306a\u308b\u3002\u91cf\u5b50\u5316\u5668\u304c\u5c40\u6240\u7684\u306a\u8aa4\u5dee\u3092\u4f5c\u308a\u3001\u305d\u306e\u8aa4\u5dee\u3092\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u72b6\u614b\u9077\u79fb\u3068\u8aad\u307f\u51fa\u3057\u51e6\u7406\u304c\u6b21\u306e\u8a08\u7b97\u3078\u904b\u3076\u3002<\/p>\n<p>LLM \u306e\u63a8\u8ad6\u3067\u306f\u3001\u3053\u3053\u306b\u30e1\u30e2\u30ea\u8ee2\u9001\u91cf\u3068\u3044\u3046\u5b9f\u88c5\u4e0a\u306e\u5236\u7d04\u3082\u52a0\u308f\u308b\u3002\u91cd\u307f\u3001\u6d3b\u6027\u5024\u3001\u518d\u5e30\u72b6\u614b\u3001KV \u30ad\u30e3\u30c3\u30b7\u30e5\u3092\u4f4e\u30d3\u30c3\u30c8\u5316\u3059\u308b\u3068\u3001\u30e1\u30e2\u30ea\u306b\u4fdd\u6301\u3059\u308b\u30c7\u30fc\u30bf\u91cf\u3060\u3051\u3067\u306a\u304f\u3001\u5404\u751f\u6210\u30b9\u30c6\u30c3\u30d7\u3067\u30e1\u30e2\u30ea\u304b\u3089\u8aad\u307f\u51fa\u3059\u30c7\u30fc\u30bf\u91cf\u3082\u6e1b\u308b\u3002\u6f14\u7b97\u80fd\u529b\u306b\u5bfe\u3057\u3066\u30e1\u30e2\u30ea\u8ee2\u9001\u91cf\u304c\u5927\u304d\u3044\u51e6\u7406\u3067\u306f\u3001Roofline \u30e2\u30c7\u30eb\u304c\u793a\u3059\u3088\u3046\u306b\u30e1\u30e2\u30ea\u5e2f\u57df\u304c\u5b9f\u884c\u6027\u80fd\u306e\u4e0a\u9650\u3092\u6c7a\u3081\u308b\u305f\u3081\u3001\u4f4e\u30d3\u30c3\u30c8\u5316\u306b\u3088\u308b\u8ee2\u9001\u91cf\u524a\u6e1b\u304c\u63a8\u8ad6\u6027\u80fd\u3078\u76f4\u63a5\u3064\u306a\u304c\u308a\u5f97\u308b<a href=\"#ref5\">[5]<\/a>\u3002\u305d\u306e\u305f\u3081\u3001\u91cf\u5b50\u5316\u3067\u306f\u7cbe\u5ea6\u3092\u4fdd\u3064\u3053\u3068\u3068\u3001\u72b6\u614b\u3084\u30ad\u30e3\u30c3\u30b7\u30e5\u3092\u5b9f\u969b\u306b\u5c0f\u3055\u304f\u4fdd\u3064\u3053\u3068\u3092\u540c\u6642\u306b\u6e80\u305f\u3059\u5fc5\u8981\u304c\u3042\u308b\u3002<\/p>\n<p>\u3053\u306e\u95a2\u4fc2\u3092\u4e00\u3064\u306e\u554f\u984c\u3068\u3057\u3066\u898b\u308b\u3068\u3001\u91cf\u5b50\u5316\u306e\u8a55\u4fa1\u5bfe\u8c61\u306f\u3001\u91cf\u5b50\u5316\u76f4\u5f8c\u306e\u5024\u304b\u3089\u8a08\u7b97\u5168\u4f53\u3078\u5e83\u304c\u308b\u3002\u3069\u306e\u6642\u70b9\u3067\u8aa4\u5dee\u3092\u767a\u751f\u3055\u305b\u308b\u304b\u3001\u305d\u306e\u8aa4\u5dee\u304c\u72b6\u614b\u66f4\u65b0\u306b\u3088\u3063\u3066\u3069\u308c\u3060\u3051\u9577\u304f\u6b8b\u308b\u304b\u3001\u3069\u306e\u65b9\u5411\u306e\u8aa4\u5dee\u304c\u51fa\u529b\u3078\u5f37\u304f\u6295\u5f71\u3055\u308c\u308b\u304b\u306b\u3088\u3063\u3066\u3001\u540c\u3058\u30d3\u30c3\u30c8\u6570\u3067\u3082\u6700\u7d42\u7684\u306a\u5f71\u97ff\u306f\u5909\u308f\u308b\u3002\u4f4e\u30d3\u30c3\u30c8\u91cf\u5b50\u5316\u306f\u3001\u6709\u9650\u500b\u306e\u4ee3\u8868\u5024\u3092\u9078\u3076\u554f\u984c\u306b\u52a0\u3048\u3066\u3001\u9650\u3089\u308c\u305f\u7cbe\u5ea6\u3092\u8a08\u7b97\u69cb\u9020\u306e\u3069\u3053\u3078\u914d\u5206\u3059\u308b\u304b\u3068\u3044\u3046\u6442\u52d5\u6700\u9069\u5316\u306e\u554f\u984c\u306b\u306a\u308b\u3002<\/p>\n<hr>\n<h2>1. \u540c\u3058\u91cf\u5b50\u5316\u8aa4\u5dee\u3067\u3082\u8a08\u7b97\u7d50\u679c\u3078\u306e\u5f71\u97ff\u306f\u540c\u3058\u3067\u306f\u306a\u3044<\/h2>\n<p>\u5143\u306e\u5024\u3092 \\(x\\)\u3001\u91cf\u5b50\u5316\u5f8c\u306e\u30b3\u30fc\u30c9\u304b\u3089\u518d\u69cb\u6210\u3057\u305f\u5024\u3092 \\(\\hat{x}\\) \u3068\u3059\u308b\u3002\u3053\u306e\u3068\u304d\u3001\u5c40\u6240\u7684\u306a\u91cf\u5b50\u5316\u8aa4\u5dee\u306f\u6b21\u306e\u3088\u3046\u306b\u66f8\u3051\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\varepsilon=\\hat{x}-x<br \/>\n\\]<\/p>\n<p>\\(\\varepsilon\\) \u306f\u3001\u91cf\u5b50\u5316\u3068\u3044\u3046\u591a\u5bfe\u4e00\u306e\u5bfe\u5fdc\u306b\u3088\u3063\u3066\u5931\u308f\u308c\u305f\u533a\u5225\u304c\u3001\u518d\u69cb\u6210\u5024\u3068\u306e\u6570\u5024\u5dee\u3068\u3057\u3066\u73fe\u308c\u305f\u3082\u306e\u3067\u3042\u308b\u3002\u5e73\u5747\u4e8c\u4e57\u8aa4\u5dee\u3092\u4f7f\u3046\u5834\u5408\u306f\u3001\u5404\u6210\u5206\u306e\u5dee\u3092\u4e8c\u4e57\u3057\u3066\u52a0\u7b97\u3057\u3001\u91cf\u5b50\u5316\u524d\u5f8c\u306e\u5024\u304c\u3069\u308c\u3060\u3051\u96e2\u308c\u305f\u304b\u3092\u8a55\u4fa1\u3059\u308b\u3002\u3053\u306e\u5c3a\u5ea6\u306f\u3001\u91cf\u5b50\u5316\u5668\u304c\u5165\u529b\u305d\u306e\u3082\u306e\u3092\u3069\u306e\u7a0b\u5ea6\u6b63\u78ba\u306b\u8fd1\u4f3c\u3067\u304d\u305f\u304b\u3092\u6e2c\u308b\u3002<\/p>\n<p>\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3067\u306f\u3001\u518d\u69cb\u6210\u3055\u308c\u305f \\(\\hat{x}\\) \u304c\u305d\u306e\u307e\u307e\u6700\u7d42\u7d50\u679c\u306b\u306a\u308b\u306e\u3067\u306f\u306a\u304f\u3001\u5f8c\u7d9a\u306e\u5c64\u3084\u72b6\u614b\u66f4\u65b0\u3078\u5165\u529b\u3055\u308c\u308b\u3002\u305d\u3053\u3067\u3001\\(x\\) \u304c\u7dda\u5f62\u5199\u50cf \\(W^\\top x\\) \u306b\u6e21\u3055\u308c\u308b\u5834\u5408\u3092\u8003\u3048\u308b\u3002\u91cf\u5b50\u5316\u524d\u306e\u51fa\u529b\u3092 \\(y=W^\\top x\\)\u3001\u91cf\u5b50\u5316\u5f8c\u306e\u51fa\u529b\u3092 \\(\\hat{y}=W^\\top\\hat{x}\\) \u3068\u3059\u308b\u3068\u3001\u305d\u306e\u5dee\u306f\u6b21\u306e\u3088\u3046\u306b\u306a\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\Delta y<br \/>\n=<br \/>\n\\hat{y}-y<br \/>\n=<br \/>\nW^\\top(\\hat{x}-x)<br \/>\n=<br \/>\nW^\\top\\varepsilon<br \/>\n\\]<\/p>\n<p>\\(W\\) \u306f\u5f8c\u7d9a\u8a08\u7b97\u306e\u91cd\u307f\u3001\\(\\Delta y\\) \u306f\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u5b9f\u969b\u306e\u51fa\u529b\u3078\u73fe\u308c\u305f\u91cf\u3067\u3042\u308b\u3002\u3053\u3053\u3067\u306f\u3001\u5165\u529b\u7a7a\u9593\u3067\u751f\u3058\u305f \\(\\varepsilon\\) \u304c \\(W^\\top\\) \u306b\u3088\u3063\u3066\u5225\u306e\u7a7a\u9593\u3078\u5199\u3055\u308c\u3066\u3044\u308b\u3002\u91cf\u5b50\u5316\u524d\u5f8c\u306e\u5024\u3060\u3051\u3092\u6bd4\u8f03\u3059\u308b\u3068 \\(\\varepsilon\\) \u306e\u5927\u304d\u3055\u307e\u3067\u3057\u304b\u5206\u304b\u3089\u306a\u3044\u304c\u3001\u30e2\u30c7\u30eb\u304c\u53d7\u3051\u308b\u5f71\u97ff\u306f \\(W\\) \u3092\u901a\u3057\u305f\u5f8c\u306e \\(\\Delta y\\) \u306b\u73fe\u308c\u308b\u3002<\/p>\n<p>\u51fa\u529b\u8aa4\u5dee\u306e\u4e8c\u4e57\u30ce\u30eb\u30e0\u3092\u8a08\u7b97\u3059\u308b\u3068\u3001\u3053\u306e\u65b9\u5411\u4f9d\u5b58\u6027\u3092\u660e\u793a\u3067\u304d\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\|\\Delta y\\|_2^2<br \/>\n=<br \/>\n\\varepsilon^\\top WW^\\top\\varepsilon<br \/>\n\\]<\/p>\n<p>\\(WW^\\top\\) \u306f\u3001\u5165\u529b\u7a7a\u9593\u306e\u5404\u65b9\u5411\u306b\u751f\u3058\u305f\u8aa4\u5dee\u304c\u51fa\u529b\u3078\u3069\u306e\u7a0b\u5ea6\u5f37\u304f\u5199\u3055\u308c\u308b\u304b\u3092\u8868\u3059\u3002\u305f\u3068\u3048\u3070 \\(\\varepsilon\\) \u304c \\(WW^\\top\\) \u306e\u5927\u304d\u306a\u56fa\u6709\u5024\u306b\u5bfe\u5fdc\u3059\u308b\u56fa\u6709\u30d9\u30af\u30c8\u30eb\u3068\u540c\u3058\u65b9\u5411\u3092\u5411\u3051\u3070\u3001\u305d\u306e\u6210\u5206\u306f\u51fa\u529b\u3067\u5927\u304d\u304f\u91cd\u307f\u4ed8\u3051\u3055\u308c\u308b\u3002\u5c0f\u3055\u306a\u56fa\u6709\u5024\u306b\u5bfe\u5fdc\u3059\u308b\u65b9\u5411\u3078\u540c\u3058\u5927\u304d\u3055\u306e\u8aa4\u5dee\u3092\u7f6e\u3051\u3070\u3001\u51fa\u529b\u3078\u306e\u5f71\u97ff\u306f\u5c0f\u3055\u304f\u306a\u308b\u3002<\/p>\n<p>\u3057\u305f\u304c\u3063\u3066\u3001\u4e8c\u3064\u306e\u91cf\u5b50\u5316\u65b9\u5f0f\u304c\u540c\u3058 \\(\\|\\varepsilon\\|_2\\) \u3092\u9054\u6210\u3057\u3066\u3044\u3066\u3082\u3001\u6700\u7d42\u7684\u306a\u30e2\u30c7\u30eb\u51fa\u529b\u3078\u306e\u5f71\u97ff\u304c\u540c\u3058\u306b\u306a\u308b\u3068\u306f\u9650\u3089\u306a\u3044\u3002\u4e00\u65b9\u306e\u65b9\u5f0f\u304c\u5f8c\u7d9a\u8a08\u7b97\u306e\u611f\u5ea6\u304c\u9ad8\u3044\u65b9\u5411\u3078\u8aa4\u5dee\u3092\u4f5c\u308a\u3001\u3082\u3046\u4e00\u65b9\u304c\u611f\u5ea6\u306e\u4f4e\u3044\u65b9\u5411\u3078\u8aa4\u5dee\u3092\u5206\u6563\u3055\u305b\u308c\u3070\u3001\u5165\u529b\u7a7a\u9593\u3067\u6e2c\u3063\u305f\u5e73\u5747\u4e8c\u4e57\u8aa4\u5dee\u304c\u540c\u7a0b\u5ea6\u3067\u3082\u51fa\u529b\u8aa4\u5dee\u306b\u306f\u5dee\u304c\u751f\u3058\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u8a55\u4fa1\u5bfe\u8c61<\/th>\n<th>\u6e2c\u3063\u3066\u3044\u308b\u3082\u306e<\/th>\n<th>\u8a55\u4fa1\u306b\u52a0\u3048\u308b\u5fc5\u8981\u304c\u3042\u308b\u69cb\u9020<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u5c40\u6240\u7684\u306a\u91cf\u5b50\u5316\u8aa4\u5dee<\/td>\n<td>\u91cf\u5b50\u5316\u524d\u306e\u5024\u3068\u518d\u69cb\u6210\u5024\u304c\u3069\u308c\u3060\u3051\u96e2\u308c\u305f\u304b\u3092\u6e2c\u308b\u3002<\/td>\n<td>\u91cf\u5b50\u5316\u5668\u305d\u306e\u3082\u306e\u306e\u518d\u69cb\u6210\u7cbe\u5ea6\u3092\u8a55\u4fa1\u3067\u304d\u308b\u304c\u3001\u5f8c\u7d9a\u6f14\u7b97\u306e\u65b9\u5411\u5225\u611f\u5ea6\u306f\u542b\u307e\u308c\u306a\u3044\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u51fa\u529b\u8aa4\u5dee<\/td>\n<td>\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u5f8c\u7d9a\u306e\u6f14\u7b97\u7d50\u679c\u3092\u3069\u308c\u3060\u3051\u5909\u3048\u305f\u304b\u3092\u6e2c\u308b\u3002<\/td>\n<td>\\(W\\) \u3084 \\(WW^\\top\\) \u3092\u901a\u3058\u3066\u3001\u3069\u306e\u8aa4\u5dee\u65b9\u5411\u304c\u51fa\u529b\u3078\u5f37\u304f\u6295\u5f71\u3055\u308c\u308b\u304b\u3092\u542b\u3081\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u6642\u9593\u3092\u542b\u3080\u72b6\u614b\u8aa4\u5dee<\/td>\n<td>\u904e\u53bb\u306b\u751f\u3058\u305f\u8aa4\u5dee\u304c\u72b6\u614b\u66f4\u65b0\u3092\u901a\u3058\u3066\u6b8b\u308a\u3001\u5c06\u6765\u306e\u51fa\u529b\u3078\u4e0e\u3048\u308b\u5f71\u97ff\u3092\u6e2c\u308b\u3002<\/td>\n<td>\u65b9\u5411\u5225\u611f\u5ea6\u306b\u52a0\u3048\u3066\u3001\u72b6\u614b\u9077\u79fb\u306b\u3088\u308b\u8aa4\u5dee\u306e\u6e1b\u8870\u3001\u4fdd\u5b58\u3001\u7d2f\u7a4d\u3092\u542b\u3081\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u3053\u306e\u9055\u3044\u306b\u3088\u3063\u3066\u3001\u4f4e\u30d3\u30c3\u30c8\u5316\u3067\u7cbe\u5ea6\u3092\u914d\u5206\u3059\u308b\u57fa\u6e96\u3082\u5909\u308f\u308b\u3002\u5165\u529b\u7a7a\u9593\u306e\u3059\u3079\u3066\u306e\u6210\u5206\u3092\u540c\u3058\u7cbe\u5ea6\u3067\u8fd1\u4f3c\u3059\u308b\u8a2d\u8a08\u3067\u306f\u3001\u30e2\u30c7\u30eb\u51fa\u529b\u3078\u306e\u5f71\u97ff\u304c\u5c0f\u3055\u3044\u65b9\u5411\u306b\u3082\u540c\u3058\u30d3\u30c3\u30c8\u4e88\u7b97\u3092\u4f7f\u3046\u3002\u5f8c\u7d9a\u8a08\u7b97\u306e\u611f\u5ea6\u304c\u5206\u304b\u308c\u3070\u3001\u51fa\u529b\u3078\u5f37\u304f\u6295\u5f71\u3055\u308c\u308b\u6210\u5206\u3092\u9ad8\u3044\u7cbe\u5ea6\u3067\u6b8b\u3057\u3001\u5f71\u97ff\u306e\u5c0f\u3055\u3044\u65b9\u5411\u3067\u306f\u3088\u308a\u5927\u304d\u306a\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u8a31\u5bb9\u3059\u308b\u8a2d\u8a08\u304c\u53ef\u80fd\u306b\u306a\u308b\u3002<\/p>\n<p>\u518d\u5e30\u72b6\u614b\u3092\u6301\u3064\u30e2\u30c7\u30eb\u3067\u306f\u3001\u3053\u306e\u65b9\u5411\u4f9d\u5b58\u6027\u306b\u6642\u9593\u65b9\u5411\u306e\u4f9d\u5b58\u6027\u3082\u91cd\u306a\u308b\u3002\u4e00\u5ea6\u751f\u3058\u305f\u8aa4\u5dee\u304c\u72b6\u614b\u66f4\u65b0\u3092\u901a\u3058\u3066\u6b21\u306e\u72b6\u614b\u3078\u5165\u308a\u3001\u305d\u306e\u72b6\u614b\u304c\u3055\u3089\u306b\u91cf\u5b50\u5316\u3055\u308c\u308c\u3070\u3001\u904e\u53bb\u306e\u8aa4\u5dee\u3092\u542b\u3093\u3060\u5024\u3078\u65b0\u3057\u3044\u8aa4\u5dee\u304c\u52a0\u308f\u308b\u3002\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u8a55\u4fa1\u3059\u308b\u5c3a\u5ea6\u306f\u3001\u5c40\u6240\u7684\u306a\u8ddd\u96e2\u304b\u3089\u51fa\u529b\u3078\u306e\u5c04\u5f71\u3078\u9032\u307f\u3001\u3055\u3089\u306b\u8aa4\u5dee\u304c\u5c06\u6765\u3078\u6b8b\u308b\u6642\u9593\u767a\u5c55\u307e\u3067\u542b\u3080\u5fc5\u8981\u304c\u3042\u308b\u3002<\/p>\n<hr>\n<h2>2. \u518d\u5e30\u72b6\u614b\u3067\u306f\u91cf\u5b50\u5316\u8aa4\u5dee\u305d\u306e\u3082\u306e\u304c\u6b21\u306e\u5165\u529b\u306b\u306a\u308b<\/h2>\n<p>\u901a\u5e38\u306e Attention \u3067\u306f\u3001\u904e\u53bb\u306e\u30ad\u30fc\u3068\u30d0\u30ea\u30e5\u30fc \u3092 KV \u30ad\u30e3\u30c3\u30b7\u30e5\u3078\u4fdd\u5b58\u3057\u3001\u5f8c\u7d9a\u30c8\u30fc\u30af\u30f3\u304b\u3089\u76f4\u63a5\u53c2\u7167\u3059\u308b\u3002\u7dda\u5f62 Attention \u306e\u4e00\u90e8\u306f\u3001\u3053\u306e\u5c65\u6b74\u3092\u56fa\u5b9a\u30b5\u30a4\u30ba\u306e\u518d\u5e30\u72b6\u614b\u3078\u96c6\u7d04\u3059\u308b\u3002Gated DeltaNet \u306f\u30b2\u30fc\u30c8\u306b\u3088\u308b\u5fd8\u5374\u3068 Delta rule \u306b\u3088\u308b\u9078\u629e\u7684\u306a\u66f4\u65b0\u3092\u7d44\u307f\u5408\u308f\u305b<a href=\"#ref6\">[6]<\/a>\u3001Kimi Linear \u306e Kimi Delta Attention \u3082\u56fa\u5b9a\u30b5\u30a4\u30ba\u306e\u72b6\u614b\u3092\u9010\u6b21\u66f4\u65b0\u3057\u3066\u5c65\u6b74\u3092\u4fdd\u6301\u3059\u308b<a href=\"#ref7\">[7]<\/a>\u3002\u4fdd\u6301\u3059\u308b\u72b6\u614b\u91cf\u3092\u7cfb\u5217\u9577\u306b\u5bfe\u3057\u3066\u4e00\u5b9a\u306b\u3067\u304d\u308b\u4e00\u65b9\u3001\u305d\u306e\u72b6\u614b\u306f\u4e00\u5ea6\u8a08\u7b97\u3057\u3066\u7d42\u308f\u308b\u4e2d\u9593\u5024\u3067\u306f\u306a\u304f\u3001\u6b21\u306e\u6642\u523b\u306e\u72b6\u614b\u3092\u4f5c\u308b\u5165\u529b\u3068\u3057\u3066\u7e70\u308a\u8fd4\u3057\u4f7f\u308f\u308c\u308b\u3002<\/p>\n<p>\u3053\u306e\u518d\u5229\u7528\u304c\u3001\u518d\u5e30\u72b6\u614b\u306e\u91cf\u5b50\u5316\u3092\u901a\u5e38\u306e\u4e00\u56de\u9650\u308a\u306e\u91cf\u5b50\u5316\u3068\u7570\u306a\u308b\u554f\u984c\u306b\u3059\u308b\u3002\u72b6\u614b\u3092\u4f4e\u30d3\u30c3\u30c8\u3067\u4fdd\u5b58\u3059\u308b\u3068\u3001\u91cf\u5b50\u5316\u306b\u3088\u3063\u3066\u751f\u3058\u305f\u8aa4\u5dee\u3082\u6b21\u306e\u72b6\u614b\u66f4\u65b0\u3078\u5165\u529b\u3055\u308c\u308b\u3002\u305d\u306e\u66f4\u65b0\u7d50\u679c\u3092\u518d\u3073\u91cf\u5b50\u5316\u3059\u308c\u3070\u3001\u4ee5\u524d\u306e\u8aa4\u5dee\u3092\u542b\u3080\u72b6\u614b\u3078\u65b0\u3057\u3044\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u52a0\u308f\u308b\u3002\u8aa4\u5dee\u306e\u5f71\u97ff\u306f\u3001\u305d\u306e\u6642\u70b9\u306e\u518d\u69cb\u6210\u7cbe\u5ea6\u3060\u3051\u3067\u306a\u304f\u3001\u72b6\u614b\u66f4\u65b0\u3092\u4f55\u56de\u901a\u904e\u3057\u3001\u305d\u306e\u904e\u7a0b\u3067\u3069\u306e\u7a0b\u5ea6\u6b8b\u308b\u304b\u306b\u3088\u3063\u3066\u6c7a\u307e\u308b\u3002<\/p>\n<p>\u3053\u306e\u69cb\u9020\u3092\u898b\u308b\u305f\u3081\u306b\u3001\u6642\u523b \\(t\\) \u306e\u518d\u5e30\u72b6\u614b\u3092 \\(x_t\\) \u3068\u3057\u3001\u72b6\u614b\u66f4\u65b0\u3092\u6b21\u306e\u5f62\u3078\u5358\u7d14\u5316\u3059\u308b\u3002<\/p>\n<p>\\[<br \/>\nx_t=A_t x_{t-1}+u_t<br \/>\n\\]<\/p>\n<p>\\(x_{t-1}\\) \u306f\u4e00\u3064\u524d\u306e\u72b6\u614b\u3001\\(A_t\\) \u306f\u305d\u306e\u72b6\u614b\u3092\u73fe\u5728\u3078\u3069\u306e\u3088\u3046\u306b\u5f15\u304d\u7d99\u3050\u304b\u3092\u8868\u3059\u72b6\u614b\u9077\u79fb\u3001\\(u_t\\) \u306f\u73fe\u5728\u306e\u30c8\u30fc\u30af\u30f3\u304b\u3089\u65b0\u305f\u306b\u52a0\u308f\u308b\u66f4\u65b0\u3067\u3042\u308b\u3002\u5b9f\u969b\u306e Delta-rule \u7cfb\u30e2\u30c7\u30eb\u3067\u306f\u72b6\u614b\u306f\u884c\u5217\u3067\u3042\u308a\u3001\u66f4\u65b0\u3082\u5165\u529b\u4f9d\u5b58\u3060\u304c\u3001\u8aa4\u5dee\u4f1d\u64ad\u3092\u8003\u3048\u308b\u3068\u304d\u306e\u4e2d\u5fc3\u306f\u3001\u904e\u53bb\u306e\u72b6\u614b\u3078\u4f55\u3089\u304b\u306e\u4f5c\u7528\u7d20\u3092\u9069\u7528\u3057\u3001\u73fe\u5728\u306e\u66f4\u65b0\u3092\u52a0\u3048\u308b\u3068\u3044\u3046\u69cb\u9020\u306b\u3042\u308b\u3002<\/p>\n<p>\u91cf\u5b50\u5316\u3055\u308c\u305f\u72b6\u614b\u3092 \\(\\hat{x}_t\\) \u3068\u3057\u3001\u305d\u306e\u6642\u70b9\u306e\u91cf\u5b50\u5316\u306b\u3088\u3063\u3066\u65b0\u305f\u306b\u751f\u3058\u308b\u8aa4\u5dee\u3092 \\(\\varepsilon_t\\) \u3068\u3059\u308b\u3002\u540c\u3058\u72b6\u614b\u66f4\u65b0\u3092\u91cf\u5b50\u5316\u3055\u308c\u305f\u72b6\u614b\u3078\u9069\u7528\u3059\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\n\\hat{x}_t<br \/>\n=<br \/>\nA_t\\hat{x}_{t-1}<br \/>\n+<br \/>\nu_t<br \/>\n+<br \/>\n\\varepsilon_t<br \/>\n\\]<\/p>\n<p>\u3068\u8868\u305b\u308b\u3002\u3053\u3053\u3067 \\(\\varepsilon_t\\) \u306f\u3001\u6642\u523b \\(t\\) \u306e\u91cf\u5b50\u5316\u64cd\u4f5c\u304c\u65b0\u305f\u306b\u8ffd\u52a0\u3057\u305f\u5c40\u6240\u8aa4\u5dee\u3067\u3042\u308b\u3002\u91cf\u5b50\u5316\u3055\u308c\u3066\u3044\u306a\u3044\u8ecc\u9053\u3068\u306e\u5dee\u3092\u3001<\/p>\n<p>\\[<br \/>\ne_t=\\hat{x}_t-x_t<br \/>\n\\]<\/p>\n<p>\u3068\u5b9a\u7fa9\u3057\u3001\u4e8c\u3064\u306e\u72b6\u614b\u66f4\u65b0\u5f0f\u306e\u5dee\u3092\u53d6\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\ne_t<br \/>\n=<br \/>\nA_te_{t-1}<br \/>\n+<br \/>\n\\varepsilon_t<br \/>\n\\]<\/p>\n<p>\u304c\u5f97\u3089\u308c\u308b\u3002\u53f3\u8fba\u306e \\(A_te_{t-1}\\) \u306f\u904e\u53bb\u306b\u84c4\u7a4d\u3057\u305f\u8aa4\u5dee\u304c\u73fe\u5728\u307e\u3067\u904b\u3070\u308c\u305f\u90e8\u5206\u3067\u3042\u308a\u3001\\(\\varepsilon_t\\) \u306f\u73fe\u5728\u306e\u91cf\u5b50\u5316\u306b\u3088\u3063\u3066\u65b0\u3057\u304f\u52a0\u308f\u3063\u305f\u90e8\u5206\u3067\u3042\u308b\u3002\u518d\u5e30\u72b6\u614b\u306e\u91cf\u5b50\u5316\u3067\u306f\u3001\u3053\u306e\u4e8c\u3064\u304c\u540c\u3058 \\(e_t\\) \u306e\u4e2d\u306b\u5171\u5b58\u3059\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u9805<\/th>\n<th>\u6570\u7406\u4e0a\u306e\u5f79\u5272<\/th>\n<th>\u91cf\u5b50\u5316\u8a2d\u8a08\u4e0a\u306e\u610f\u5473<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\\(e_{t-1}\\)<\/td>\n<td>\u904e\u53bb\u306e\u91cf\u5b50\u5316\u306b\u3088\u3063\u3066\u3059\u3067\u306b\u72b6\u614b\u3078\u84c4\u7a4d\u3057\u3066\u3044\u308b\u8aa4\u5dee\u3092\u8868\u3059\u3002<\/td>\n<td>\u73fe\u5728\u306e\u91cf\u5b50\u5316\u7cbe\u5ea6\u3060\u3051\u3092\u6539\u5584\u3057\u3066\u3082\u3001\u3053\u306e\u6210\u5206\u306f\u6b8b\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(A_te_{t-1}\\)<\/td>\n<td>\u904e\u53bb\u306e\u8aa4\u5dee\u304c\u73fe\u5728\u306e\u72b6\u614b\u3078\u3069\u308c\u3060\u3051\u6b8b\u308b\u304b\u3092\u8868\u3059\u3002<\/td>\n<td>\u72b6\u614b\u9077\u79fb\u306b\u3088\u308b\u6e1b\u8870\u304c\u9045\u3044\u6210\u5206\u3067\u306f\u3001\u4e00\u5ea6\u306e\u8aa4\u5dee\u304c\u591a\u6570\u306e\u6642\u523b\u3078\u5f71\u97ff\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(\\varepsilon_t\\)<\/td>\n<td>\u73fe\u5728\u306e\u91cf\u5b50\u5316\u64cd\u4f5c\u306b\u3088\u3063\u3066\u65b0\u305f\u306b\u6ce8\u5165\u3055\u308c\u308b\u8aa4\u5dee\u3092\u8868\u3059\u3002<\/td>\n<td>\u91cf\u5b50\u5316\u5668\u306e\u7cbe\u5ea6\u3060\u3051\u3067\u306a\u304f\u3001\u91cf\u5b50\u5316\u3092\u5b9f\u884c\u3059\u308b\u983b\u5ea6\u306b\u3088\u3063\u3066\u7d2f\u7a4d\u91cf\u304c\u5909\u308f\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u4e00\u56de\u3060\u3051\u91cf\u5b50\u5316\u3059\u308b\u5834\u5408\u3001\u4e3b\u306a\u8a55\u4fa1\u5bfe\u8c61\u306f\u305d\u306e\u4e00\u56de\u3067\u751f\u3058\u308b \\(\\varepsilon_t\\) \u3067\u3042\u308b\u3002\u6bce\u30c8\u30fc\u30af\u30f3\u518d\u91cf\u5b50\u5316\u3059\u308b\u5834\u5408\u306f\u72b6\u6cc1\u304c\u5909\u308f\u308b\u3002\u6642\u523b \\(t-1\\) \u307e\u3067\u306b\u751f\u3058\u305f\u8aa4\u5dee\u3092\u542b\u3080 \\(\\hat{x}_{t-1}\\) \u304c\u72b6\u614b\u66f4\u65b0\u3078\u5165\u308a\u3001\u305d\u306e\u7d50\u679c\u3078\u3055\u3089\u306b \\(\\varepsilon_t\\) \u304c\u52a0\u308f\u308b\u3002\u76f4\u63a5\u539f\u56e0\u306f\u91cf\u5b50\u5316\u64cd\u4f5c\u306e\u53cd\u5fa9\u3067\u3042\u308a\u3001\u305d\u306e\u5f71\u97ff\u3092\u9577\u671f\u5316\u3055\u305b\u308b\u80cc\u5f8c\u69cb\u9020\u306f\u3001\u518d\u5e30\u72b6\u614b\u304c\u6b21\u306e\u8a08\u7b97\u3078\u305d\u306e\u307e\u307e\u5f15\u304d\u7d99\u304c\u308c\u308b\u3053\u3068\u3067\u3042\u308b\u3002<\/p>\n<p>\u72b6\u614b\u9077\u79fb \\(A_t\\) \u304c\u5404\u6642\u523b\u3067\u8aa4\u5dee\u3092\u5897\u5e45\u3057\u306a\u304f\u3066\u3082\u3001\u5341\u5206\u306a\u901f\u5ea6\u3067\u6e1b\u8870\u3057\u306a\u3051\u308c\u3070\u5f71\u97ff\u306f\u6b8b\u308b\u3002\u305f\u3068\u3048\u3070\u904e\u53bb\u306e\u8aa4\u5dee\u3092 0.99 \u500d\u305a\u3064\u4fdd\u6301\u3059\u308b\u65b9\u5411\u3067\u306f\u3001100 \u30b9\u30c6\u30c3\u30d7\u5f8c\u306b\u3082\u7d04 0.99<sup>100<\/sup> \u306e\u5272\u5408\u304c\u6b8b\u308b\u3002\u500b\u3005\u306e\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u5c0f\u3055\u304f\u3066\u3082\u3001\u4fdd\u6301\u7387\u304c\u9ad8\u3044\u72b6\u614b\u3078\u7e70\u308a\u8fd4\u3057\u8aa4\u5dee\u3092\u6ce8\u5165\u3059\u308c\u3070\u3001\u305d\u306e\u6642\u70b9\u3067\u89b3\u6e2c\u3055\u308c\u308b\u72b6\u614b\u8aa4\u5dee\u306f\u8907\u6570\u6642\u523b\u306e\u5bc4\u4e0e\u3092\u542b\u3080\u3002<\/p>\n<p>\u8aa4\u5dee\u306e\u518d\u5e30\u5f0f\u3092\u5b9f\u969b\u306b\u5c55\u958b\u3059\u308b\u3068\u3001\u3053\u306e\u91cd\u306d\u5408\u308f\u305b\u3092\u660e\u793a\u3067\u304d\u308b\u3002\u521d\u671f\u72b6\u614b\u306b\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u306a\u3044\u5834\u5408\u3001<\/p>\n<p>\\[<br \/>\ne_t<br \/>\n=<br \/>\n\\varepsilon_t<br \/>\n+<br \/>\nA_t\\varepsilon_{t-1}<br \/>\n+<br \/>\nA_tA_{t-1}\\varepsilon_{t-2}<br \/>\n+<br \/>\nA_tA_{t-1}A_{t-2}\\varepsilon_{t-3}<br \/>\n+<br \/>\n\\cdots<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u73fe\u5728\u306e\u8aa4\u5dee \\(e_t\\) \u306f\u3001\u73fe\u5728\u306e \\(\\varepsilon_t\\) \u3060\u3051\u3067\u69cb\u6210\u3055\u308c\u3066\u3044\u308b\u308f\u3051\u3067\u306f\u306a\u3044\u30021 \u30b9\u30c6\u30c3\u30d7\u524d\u306e\u8aa4\u5dee\u306b\u306f \\(A_t\\)\u30012 \u30b9\u30c6\u30c3\u30d7\u524d\u306e\u8aa4\u5dee\u306b\u306f \\(A_tA_{t-1}\\)\u3001\u3055\u3089\u306b\u53e4\u3044\u8aa4\u5dee\u306b\u306f\u3088\u308a\u9577\u3044\u72b6\u614b\u9077\u79fb\u306e\u7a4d\u304c\u4f5c\u7528\u3059\u308b\u3002\u6642\u523b \\(s\\) \u3067\u751f\u3058\u305f\u8aa4\u5dee\u304c\u6642\u523b \\(t\\) \u307e\u3067\u6b8b\u308b\u91cf\u306f\u3001\u4e00\u822c\u306b\u3001<\/p>\n<p>\\[<br \/>\nA_tA_{t-1}\\cdots A_{s+1}\\varepsilon_s<br \/>\n\\]<\/p>\n<p>\u3067\u6c7a\u307e\u308b\u3002\u3053\u306e\u7a4d\u304c\u6025\u901f\u306b\u5c0f\u3055\u304f\u306a\u308b\u65b9\u5411\u3067\u306f\u53e4\u3044\u8aa4\u5dee\u306e\u5f71\u97ff\u306f\u77ed\u6642\u9593\u3067\u6d88\u3048\u3001\u9577\u304f\u4fdd\u305f\u308c\u308b\u65b9\u5411\u3067\u306f\u4e00\u5ea6\u306e\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u591a\u6570\u306e\u751f\u6210\u30b9\u30c6\u30c3\u30d7\u306b\u308f\u305f\u3063\u3066\u72b6\u614b\u3078\u6b8b\u308b\u3002<\/p>\n<p>\u518d\u5e30\u72b6\u614b\u306e\u4f4e\u30d3\u30c3\u30c8\u5316\u3067\u306f\u3001\u91cf\u5b50\u5316\u5668\u5358\u4f53\u306e\u5e73\u5747\u4e8c\u4e57\u8aa4\u5dee\u3060\u3051\u3092\u6700\u5c0f\u5316\u3057\u3066\u3082\u3001\u7cfb\u5217\u5168\u4f53\u3067\u89b3\u6e2c\u3055\u308c\u308b\u72b6\u614b\u8aa4\u5dee\u3092\u76f4\u63a5\u306b\u306f\u6700\u5c0f\u5316\u3057\u306a\u3044\u3002\u5c40\u6240\u8aa4\u5dee \\(\\varepsilon_t\\) \u306e\u5927\u304d\u3055\u306b\u52a0\u3048\u3066\u3001\u305d\u308c\u3092\u4f55\u56de\u6ce8\u5165\u3059\u308b\u304b\u3001\u5404\u8aa4\u5dee\u304c\u72b6\u614b\u9077\u79fb\u306e\u7a4d\u306b\u3088\u3063\u3066\u4f55\u30b9\u30c6\u30c3\u30d7\u6b8b\u308b\u304b\u304c\u7d2f\u7a4d\u8aa4\u5dee\u3092\u6c7a\u3081\u308b\u3002\u91cf\u5b50\u5316\u7cbe\u5ea6\u306e\u8a55\u4fa1\u5bfe\u8c61\u306f\u3001\u4e00\u56de\u306e\u4e38\u3081\u8aa4\u5dee\u304b\u3089\u3001\u8aa4\u5dee\u304c\u6642\u9593\u65b9\u5411\u3078\u904b\u3070\u308c\u308b\u52d5\u529b\u5b66\u3078\u5e83\u304c\u308b\u3002<\/p>\n<hr>\n<h2>3. \u8aa4\u5dee\u306e\u91cd\u8981\u5ea6\u306f\u30ce\u30eb\u30e0\u3067\u306f\u306a\u304f\u51fa\u529b\u3078\u306e\u5c04\u5f71\u3067\u6c7a\u307e\u308b<\/h2>\n<p>\u518d\u5e30\u72b6\u614b\u306b\u8aa4\u5dee\u304c\u6b8b\u3063\u3066\u3044\u3066\u3082\u3001\u305d\u306e\u8aa4\u5dee\u304c\u305d\u306e\u307e\u307e\u540c\u3058\u5927\u304d\u3055\u3067\u30e2\u30c7\u30eb\u51fa\u529b\u3078\u73fe\u308c\u308b\u308f\u3051\u3067\u306f\u306a\u3044\u3002\u72b6\u614b\u7a7a\u9593\u306b\u306f\u3001\u51fa\u529b\u304c\u5f37\u304f\u53c2\u7167\u3059\u308b\u65b9\u5411\u3068\u3001\u307b\u3068\u3093\u3069\u53c2\u7167\u3057\u306a\u3044\u65b9\u5411\u304c\u3042\u308b\u305f\u3081\u3067\u3042\u308b\u3002\u6642\u523b \\(t\\) \u306e\u72b6\u614b\u3092 \\(x_t\\)\u3001\u305d\u306e\u72b6\u614b\u304b\u3089\u51fa\u529b\u3092\u53d6\u308a\u51fa\u3059\u8aad\u307f\u51fa\u3057\u3092\u5c40\u6240\u7684\u306b \\(y_t=G_tx_t\\) \u3068\u66f8\u304f\u3068\u3001\u72b6\u614b\u8aa4\u5dee \\(e_t\\) \u306b\u3088\u3063\u3066\u751f\u3058\u308b\u51fa\u529b\u5dee\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\Delta y_t<br \/>\n=<br \/>\nG_te_t<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\\(G_t\\) \u306f\u3001\u72b6\u614b\u7a7a\u9593\u306e\u5404\u65b9\u5411\u304c\u73fe\u5728\u306e\u51fa\u529b\u3078\u3069\u306e\u3088\u3046\u306b\u5199\u3055\u308c\u308b\u304b\u3092\u8868\u3059\u4f5c\u7528\u7d20\u3067\u3042\u308b\u3002\u540c\u3058\u30ce\u30eb\u30e0\u3092\u6301\u3064\u4e8c\u3064\u306e\u72b6\u614b\u8aa4\u5dee\u3067\u3082\u3001\\(G_t\\) \u304c\u5f37\u304f\u8aad\u307f\u51fa\u3059\u65b9\u5411\u3078\u5411\u3044\u305f\u8aa4\u5dee\u306f\u5927\u304d\u306a \\(\\Delta y_t\\) \u3092\u751f\u307f\u3001\u8aad\u307f\u51fa\u3057\u611f\u5ea6\u306e\u4f4e\u3044\u65b9\u5411\u3078\u5411\u3044\u305f\u8aa4\u5dee\u306f\u51fa\u529b\u3078\u307b\u3068\u3093\u3069\u73fe\u308c\u306a\u3044\u3002<\/p>\n<p>\u3053\u306e\u9055\u3044\u306f\u3001\u51fa\u529b\u8aa4\u5dee\u306e\u4e8c\u4e57\u30ce\u30eb\u30e0\u3092\u53d6\u308b\u3068\u660e\u793a\u3067\u304d\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\|\\Delta y_t\\|_2^2<br \/>\n=<br \/>\ne_t^\\top G_t^\\top G_t e_t<br \/>\n\\]<\/p>\n<p>\u3053\u3053\u3067\u3001<\/p>\n<p>\\[<br \/>\nH_t<br \/>\n=<br \/>\nG_t^\\top G_t<br \/>\n\\]<\/p>\n<p>\u3068\u7f6e\u3051\u3070\u3001\u72b6\u614b\u8aa4\u5dee\u304c\u51fa\u529b\u3078\u4e0e\u3048\u308b\u5f71\u97ff\u3092\u3001<\/p>\n<p>\\[<br \/>\n\\mathcal{L}_t<br \/>\n=<br \/>\ne_t^\\top H_t e_t<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u4e8c\u6b21\u5f62\u5f0f\u3067\u8868\u305b\u308b\u3002\\(H_t\\) \u306f\u3001\u72b6\u614b\u7a7a\u9593\u306e\u3069\u306e\u65b9\u5411\u3078\u8aa4\u5dee\u304c\u5b58\u5728\u3059\u308b\u3068\u51fa\u529b\u304c\u5927\u304d\u304f\u5909\u308f\u308b\u304b\u3092\u8868\u3059\u611f\u5ea6\u884c\u5217\u3068\u3057\u3066\u89e3\u91c8\u3067\u304d\u308b\u3002\\(H_t\\) \u306e\u5927\u304d\u306a\u56fa\u6709\u5024\u306b\u5bfe\u5fdc\u3059\u308b\u65b9\u5411\u3067\u306f\u5c0f\u3055\u306a\u72b6\u614b\u8aa4\u5dee\u3067\u3082\u51fa\u529b\u8aa4\u5dee\u304c\u5927\u304d\u304f\u306a\u308a\u3001\u5c0f\u3055\u306a\u56fa\u6709\u5024\u306b\u5bfe\u5fdc\u3059\u308b\u65b9\u5411\u3067\u306f\u6bd4\u8f03\u7684\u5927\u304d\u306a\u72b6\u614b\u8aa4\u5dee\u3092\u8a31\u5bb9\u3067\u304d\u308b\u3002<\/p>\n<p>\u3053\u3053\u307e\u3067\u3067\u3001\u91cf\u5b50\u5316\u8aa4\u5dee\u306b\u306f\u5c11\u306a\u304f\u3068\u3082\u4e09\u3064\u306e\u7570\u306a\u308b\u8a55\u4fa1\u6bb5\u968e\u304c\u3042\u308b\u3053\u3068\u304c\u5206\u304b\u308b\u3002\u6700\u521d\u306f\u3001\u305d\u306e\u6642\u70b9\u306e\u91cf\u5b50\u5316\u3067\u751f\u3058\u308b\u5c40\u6240\u8aa4\u5dee \\(\\varepsilon_t\\) \u3067\u3042\u308b\u3002\u6b21\u306b\u3001\u305d\u306e\u8aa4\u5dee\u304c\u72b6\u614b\u9077\u79fb \\(A_t\\) \u3092\u901a\u3058\u3066\u5c06\u6765\u3078\u6b8b\u308a\u3001\u72b6\u614b\u8aa4\u5dee \\(e_t\\) \u3092\u5f62\u6210\u3059\u308b\u3002\u6700\u5f8c\u306b\u3001\u305d\u306e \\(e_t\\) \u304c\u8aad\u307f\u51fa\u3057\u611f\u5ea6 \\(H_t\\) \u306b\u3088\u3063\u3066\u65b9\u5411\u5225\u306b\u91cd\u307f\u4ed8\u3051\u3055\u308c\u3001\u5b9f\u969b\u306e\u51fa\u529b\u640d\u5931\u3078\u5909\u63db\u3055\u308c\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\varepsilon_t<br \/>\n\\;\\longrightarrow\\;<br \/>\ne_t<br \/>\n\\;\\longrightarrow\\;<br \/>\ne_t^\\top H_t e_t<br \/>\n\\]<\/p>\n<p>\u7b2c\u4e00\u6bb5\u968e\u3067\u306f\u91cf\u5b50\u5316\u5668\u305d\u306e\u3082\u306e\u306e\u7cbe\u5ea6\u3092\u6e2c\u308a\u3001\u7b2c\u4e8c\u6bb5\u968e\u3067\u306f\u8aa4\u5dee\u306e\u6642\u9593\u7684\u306a\u5bff\u547d\u3092\u6e2c\u308a\u3001\u7b2c\u4e09\u6bb5\u968e\u3067\u306f\u30e2\u30c7\u30eb\u51fa\u529b\u306b\u5bfe\u3059\u308b\u5b9f\u52b9\u7684\u306a\u5f71\u97ff\u3092\u6e2c\u308b\u3002\u3053\u306e\u4e09\u3064\u3092\u533a\u5225\u3059\u308b\u3068\u3001\u5c40\u6240\u7684\u306a\u5e73\u5747\u4e8c\u4e57\u8aa4\u5dee\u3060\u3051\u3092\u6539\u5584\u3057\u3066\u3082\u3001\u6700\u7d42\u7684\u306a\u30e2\u30c7\u30eb\u6027\u80fd\u304c\u540c\u3058\u5272\u5408\u3067\u6539\u5584\u3059\u308b\u3068\u306f\u9650\u3089\u306a\u3044\u7406\u7531\u3092\u8aac\u660e\u3067\u304d\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u6570\u7406\u5bfe\u8c61<\/th>\n<th>\u8868\u3057\u3066\u3044\u308b\u3082\u306e<\/th>\n<th>\u91cf\u5b50\u5316\u8a2d\u8a08\u3067\u64cd\u4f5c\u3067\u304d\u308b\u8981\u7d20<\/th>\n<th>\u6027\u80fd\u3078\u306e\u5f71\u97ff<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\\(\\varepsilon_t\\)<\/td>\n<td>\u6642\u523b \\(t\\) \u306e\u91cf\u5b50\u5316\u64cd\u4f5c\u306b\u3088\u3063\u3066\u65b0\u3057\u304f\u767a\u751f\u3059\u308b\u5c40\u6240\u8aa4\u5dee\u3067\u3042\u308b\u3002<\/td>\n<td>\u91cf\u5b50\u5316\u5668\u3001\u30d3\u30c3\u30c8\u5e45\u3001\u5c3a\u5ea6\u3001\u5916\u308c\u5024\u51e6\u7406\u3001\u91cf\u5b50\u5316\u3092\u5b9f\u884c\u3059\u308b\u983b\u5ea6\u3092\u5909\u66f4\u3067\u304d\u308b\u3002<\/td>\n<td>\u4e00\u56de\u3054\u3068\u306e\u8aa4\u5dee\u91cf\u3068\u3001\u7cfb\u5217\u5168\u4f53\u3078\u65b0\u3057\u3044\u8aa4\u5dee\u3092\u6ce8\u5165\u3059\u308b\u56de\u6570\u3092\u5de6\u53f3\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(A_t\\)<\/td>\n<td>\u904e\u53bb\u306e\u72b6\u614b\u8aa4\u5dee\u3092\u73fe\u5728\u304b\u3089\u5c06\u6765\u3078\u904b\u3076\u72b6\u614b\u9077\u79fb\u3067\u3042\u308b\u3002<\/td>\n<td>\u8aa4\u5dee\u306e\u5bff\u547d\u3092\u63a8\u5b9a\u3057\u3001\u9577\u304f\u6b8b\u308b\u72b6\u614b\u3084\u6210\u5206\u3078\u9ad8\u3044\u7cbe\u5ea6\u3092\u914d\u5206\u3067\u304d\u308b\u3002<\/td>\n<td>\u540c\u3058\u5c40\u6240\u8aa4\u5dee\u3067\u3082\u3001\u77ed\u6642\u9593\u3067\u6e1b\u8870\u3059\u308b\u304b\u3001\u591a\u6570\u306e\u751f\u6210\u30b9\u30c6\u30c3\u30d7\u3078\u6b8b\u308b\u304b\u3092\u6c7a\u3081\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(H_t\\)<\/td>\n<td>\u73fe\u5728\u306e\u72b6\u614b\u8aa4\u5dee\u304c\u51fa\u529b\u3078\u4e0e\u3048\u308b\u65b9\u5411\u5225\u306e\u611f\u5ea6\u3067\u3042\u308b\u3002<\/td>\n<td>\u91cd\u8981\u306a\u884c\u3084\u65b9\u5411\u3078\u7d30\u304b\u3044\u91cf\u5b50\u5316\u5c3a\u5ea6\u3092\u5272\u308a\u5f53\u3066\u305f\u308a\u3001\u5ea7\u6a19\u5909\u63db\u306b\u3088\u3063\u3066\u8aa4\u5dee\u65b9\u5411\u3092\u5909\u3048\u305f\u308a\u3067\u304d\u308b\u3002<\/td>\n<td>\u540c\u3058\u72b6\u614b\u8aa4\u5dee\u30ce\u30eb\u30e0\u3067\u3082\u3001\u5b9f\u969b\u306e\u51fa\u529b\u54c1\u8cea\u3078\u4e0e\u3048\u308b\u5f71\u97ff\u3092\u5909\u3048\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u305f\u3068\u3048\u3070\u3001\u5c40\u6240\u8aa4\u5dee \\(\\varepsilon_t\\) \u304c\u5c0f\u3055\u304f\u3066\u3082\u3001\u305d\u306e\u8aa4\u5dee\u304c \\(A_t\\) \u306b\u3088\u3063\u3066\u307b\u3068\u3093\u3069\u6e1b\u8870\u305b\u305a\u9577\u671f\u9593\u4fdd\u6301\u3055\u308c\u3001\u3055\u3089\u306b \\(H_t\\) \u306e\u9ad8\u611f\u5ea6\u65b9\u5411\u3078\u6295\u5f71\u3055\u308c\u308c\u3070\u3001\u6700\u7d42\u7684\u306a\u5f71\u97ff\u306f\u5927\u304d\u304f\u306a\u308b\u3002\u9006\u306b\u3001\u5c40\u6240\u8aa4\u5dee\u304c\u591a\u5c11\u5927\u304d\u304f\u3066\u3082\u3001\u72b6\u614b\u9077\u79fb\u306e\u4e2d\u3067\u6025\u901f\u306b\u6e1b\u8870\u3057\u3001\u8aad\u307f\u51fa\u3057\u611f\u5ea6\u306e\u4f4e\u3044\u65b9\u5411\u3078\u5b58\u5728\u3059\u308b\u306a\u3089\u3001\u51fa\u529b\u3078\u306e\u5f71\u97ff\u306f\u9650\u5b9a\u3055\u308c\u308b\u3002<\/p>\n<p>\u3053\u306e\u69cb\u9020\u304b\u3089\u3001\u4f4e\u30d3\u30c3\u30c8\u91cf\u5b50\u5316\u3067\u914d\u5206\u3059\u3079\u304d\u8cc7\u6e90\u3082\u5b9a\u307e\u308b\u3002\u3059\u3079\u3066\u306e\u72b6\u614b\u6210\u5206\u3078\u5747\u7b49\u306a\u30d3\u30c3\u30c8\u5e45\u3092\u4e0e\u3048\u308b\u65b9\u6cd5\u3067\u306f\u3001\u77ed\u6642\u9593\u3067\u6d88\u3048\u308b\u8aa4\u5dee\u3068\u9577\u304f\u6b8b\u308b\u8aa4\u5dee\u3001\u51fa\u529b\u306b\u52b9\u304b\u306a\u3044\u65b9\u5411\u3068\u9ad8\u611f\u5ea6\u306a\u65b9\u5411\u3092\u540c\u3058\u6761\u4ef6\u3067\u6271\u3046\u3002\u72b6\u614b\u9077\u79fb\u3068\u8aad\u307f\u51fa\u3057\u611f\u5ea6\u3092\u5229\u7528\u3059\u308c\u3070\u3001\u9577\u304f\u6b8b\u308b\u6210\u5206\u3001\u9ad8\u611f\u5ea6\u306a\u65b9\u5411\u3001\u7e70\u308a\u8fd4\u3057\u8aa4\u5dee\u304c\u6ce8\u5165\u3055\u308c\u308b\u5834\u6240\u3078\u512a\u5148\u7684\u306b\u7cbe\u5ea6\u3092\u5272\u308a\u5f53\u3066\u3089\u308c\u308b\u3002<\/p>\n<p>2026 \u5e74 9 \u6708\u306b\u516c\u8868\u3055\u308c\u305f LeapQuant\u3001STEPQuant\u3001WUSH-KV \u306f\u3001\u3053\u306e\u5171\u901a\u69cb\u9020\u306e\u7570\u306a\u308b\u90e8\u5206\u3092\u64cd\u4f5c\u3057\u3066\u3044\u308b\u3002LeapQuant \u306f\u4e3b\u306b \\(\\varepsilon_t\\) \u306e\u767a\u751f\u983b\u5ea6\u3068\u5927\u304d\u3055\u3092\u6291\u3048\u3001STEPQuant \u306f \\(A_t\\) \u304c\u4f5c\u308b\u8aa4\u5dee\u5bff\u547d\u3068\u8aad\u307f\u51fa\u3057\u611f\u5ea6\u306b\u5fdc\u3058\u3066\u7cbe\u5ea6\u3092\u914d\u5206\u3057\u3001WUSH-KV \u306f \\(H_t\\) \u304c\u5f37\u304f\u91cd\u307f\u4ed8\u3051\u3059\u308b\u65b9\u5411\u3078\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u51fa\u306b\u304f\u3044\u5ea7\u6a19\u7cfb\u3092\u69cb\u6210\u3059\u308b\u3002\u4e09\u3064\u306e\u7814\u7a76\u306f\u3001\u91cf\u5b50\u5316\u5668\u306e\u9055\u3044\u3068\u3044\u3046\u3088\u308a\u3001\u8aa4\u5dee\u304c\u767a\u751f\u3057\u3066\u304b\u3089\u51fa\u529b\u3078\u5230\u9054\u3059\u308b\u307e\u3067\u306e\u3069\u306e\u6bb5\u968e\u3092\u5236\u5fa1\u3059\u308b\u304b\u3068\u3044\u3046\u9055\u3044\u3068\u3057\u3066\u6574\u7406\u3067\u304d\u308b\u3002<\/p>\n<hr>\n<h2>4. LeapQuant \u306f\u8aa4\u5dee\u3092\u767a\u751f\u3055\u305b\u308b\u56de\u6570\u3092\u6e1b\u3089\u3059<\/h2>\n<p>LeapQuant \u304c\u5bfe\u8c61\u306b\u3059\u308b\u306e\u306f\u3001\u7dda\u5f62 Attention \u306e\u518d\u5e30\u72b6\u614b\u3092\u4f4e\u30d3\u30c3\u30c8\u3067\u4fdd\u6301\u3059\u308b\u3068\u304d\u306b\u751f\u3058\u308b\u8aa4\u5dee\u306e\u7d2f\u7a4d\u3067\u3042\u308b<a href=\"#ref8\">[8]<\/a>\u3002\u518d\u5e30\u72b6\u614b\u306f\u6b21\u306e\u30c8\u30fc\u30af\u30f3\u306e\u8a08\u7b97\u3078\u305d\u306e\u307e\u307e\u5f15\u304d\u7d99\u304c\u308c\u308b\u305f\u3081\u3001\u6bce\u30c8\u30fc\u30af\u30f3\u72b6\u614b\u3092\u91cf\u5b50\u5316\u3059\u308b\u3068\u3001\u91cf\u5b50\u5316\u6e08\u307f\u306e\u72b6\u614b\u3092\u4f7f\u3063\u3066\u66f4\u65b0\u3057\u3001\u305d\u306e\u7d50\u679c\u3092\u518d\u3073\u91cf\u5b50\u5316\u3059\u308b\u51e6\u7406\u304c\u7e70\u308a\u8fd4\u3055\u308c\u308b\u3002\u5404\u6642\u523b\u3067\u751f\u3058\u308b\u4e38\u3081\u8aa4\u5dee\u304c\u6b21\u306e\u72b6\u614b\u66f4\u65b0\u3078\u5165\u308a\u3001\u305d\u306e\u72b6\u614b\u3078\u65b0\u3057\u3044\u4e38\u3081\u8aa4\u5dee\u304c\u8ffd\u52a0\u3055\u308c\u308b\u305f\u3081\u3001\u751f\u6210\u7cfb\u5217\u304c\u9577\u304f\u306a\u308b\u307b\u3069 FP32 \u306e\u72b6\u614b\u8ecc\u9053\u3068\u306e\u5dee\u304c\u84c4\u7a4d\u3059\u308b\u3002<\/p>\n<p>\u3053\u306e\u69cb\u9020\u3092\u3001\u524d\u7ae0\u307e\u3067\u306e\u8aa4\u5dee\u5f0f\u3067\u66f8\u304f\u3068\u660e\u78ba\u306b\u306a\u308b\u3002\u6bce\u30c8\u30fc\u30af\u30f3\u91cf\u5b50\u5316\u3059\u308b\u5834\u5408\u3001\u6642\u523b \\(t\\) \u306e\u72b6\u614b\u8aa4\u5dee\u306f\u3001<\/p>\n<p>\\[<br \/>\ne_t<br \/>\n=<br \/>\nA_te_{t-1}<br \/>\n+<br \/>\n\\varepsilon_t<br \/>\n\\]<\/p>\n<p>\u3067\u66f4\u65b0\u3055\u308c\u308b\u3002\u3053\u3053\u3067 \\(A_te_{t-1}\\) \u306f\u904e\u53bb\u304b\u3089\u6301\u3061\u8d8a\u3055\u308c\u305f\u8aa4\u5dee\u3001\\(\\varepsilon_t\\) \u306f\u73fe\u5728\u306e\u91cf\u5b50\u5316\u306b\u3088\u3063\u3066\u65b0\u305f\u306b\u6ce8\u5165\u3055\u308c\u305f\u8aa4\u5dee\u3067\u3042\u308b\u3002\u91cf\u5b50\u5316\u5668\u3092\u6539\u5584\u3057\u3066 \\(\\varepsilon_t\\) \u3092\u5c0f\u3055\u304f\u3059\u308b\u65b9\u6cd5\u306b\u52a0\u3048\u3066\u3001\\(\\varepsilon_t\\) \u304c\u767a\u751f\u3059\u308b\u6642\u523b\u305d\u306e\u3082\u306e\u3092\u6e1b\u3089\u305b\u3070\u3001\u7cfb\u5217\u5168\u4f53\u3067\u52a0\u7b97\u3055\u308c\u308b\u91cf\u5b50\u5316\u8aa4\u5dee\u306e\u56de\u6570\u3092\u6e1b\u3089\u305b\u308b\u3002<\/p>\n<p>LeapQuant \u306e\u7a93\u5358\u4f4d\u306e\u91cf\u5b50\u5316\u306f\u3001\u3053\u306e\u8003\u3048\u65b9\u3092\u305d\u306e\u307e\u307e\u5b9f\u88c5\u3059\u308b\u3002\\(p\\) \u30c8\u30fc\u30af\u30f3\u3092\u4e00\u3064\u306e\u7a93\u3068\u3057\u3066\u533a\u5207\u308a\u3001\u7a93\u306e\u958b\u59cb\u6642\u70b9\u306b\u3042\u308b\u91cf\u5b50\u5316\u6e08\u307f\u72b6\u614b\u3092\u57fa\u6e96\u3068\u3059\u308b\u3002\u7a93\u5185\u90e8\u3067\u306f\u5404\u30c8\u30fc\u30af\u30f3\u306b\u3088\u308b\u72b6\u614b\u66f4\u65b0\u3092\u9ad8\u3044\u7cbe\u5ea6\u3067\u4fdd\u6301\u3057\u3001\u66f4\u65b0\u306e\u305f\u3073\u306b\u306f\u518d\u91cf\u5b50\u5316\u3057\u306a\u3044\u3002\\(p\\) \u500b\u306e\u66f4\u65b0\u3092\u84c4\u7a4d\u3057\u305f\u5f8c\u3001\u7a93\u306e\u7d42\u7aef\u3067\u72b6\u614b\u3092\u4e00\u5ea6\u3060\u3051\u4f4e\u30d3\u30c3\u30c8\u8868\u73fe\u3078\u623b\u3059\u3002<\/p>\n<p>\u6bce\u30c8\u30fc\u30af\u30f3\u91cf\u5b50\u5316\u3067\u306f\u3001\\(p\\) \u30c8\u30fc\u30af\u30f3\u306e\u9593\u306b\u6700\u5927 \\(p\\) \u56de\u306e\u65b0\u3057\u3044 \\(\\varepsilon_t\\) \u304c\u52a0\u308f\u308b\u3002\u7a93\u5358\u4f4d\u306e\u91cf\u5b50\u5316\u3067\u306f\u3001\u540c\u3058\u533a\u9593\u3067\u4f4e\u30d3\u30c3\u30c8\u72b6\u614b\u3078\u4e38\u3081\u76f4\u3059\u56de\u6570\u306f 1 \u56de\u306b\u306a\u308b\u3002\u5358\u7d14\u5316\u3059\u308c\u3070\u3001\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u65b0\u305f\u306b\u6ce8\u5165\u3059\u308b\u983b\u5ea6\u306f\u7d04 \\(1\/p\\) \u307e\u3067\u4e0b\u304c\u308b\u3002\u8aa4\u5dee\u4f1d\u64ad\u3092\u6291\u3048\u308b\u76f4\u63a5\u539f\u56e0\u306f\u518d\u91cf\u5b50\u5316\u56de\u6570\u306e\u524a\u6e1b\u3067\u3042\u308a\u3001\u305d\u306e\u52b9\u679c\u304c\u751f\u3058\u308b\u80cc\u5f8c\u69cb\u9020\u306f\u3001\u7a93\u5185\u90e8\u306e\u66f4\u65b0\u3092\u91cf\u5b50\u5316\u6e08\u307f\u72b6\u614b\u3078\u9010\u6b21\u66f8\u304d\u623b\u3055\u305a\u3001\u9ad8\u7cbe\u5ea6\u5074\u3078\u4e00\u6642\u7684\u306b\u4fdd\u6301\u3059\u308b\u3053\u3068\u306b\u3042\u308b\u3002<\/p>\n<p>LeapQuant \u306e\u5b9f\u9a13\u3067\u306f\u3001Qwen3.5-9B \u3092\u7528\u3044\u305f 64K \u30c8\u30fc\u30af\u30f3\u751f\u6210\u3067\u3001\u3053\u306e\u5dee\u304c\u72b6\u614b\u8aa4\u5dee\u3068\u3057\u3066\u73fe\u308c\u3066\u3044\u308b\u300216 \u30c8\u30fc\u30af\u30f3\u5358\u4f4d\u3067\u91cf\u5b50\u5316\u3059\u308b\u3068\u3001\u6bce\u30c8\u30fc\u30af\u30f3\u91cf\u5b50\u5316\u3057\u305f\u5834\u5408\u3068\u6bd4\u3079\u3066\u3001BF16 \u3092\u7528\u3044\u305f\u8a2d\u5b9a\u3067\u306f\u72b6\u614b\u8aa4\u5dee\u304c\u7d04 100 \u5206\u306e 1\u3001INT8 \u3067\u306f\u7d04 39 \u5206\u306e 1\u307e\u3067\u4f4e\u4e0b\u3057\u305f\u3068\u5831\u544a\u3055\u308c\u3066\u3044\u308b<a href=\"#ref8\">[8]<\/a>\u3002\u3053\u3053\u3067\u6539\u5584\u3057\u3066\u3044\u308b\u306e\u306f\u5404\u4e38\u3081\u51e6\u7406\u306e\u7cbe\u5ea6\u3060\u3051\u3067\u306f\u306a\u304f\u3001\u8aa4\u5dee\u3092\u518d\u5e30\u72b6\u614b\u3078\u66f8\u304d\u8fbc\u3080\u56de\u6570\u305d\u306e\u3082\u306e\u3067\u3042\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u64cd\u4f5c<\/th>\n<th>\u6570\u7406\u4e0a\u306e\u5bfe\u8c61<\/th>\n<th>\u76f4\u63a5\u7684\u306a\u52b9\u679c<\/th>\n<th>\u518d\u5e30\u8aa4\u5dee\u3078\u306e\u5f71\u97ff<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u7a93\u5358\u4f4d\u306e\u91cf\u5b50\u5316<\/td>\n<td>\\(\\varepsilon_t\\) \u306e\u767a\u751f\u6642\u523b<\/td>\n<td>\u72b6\u614b\u3092\u4f4e\u30d3\u30c3\u30c8\u3078\u4e38\u3081\u76f4\u3059\u56de\u6570\u3092\u6e1b\u3089\u3059\u3002<\/td>\n<td>\u7cfb\u5217\u5168\u4f53\u3067\u65b0\u3057\u304f\u6ce8\u5165\u3055\u308c\u308b\u91cf\u5b50\u5316\u8aa4\u5dee\u306e\u56de\u6570\u3092\u6e1b\u3089\u3059\u3002<\/td>\n<\/tr>\n<tr>\n<td>Compensator Token<\/td>\n<td>\u91cf\u5b50\u5316\u5bfe\u8c61\u3068\u306a\u308b\u6b8b\u5dee<\/td>\n<td>\u72b6\u614b\u306e\u652f\u914d\u7684\u306a\u4f4e\u30e9\u30f3\u30af\u6210\u5206\u3092\u9ad8\u7cbe\u5ea6\u5074\u3078\u5206\u96e2\u3059\u308b\u3002<\/td>\n<td>\u4f4e\u30d3\u30c3\u30c8\u91cf\u5b50\u5316\u3078\u6e21\u3059\u6b8b\u5dee\u306e\u632f\u5e45\u3092\u5c0f\u3055\u304f\u3057\u3001\u4e00\u56de\u3054\u3068\u306e \\(\\varepsilon_t\\) \u3092\u6291\u3048\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u6b8b\u5dee\u5e73\u6ed1\u5316<\/td>\n<td>\u884c\u3054\u3068\u306e\u52d5\u7684\u7bc4\u56f2<\/td>\n<td>\u4e00\u90e8\u306e\u884c\u3060\u3051\u304c\u91cf\u5b50\u5316\u5c3a\u5ea6\u3092\u652f\u914d\u3059\u308b\u72b6\u614b\u3092\u7de9\u548c\u3059\u308b\u3002<\/td>\n<td>\u9650\u3089\u308c\u305f\u91cf\u5b50\u5316\u30ec\u30d9\u30eb\u3092\u6b8b\u5dee\u884c\u5217\u3078\u3088\u308a\u5747\u7b49\u306b\u914d\u5206\u3059\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u91cf\u5b50\u5316\u983b\u5ea6\u3092\u6e1b\u3089\u3057\u3066\u3082\u3001\u7a93\u672b\u5c3e\u3067\u91cf\u5b50\u5316\u3059\u308b\u72b6\u614b\u305d\u306e\u3082\u306e\u306b\u5927\u304d\u306a\u5916\u308c\u5024\u304c\u6b8b\u3063\u3066\u3044\u308c\u3070\u3001\u4e00\u56de\u306e\u91cf\u5b50\u5316\u3067\u751f\u3058\u308b \\(\\varepsilon_t\\) \u306f\u5927\u304d\u304f\u306a\u308a\u5f97\u308b\u3002LeapQuant \u306f\u3053\u306e\u90e8\u5206\u306b\u5bfe\u3057\u3066\u3001\u72b6\u614b\u306e\u652f\u914d\u7684\u306a\u6210\u5206\u3092\u4f4e\u30e9\u30f3\u30af\u8868\u73fe\u3068\u3057\u3066\u9ad8\u7cbe\u5ea6\u5074\u3078\u5206\u96e2\u3059\u308b\u3002<\/p>\n<p>\u7a93\u672b\u5c3e\u306e\u72b6\u614b\u3092 \\(S_p\\) \u3068\u3059\u308b\u3068\u3001\u305d\u306e\u4e2d\u304b\u3089\u30e9\u30f3\u30af 1 \u884c\u5217\u3067\u6700\u3082\u3088\u304f\u8fd1\u4f3c\u3067\u304d\u308b\u6210\u5206\u3092\u3001<\/p>\n<p>\\[<br \/>\n(\\tilde{k},\\tilde{u})<br \/>\n=<br \/>\n\\operatorname*{arg\\,min}_{k,u}<br \/>\n\\|S_p-ku^\\top\\|_F<br \/>\n\\]<\/p>\n<p>\u306b\u3088\u3063\u3066\u6c42\u3081\u308b\u3002\\(\\|\\cdot\\|_F\\) \u306f\u30d5\u30ed\u30d9\u30cb\u30a6\u30b9\u30ce\u30eb\u30e0\u3067\u3042\u308a\u3001\u884c\u5217\u306e\u5404\u8981\u7d20\u306e\u4e8c\u4e57\u548c\u306b\u57fa\u3065\u3044\u3066\u8fd1\u4f3c\u8aa4\u5dee\u3092\u6e2c\u308b\u3002\u3053\u3053\u3067\u5f97\u3089\u308c\u308b \\(\\tilde{k}\\tilde{u}^\\top\\) \u306f\u3001\u72b6\u614b \\(S_p\\) \u306e\u4e2d\u3067\u5927\u304d\u306a\u30a8\u30cd\u30eb\u30ae\u30fc\u3092\u6301\u3064\u30e9\u30f3\u30af 1 \u6210\u5206\u3092\u8868\u3059\u3002<\/p>\n<p>\u3053\u306e\u6210\u5206\u3092 Compensator Token \u3068\u3057\u3066\u9ad8\u3044\u7cbe\u5ea6\u3067\u4fdd\u6301\u3057\u3001\u4f4e\u30d3\u30c3\u30c8\u5316\u3059\u308b\u5bfe\u8c61\u3092\u3001<\/p>\n<p>\\[<br \/>\nR_p<br \/>\n=<br \/>\nS_p<br \/>\n&#8211;<br \/>\n\\tilde{k}\\tilde{u}^\\top<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u6b8b\u5dee\u3078\u5909\u3048\u308b\u3002\\(S_p\\) \u5168\u4f53\u3092\u76f4\u63a5\u91cf\u5b50\u5316\u3059\u308b\u5834\u5408\u3001\u5927\u304d\u306a\u6210\u5206\u306b\u5408\u308f\u305b\u3066\u91cf\u5b50\u5316\u5c3a\u5ea6\u3092\u5e83\u3052\u308b\u5fc5\u8981\u304c\u3042\u308a\u3001\u305d\u306e\u7d50\u679c\u3068\u3057\u3066\u5c0f\u3055\u306a\u6210\u5206\u306b\u5272\u308a\u5f53\u3066\u3089\u308c\u308b\u6709\u52b9\u306a\u5206\u89e3\u80fd\u304c\u4f4e\u4e0b\u3059\u308b\u3002\u652f\u914d\u7684\u306a\u4f4e\u30e9\u30f3\u30af\u6210\u5206\u3092\u5148\u306b\u53d6\u308a\u9664\u3051\u3070\u3001\u6b8b\u5dee \\(R_p\\) \u306e\u5024\u57df\u3092\u72ed\u3081\u3089\u308c\u308b\u305f\u3081\u3001\u540c\u3058\u30d3\u30c3\u30c8\u6570\u3067\u3082\u6b8b\u5dee\u3078\u3088\u308a\u7d30\u304b\u306a\u91cf\u5b50\u5316\u6bb5\u968e\u3092\u5272\u308a\u5f53\u3066\u3089\u308c\u308b\u3002<\/p>\n<p>Compensator Token \u3092\u8907\u6570\u4f7f\u3046\u5834\u5408\u3001\u3053\u306e\u5206\u89e3\u306f\u3001<\/p>\n<p>\\[<br \/>\nS_p<br \/>\n\\approx<br \/>\n\\tilde{K}\\tilde{U}^\\top<br \/>\n+<br \/>\nR_p<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u4f4e\u30e9\u30f3\u30af\u548c\u3078\u62e1\u5f35\u3055\u308c\u308b\u3002\u9ad8\u7cbe\u5ea6\u3067\u4fdd\u6301\u3059\u308b \\(\\tilde{K}\\tilde{U}^\\top\\) \u304c\u72b6\u614b\u306e\u652f\u914d\u7684\u306a\u69cb\u9020\u3092\u53d7\u3051\u6301\u3061\u3001\u4f4e\u30d3\u30c3\u30c8\u306e \\(R_p\\) \u306f\u6b8b\u308a\u306e\u6210\u5206\u3092\u8868\u3059\u3002\u3059\u3079\u3066\u306e\u72b6\u614b\u8981\u7d20\u3078\u9ad8\u7cbe\u5ea6\u3092\u5272\u308a\u5f53\u3066\u308b\u4ee3\u308f\u308a\u306b\u3001\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u5927\u304d\u304f\u3057\u3084\u3059\u3044\u69cb\u9020\u3078\u9ad8\u7cbe\u5ea6\u8868\u73fe\u3092\u96c6\u4e2d\u3055\u305b\u308b\u8a2d\u8a08\u3067\u3042\u308b\u3002<\/p>\n<p>\u6b8b\u5dee \\(R_p\\) \u306b\u3082\u3001\u884c\u3054\u3068\u306e\u5024\u57df\u306e\u5dee\u304c\u6b8b\u308b\u3002\u3042\u308b\u884c\u3060\u3051\u304c\u5927\u304d\u306a\u5024\u3092\u6301\u3064\u3068\u3001\u305d\u306e\u884c\u306b\u5408\u308f\u305b\u305f\u91cf\u5b50\u5316\u5c3a\u5ea6\u304c\u4ed6\u306e\u884c\u306b\u3082\u5f71\u97ff\u3057\u3001\u5c0f\u3055\u3044\u5024\u3092\u6301\u3064\u884c\u3067\u306f\u5229\u7528\u3067\u304d\u308b\u91cf\u5b50\u5316\u6bb5\u968e\u304c\u7c97\u304f\u306a\u308b\u3002LeapQuant \u306f\u53ef\u9006\u306a\u5c3a\u5ea6\u5909\u63db\u306b\u3088\u3063\u3066\u884c\u3054\u3068\u306e\u5927\u304d\u3055\u3092\u5e73\u6ed1\u5316\u3057\u3001\u91cf\u5b50\u5316\u5668\u3078\u6e21\u3059\u6b8b\u5dee\u306e\u52d5\u7684\u7bc4\u56f2\u3092\u6574\u3048\u308b\u3002\u5909\u63db\u305d\u306e\u3082\u306e\u306f\u5143\u306e\u72b6\u614b\u3092\u5931\u308f\u305a\u3001\u8fd1\u4f3c\u8aa4\u5dee\u306f\u4f4e\u30d3\u30c3\u30c8\u5316\u3092\u884c\u3046\u6bb5\u968e\u3067\u751f\u3058\u308b\u3002<\/p>\n<p>LeapQuant \u306e\u4e09\u3064\u306e\u64cd\u4f5c\u306f\u3001\u518d\u5e30\u8aa4\u5dee\u5f0f\u306e\u7570\u306a\u308b\u4f4d\u7f6e\u3078\u4f5c\u7528\u3059\u308b\u3002\u7a93\u5358\u4f4d\u306e\u91cf\u5b50\u5316\u306f \\(\\varepsilon_t\\) \u3092\u52a0\u3048\u308b\u56de\u6570\u3092\u6e1b\u3089\u3057\u3001Compensator Token \u306f\u91cf\u5b50\u5316\u5bfe\u8c61\u304b\u3089\u652f\u914d\u7684\u306a\u6210\u5206\u3092\u5206\u96e2\u3057\u3066\u4e00\u56de\u3054\u3068\u306e \\(\\varepsilon_t\\) \u3092\u5c0f\u3055\u304f\u3057\u3001\u6b8b\u5dee\u5e73\u6ed1\u5316\u306f\u9650\u3089\u308c\u305f\u91cf\u5b50\u5316\u30ec\u30d9\u30eb\u3092\u6b8b\u5dee\u3078\u914d\u5206\u3057\u3084\u3059\u3044\u5f62\u3078\u5909\u3048\u308b\u3002\u7d50\u679c\u3068\u3057\u3066\u3001\u72b6\u614b\u3092\u5747\u4e00\u306b\u4f4e\u30d3\u30c3\u30c8\u5316\u3059\u308b\u306e\u3067\u306f\u306a\u304f\u3001\u8aa4\u5dee\u3092\u767a\u751f\u3055\u305b\u308b\u983b\u5ea6\u3068\u3001\u8aa4\u5dee\u304c\u5927\u304d\u304f\u306a\u308a\u3084\u3059\u3044\u69cb\u9020\u306e\u4e21\u65b9\u3092\u5236\u5fa1\u3057\u3066\u3044\u308b\u3002<\/p>\n<hr>\n<h2>5. STEPQuant \u306f\u8aa4\u5dee\u306e\u5bff\u547d\u3068\u4f4d\u7f6e\u3078\u30d3\u30c3\u30c8\u3092\u914d\u308b<\/h2>\n<p>STEPQuant \u306f\u3001\u518d\u5e30\u72b6\u614b\u306b\u751f\u3058\u308b\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u3001\u6642\u9593\u65b9\u5411\u3068\u7a7a\u9593\u65b9\u5411\u306e\u4e8c\u3064\u306b\u5206\u3051\u3066\u8a55\u4fa1\u3059\u308b<a href=\"#ref9\">[9]<\/a>\u3002\u6642\u9593\u65b9\u5411\u3067\u306f\u3001\u4e00\u5ea6\u751f\u3058\u305f\u8aa4\u5dee\u304c\u4f55\u30b9\u30c6\u30c3\u30d7\u5148\u307e\u3067\u6b8b\u308b\u304b\u304c\u72b6\u614b\u5358\u4f4d\u3054\u3068\u306b\u7570\u306a\u308b\u3002\u7a7a\u9593\u65b9\u5411\u3067\u306f\u3001\u540c\u3058\u5927\u304d\u3055\u306e\u72b6\u614b\u8aa4\u5dee\u3067\u3082\u3001\u3069\u306e\u884c\u306b\u5b58\u5728\u3059\u308b\u304b\u306b\u3088\u3063\u3066\u73fe\u5728\u306e\u51fa\u529b\u3078\u306e\u5f71\u97ff\u304c\u7570\u306a\u308b\u3002\u6709\u9650\u306e\u30d3\u30c3\u30c8\u4e88\u7b97\u3092\u5747\u7b49\u306b\u914d\u308b\u4ee3\u308f\u308a\u306b\u3001\u3053\u306e\u4e8c\u3064\u306e\u975e\u4e00\u69d8\u6027\u3092\u4f7f\u3063\u3066\u3001\u8aa4\u5dee\u306e\u5f71\u97ff\u304c\u5927\u304d\u3044\u5834\u6240\u3078\u9ad8\u3044\u7cbe\u5ea6\u3092\u5272\u308a\u5f53\u3066\u308b\u3002<\/p>\n<p>\u524d\u7ae0\u307e\u3067\u306e\u8aa4\u5dee\u5f0f\u3001<\/p>\n<p>\\[<br \/>\ne_t<br \/>\n=<br \/>\nA_te_{t-1}<br \/>\n+<br \/>\n\\varepsilon_t<br \/>\n\\]<\/p>\n<p>\u306b\u5bfe\u5fdc\u3055\u305b\u308b\u3068\u3001STEPQuant \u304c\u6271\u3046\u4e8c\u3064\u306e\u8ef8\u3092\u6574\u7406\u3067\u304d\u308b\u3002\u6642\u9593\u65b9\u5411\u306e\u8a55\u4fa1\u306f\u3001\u72b6\u614b\u9077\u79fb \\(A_t\\) \u304c\u904e\u53bb\u306e\u8aa4\u5dee\u3092\u3069\u308c\u3060\u3051\u9577\u304f\u4fdd\u6301\u3059\u308b\u304b\u3092\u898b\u308b\u3002\u7a7a\u9593\u65b9\u5411\u306e\u8a55\u4fa1\u306f\u3001\u305d\u306e\u8aa4\u5dee\u304c\u8aad\u307f\u51fa\u3057\u3092\u901a\u3058\u3066\u73fe\u5728\u306e\u51fa\u529b\u3078\u3069\u308c\u3060\u3051\u5f37\u304f\u6295\u5f71\u3055\u308c\u308b\u304b\u3092\u898b\u308b\u3002\u5c40\u6240\u7684\u306a\u91cf\u5b50\u5316\u8aa4\u5dee \\(\\varepsilon_t\\) \u306e\u5927\u304d\u3055\u3060\u3051\u3092\u6e2c\u308b\u4ee3\u308f\u308a\u306b\u3001\u305d\u306e\u5f8c\u306e\u5bff\u547d\u3068\u51fa\u529b\u611f\u5ea6\u307e\u3067\u7cbe\u5ea6\u914d\u5206\u3078\u542b\u3081\u308b\u69cb\u9020\u3067\u3042\u308b\u3002<\/p>\n<h3>5.1 \u6642\u9593\u65b9\u5411\u3067\u306f\u8aa4\u5dee\u306e\u5bff\u547d\u304c\u5909\u308f\u308b<\/h3>\n<p>Delta-rule \u7cfb\u306e\u518d\u5e30\u72b6\u614b\u3067\u306f\u3001\u904e\u53bb\u306e\u72b6\u614b\u3092\u3069\u306e\u7a0b\u5ea6\u6b8b\u3059\u304b\u304c\u30b2\u30fc\u30c8\u306b\u3088\u3063\u3066\u5236\u5fa1\u3055\u308c\u308b\u3002\u3042\u308b\u72b6\u614b\u5358\u4f4d \\(u\\) \u306b\u3064\u3044\u3066\u3001\u6642\u523b \\(t\\) \u306e\u4fdd\u6301\u7387\u3092 \\(r_{t,u}\\) \u3068\u3059\u308b\u3068\u3001\u6642\u523b \\(t\\) \u3067\u751f\u3058\u305f\u8aa4\u5dee\u304c \\(j\\) \u30b9\u30c6\u30c3\u30d7\u5f8c\u307e\u3067\u6b8b\u308b\u5272\u5408\u306f\u3001\u5404\u6642\u523b\u306e\u4fdd\u6301\u7387\u306e\u7a4d\u3068\u3057\u3066\u8868\u3055\u308c\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\prod_{s=1}^{j}<br \/>\nr_{t+s,u}<br \/>\n\\]<\/p>\n<p>\u4fdd\u6301\u7387\u304c\u6bce\u6642\u523b\u540c\u3058\u306a\u3089\u5358\u7d14\u306a\u6307\u6570\u6e1b\u8870\u306b\u306a\u308b\u304c\u3001\u5b9f\u969b\u306b\u306f\u5165\u529b\u306b\u5fdc\u3058\u3066\u5909\u5316\u3059\u308b\u3002STEPQuant \u306f\u3001\u305d\u306e\u5909\u52d5\u3092\u6271\u3044\u3084\u3059\u304f\u3059\u308b\u305f\u3081\u3001\u4fdd\u6301\u7387\u306e\u5bfe\u6570\u5e73\u5747\u3092\u3001<\/p>\n<p>\\[<br \/>\n\\ell_u<br \/>\n=<br \/>\n\\mathbb{E}<br \/>\n[<br \/>\n\\log r_{t,u}<br \/>\n]<br \/>\n\\]<\/p>\n<p>\u3068\u3057\u3066\u8981\u7d04\u3059\u308b\u3002\u7a4d\u306e\u5bfe\u6570\u306f\u548c\u306b\u306a\u308b\u305f\u3081\u3001\\(j\\) \u30b9\u30c6\u30c3\u30d7\u5f8c\u306e\u4ee3\u8868\u7684\u306a\u4fdd\u6301\u91cf\u3092\u3001<\/p>\n<p>\\[<br \/>\n\\prod_{s=1}^{j}<br \/>\nr_{t+s,u}<br \/>\n\\approx<br \/>\n\\exp(j\\ell_u)<br \/>\n\\]<\/p>\n<p>\u3068\u8fd1\u4f3c\u3067\u304d\u308b\u3002\\(\\ell_u\\) \u304c 0 \u306b\u8fd1\u3044\u307b\u3069\u4fdd\u6301\u7387\u306f 1 \u306b\u8fd1\u304f\u3001\u904e\u53bb\u306e\u8aa4\u5dee\u304c\u9577\u304f\u6b8b\u308b\u3002\u8ca0\u306e\u5024\u304c\u5927\u304d\u3044\u307b\u3069\u6e1b\u8870\u304c\u901f\u304f\u3001\u53e4\u3044\u8aa4\u5dee\u306e\u5f71\u97ff\u306f\u77ed\u6642\u9593\u3067\u5c0f\u3055\u304f\u306a\u308b\u3002<\/p>\n<p>\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u4e8c\u4e57\u640d\u5931\u3068\u3057\u3066\u8a55\u4fa1\u3059\u308b\u5834\u5408\u3001\u6b8b\u5b58\u7387\u3082\u4e8c\u4e57\u3055\u308c\u308b\u3002\u8a55\u4fa1\u3059\u308b\u6642\u9593\u5e45\u3092 \\(H\\) \u3068\u3059\u308b\u3068\u3001\u72b6\u614b\u5358\u4f4d \\(u\\) \u306b\u4e00\u5ea6\u5165\u3063\u305f\u8aa4\u5dee\u304c\u5c06\u6765\u3078\u6b8b\u3059\u7d2f\u7a4d\u7684\u306a\u5f71\u97ff\u3092\u3001STEPQuant \u306f\u6b21\u306e\u5bff\u547d\u91cd\u307f\u3067\u8fd1\u4f3c\u3059\u308b\u3002<\/p>\n<p>\\[<br \/>\nL_u<br \/>\n=<br \/>\n\\sum_{j=0}^{H-1}<br \/>\n\\exp(2j\\ell_u)<br \/>\n\\]<\/p>\n<p>\\(j=0\\) \u306f\u8aa4\u5dee\u304c\u767a\u751f\u3057\u305f\u76f4\u5f8c\u3001\\(j=1\\) \u306f 1 \u30b9\u30c6\u30c3\u30d7\u5f8c\u3001\u305d\u308c\u4ee5\u964d\u306f\u3055\u3089\u306b\u5148\u306e\u6642\u523b\u3092\u8868\u3059\u3002\u4fdd\u6301\u7387\u304c\u4f4e\u3051\u308c\u3070\u5404\u9805\u306f\u6025\u901f\u306b\u5c0f\u3055\u304f\u306a\u308a\u3001\\(L_u\\) \u3082\u5c0f\u3055\u304f\u306a\u308b\u3002\u4fdd\u6301\u7387\u304c\u9ad8\u3051\u308c\u3070\u591a\u6570\u306e\u9805\u304c\u5927\u304d\u306a\u5024\u3092\u4fdd\u3064\u305f\u3081\u3001\\(L_u\\) \u306f\u5927\u304d\u304f\u306a\u308b\u3002\u3064\u307e\u308a \\(L_u\\) \u306f\u3001\u305d\u306e\u72b6\u614b\u5358\u4f4d\u3078\u5165\u3063\u305f\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u4f55\u30b9\u30c6\u30c3\u30d7\u5206\u307e\u3067\u91cd\u304f\u8a55\u4fa1\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u304b\u3092\u4e00\u3064\u306e\u6570\u5024\u3078\u307e\u3068\u3081\u305f\u6307\u6a19\u3067\u3042\u308b\u3002<\/p>\n<p>\u3053\u306e\u5bff\u547d\u3092\u30d3\u30c3\u30c8\u914d\u5206\u3078\u76f4\u63a5\u4f7f\u3046\u3002\u72b6\u614b\u5358\u4f4d \\(u\\) \u3092 \\(b\\) \u30d3\u30c3\u30c8\u3067\u91cf\u5b50\u5316\u3057\u305f\u3068\u304d\u306e\u5c40\u6240\u7684\u306a\u518d\u69cb\u6210\u6b6a\u307f\u3092 \\(d_u(b)\\)\u3001\u305d\u306e\u5358\u4f4d\u304c\u6301\u3064\u72b6\u614b\u8981\u7d20\u6570\u3092 \\(n_u\\)\u3001\u5229\u7528\u53ef\u80fd\u306a\u5e73\u5747\u30d3\u30c3\u30c8\u6570\u3092 \\(\\bar{b}\\) \u3068\u3059\u308b\u3068\u3001\u914d\u5206\u554f\u984c\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\min_{\\{b_u\\}}<br \/>\n\\sum_u<br \/>\nL_ud_u(b_u)<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u76ee\u7684\u95a2\u6570\u3068\u3001<\/p>\n<p>\\[<br \/>\n\\sum_u<br \/>\nn_ub_u<br \/>\n\\leq<br \/>\n\\bar{b}<br \/>\n\\sum_u<br \/>\nn_u<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u30d3\u30c3\u30c8\u4e88\u7b97\u5236\u7d04\u306e\u7d44\u307f\u5408\u308f\u305b\u3068\u3057\u3066\u66f8\u3051\u308b\u3002\\(d_u(b)\\) \u306f\u73fe\u5728\u306e\u91cf\u5b50\u5316\u306b\u3088\u3063\u3066\u751f\u3058\u308b\u6b6a\u307f\u3001\\(L_u\\) \u306f\u305d\u306e\u6b6a\u307f\u304c\u5c06\u6765\u3078\u6b8b\u308b\u6642\u9593\u7684\u306a\u91cd\u307f\u3067\u3042\u308b\u3002\u540c\u3058\u91cf\u5b50\u5316\u6b6a\u307f\u3092\u6301\u3064\u4e8c\u3064\u306e\u72b6\u614b\u5358\u4f4d\u3067\u3082\u3001\\(L_u\\) \u304c\u5927\u304d\u3044\u65b9\u3078\u9ad8\u3044\u30d3\u30c3\u30c8\u5e45\u3092\u5272\u308a\u5f53\u3066\u308c\u3070\u3001\u7cfb\u5217\u5168\u4f53\u3078\u6b8b\u308b\u7d2f\u7a4d\u8aa4\u5dee\u3092\u3088\u308a\u5927\u304d\u304f\u6e1b\u3089\u305b\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u91cf<\/th>\n<th>\u8868\u3057\u3066\u3044\u308b\u3082\u306e<\/th>\n<th>\u5024\u304c\u5927\u304d\u3044\u5834\u5408\u306e\u610f\u5473<\/th>\n<th>\u30d3\u30c3\u30c8\u914d\u5206\u3078\u306e\u4f5c\u7528<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\\(r_{t,u}\\)<\/td>\n<td>\u6642\u523b \\(t\\) \u3067\u72b6\u614b\u5358\u4f4d \\(u\\) \u3092\u3069\u308c\u3060\u3051\u4fdd\u6301\u3059\u308b\u304b\u3092\u8868\u3059\u3002<\/td>\n<td>\u73fe\u5728\u306e\u72b6\u614b\u3068\u3001\u305d\u306e\u4e2d\u306b\u542b\u307e\u308c\u308b\u904e\u53bb\u306e\u8aa4\u5dee\u304c\u5f37\u304f\u6b8b\u308b\u3002<\/td>\n<td>\u9ad8\u3044\u4fdd\u6301\u7387\u304c\u7d99\u7d9a\u3059\u308b\u5358\u4f4d\u307b\u3069\u7cbe\u5ea6\u3092\u4fdd\u3064\u4fa1\u5024\u304c\u9ad8\u304f\u306a\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(\\ell_u\\)<\/td>\n<td>\u4fdd\u6301\u7387\u306e\u6642\u9593\u7684\u306a\u50be\u5411\u3092\u5bfe\u6570\u5e73\u5747\u3068\u3057\u3066\u307e\u3068\u3081\u305f\u5024\u3067\u3042\u308b\u3002<\/td>\n<td>0 \u306b\u8fd1\u3044\u307b\u3069\u6e1b\u8870\u304c\u9045\u304f\u3001\u8aa4\u5dee\u5bff\u547d\u304c\u9577\u3044\u3002<\/td>\n<td>\u5c06\u6765\u307e\u3067\u6b8b\u308b\u8aa4\u5dee\u91cf\u3092\u6307\u6570\u95a2\u6570\u3068\u3057\u3066\u8fd1\u4f3c\u3059\u308b\u305f\u3081\u306b\u4f7f\u3046\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(L_u\\)<\/td>\n<td>\u6709\u9650\u671f\u9593 \\(H\\) \u306b\u308f\u305f\u308b\u4e8c\u4e57\u8aa4\u5dee\u306e\u7d2f\u7a4d\u7684\u306a\u5bff\u547d\u3092\u8868\u3059\u3002<\/td>\n<td>\u4e00\u5ea6\u751f\u3058\u305f\u8aa4\u5dee\u304c\u591a\u6570\u306e\u751f\u6210\u30b9\u30c6\u30c3\u30d7\u3078\u5f71\u97ff\u3059\u308b\u3002<\/td>\n<td>\u5c40\u6240\u6b6a\u307f \\(d_u(b)\\) \u3092\u91cd\u307f\u4ed8\u3051\u3057\u3001\u9ad8\u3044\u30d3\u30c3\u30c8\u5e45\u3092\u512a\u5148\u3059\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u3053\u306e\u30e2\u30c7\u30eb\u304c\u5fc5\u8981\u306b\u306a\u308b\u306e\u306f\u3001\u5c40\u6240\u7684\u306a\u91cf\u5b50\u5316\u6b6a\u307f\u3060\u3051\u3067\u306f\u72b6\u614b\u306e\u91cd\u8981\u5ea6\u3092\u8b58\u5225\u3067\u304d\u306a\u3044\u305f\u3081\u3067\u3042\u308b\u3002\u3042\u308b\u5358\u4f4d\u3067\u306f INT6 \u306b\u3057\u305f\u76f4\u5f8c\u306e\u8aa4\u5dee\u304c\u591a\u5c11\u5927\u304d\u304f\u3066\u3082\u6570\u30b9\u30c6\u30c3\u30d7\u3067\u6d88\u3048\u308b\u4e00\u65b9\u3001\u5225\u306e\u5358\u4f4d\u3067\u306f\u540c\u7a0b\u5ea6\u306e\u8aa4\u5dee\u304c\u9577\u671f\u9593\u4fdd\u6301\u3055\u308c\u308b\u3002\u5f8c\u8005\u3067\u306f\u3001\u5404\u751f\u6210\u30b9\u30c6\u30c3\u30d7\u3067\u305d\u306e\u8aa4\u5dee\u3092\u542b\u3080\u72b6\u614b\u304c\u518d\u5229\u7528\u3055\u308c\u308b\u305f\u3081\u3001\u4e00\u56de\u306e\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u591a\u6570\u306e\u51fa\u529b\u8a08\u7b97\u3078\u53c2\u52a0\u3059\u308b\u3002<\/p>\n<p>\u8ad6\u6587\u3067\u306f\u3001\u3053\u306e\u6642\u9593\u69cb\u9020\u304c\u5b9f\u6e2c\u5024\u3068\u3082\u5bfe\u5fdc\u3057\u3066\u3044\u308b\u3002Qwen3.8-27B \u306b\u304a\u3044\u3066\u3001\u30b2\u30fc\u30c8\u304b\u3089\u63a8\u5b9a\u3057\u305f\u534a\u6e1b\u671f\u3068\u3001INT6 \u91cf\u5b50\u5316\u3067\u89b3\u6e2c\u3057\u305f\u7d2f\u7a4d\u72b6\u614b\u8aa4\u5dee\u3068\u306e Spearman \u9806\u4f4d\u76f8\u95a2\u4fc2\u6570\u304c\u7d04 0.80 \u3068\u5831\u544a\u3055\u308c\u3066\u3044\u308b<a href=\"#ref9\">[9]<\/a>\u3002\u4fdd\u6301\u6642\u9593\u304c\u9577\u3044\u72b6\u614b\u307b\u3069\u91cf\u5b50\u5316\u8aa4\u5dee\u3082\u7d2f\u7a4d\u3057\u3084\u3059\u3044\u3068\u3044\u3046\u95a2\u4fc2\u304c\u3001\u5358\u306a\u308b\u30e2\u30c7\u30eb\u4e0a\u306e\u4eee\u5b9a\u3060\u3051\u3067\u306a\u304f\u5b9f\u6e2c\u3055\u308c\u305f\u9806\u4f4d\u95a2\u4fc2\u306b\u3082\u73fe\u308c\u3066\u3044\u308b\u3002<\/p>\n<h3>5.2 \u7a7a\u9593\u65b9\u5411\u3067\u306f\u51fa\u529b\u3078\u306e\u611f\u5ea6\u304c\u5909\u308f\u308b<\/h3>\n<p>\u6642\u9593\u65b9\u5411\u306e\u5bff\u547d\u3060\u3051\u3067\u306f\u3001\u540c\u3058\u6642\u523b\u306b\u5b58\u5728\u3059\u308b\u72b6\u614b\u884c\u3069\u3046\u3057\u306e\u91cd\u8981\u5ea6\u5dee\u306f\u8868\u305b\u306a\u3044\u3002STEPQuant \u306f\u3001\u3053\u306e\u5dee\u3092\u73fe\u5728\u306e\u8aad\u307f\u51fa\u3057\u306b\u5bfe\u3059\u308b\u611f\u5ea6\u304b\u3089\u8a55\u4fa1\u3059\u308b\u3002\u72b6\u614b\u8aa4\u5dee\u884c\u5217\u3092 \\(E_{t-1}\\)\u3001\u73fe\u5728\u306e\u30af\u30a8\u30ea\u3092 \\(q_t\\)\u3001\u72b6\u614b\u9077\u79fb\u3092 \\(A_t\\) \u3068\u3059\u308b\u3068\u3001\u8aa4\u5dee\u304c\u8aad\u307f\u51fa\u3057\u3078\u4e0e\u3048\u308b\u5f71\u97ff\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\Delta y_t<br \/>\n=<br \/>\nE_{t-1}^{\\top}<br \/>\nA_t^\\top q_t<br \/>\n\\]<\/p>\n<p>\u3068\u8868\u305b\u308b\u3002\u3053\u3053\u3067\u3001<\/p>\n<p>\\[<br \/>\ng_t<br \/>\n=<br \/>\nA_t^\\top q_t<br \/>\n\\]<\/p>\n<p>\u3068\u7f6e\u3051\u3070\u3001<\/p>\n<p>\\[<br \/>\n\\Delta y_t<br \/>\n=<br \/>\nE_{t-1}^{\\top}g_t<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\\(g_{t,i}\\) \u306f\u3001\u72b6\u614b\u8aa4\u5dee\u884c\u5217\u306e\u7b2c \\(i\\) \u884c\u306b\u5b58\u5728\u3059\u308b\u8aa4\u5dee\u304c\u3001\u73fe\u5728\u306e\u51fa\u529b\u3078\u3069\u306e\u7a0b\u5ea6\u5f37\u304f\u6295\u5f71\u3055\u308c\u308b\u304b\u3092\u8868\u3059\u4fc2\u6570\u3068\u3057\u3066\u8aad\u3081\u308b\u3002\u7d76\u5bfe\u5024\u304c\u5927\u304d\u3044\u884c\u307b\u3069\u3001\u540c\u3058\u5927\u304d\u3055\u306e\u91cf\u5b50\u5316\u8aa4\u5dee\u3067\u3082\u51fa\u529b\u3078\u306e\u5f71\u97ff\u304c\u5927\u304d\u3044\u3002<\/p>\n<p>\u4e00\u3064\u306e\u30c8\u30fc\u30af\u30f3\u3060\u3051\u3067\u306f \\(g_t\\) \u304c\u5165\u529b\u5185\u5bb9\u306b\u4f9d\u5b58\u3059\u308b\u305f\u3081\u3001STEPQuant \u306f\u6821\u6b63\u30c7\u30fc\u30bf\u4e0a\u3067\u305d\u306e\u4e8c\u4e57\u5e73\u5747\u3092\u53d6\u308a\u3001\u884c\u3054\u3068\u306e\u5f71\u97ff\u5ea6\u3092\u3001<\/p>\n<p>\\[<br \/>\n\\omega_i<br \/>\n=<br \/>\n\\mathbb{E}_{\\mathrm{cal}}<br \/>\n[<br \/>\ng_{t,i}^2<br \/>\n]<br \/>\n\\]<\/p>\n<p>\u3068\u5b9a\u7fa9\u3059\u308b\u3002\u4e8c\u4e57\u3059\u308b\u3053\u3068\u3067\u7b26\u53f7\u3092\u6d88\u3057\u3001\u51fa\u529b\u3078\u4e0e\u3048\u308b\u5f71\u97ff\u306e\u5927\u304d\u3055\u3092\u8a55\u4fa1\u3059\u308b\u3002\\(\\omega_i\\) \u304c\u5927\u304d\u3044\u884c\u3067\u306f\u3001\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u73fe\u5728\u306e\u8aad\u307f\u51fa\u3057\u3078\u5f37\u304f\u73fe\u308c\u3084\u3059\u304f\u3001\u5c0f\u3055\u3044\u884c\u3067\u306f\u540c\u7a0b\u5ea6\u306e\u8aa4\u5dee\u3092\u8a31\u5bb9\u3057\u3084\u3059\u3044\u3002<\/p>\n<p>\u8ad6\u6587\u3067\u306f\u3001\u3053\u306e\u611f\u5ea6\u6307\u6a19\u3068\u5b9f\u969b\u306e\u30e2\u30c7\u30eb\u6027\u80fd\u306e\u5bfe\u5fdc\u3082\u691c\u8a3c\u3057\u3066\u3044\u308b\u3002\u5f71\u97ff\u5ea6 \\(\\omega_i\\) \u306e\u9ad8\u3044\u884c\u3092\u9078\u3093\u3067 INT4 \u306b\u91cf\u5b50\u5316\u3057\u305f\u5834\u5408\u307b\u3069\u30d1\u30fc\u30d7\u30ec\u30ad\u30b7\u30c6\u30a3\u306e\u60aa\u5316\u304c\u5927\u304d\u304f\u3001\u4f4e\u3044\u884c\u3092\u91cf\u5b50\u5316\u3057\u305f\u5834\u5408\u306b\u306f\u5f71\u97ff\u304c\u5c0f\u3055\u3044\u50be\u5411\u304c\u5831\u544a\u3055\u308c\u3066\u3044\u308b<a href=\"#ref9\">[9]<\/a>\u3002\u72b6\u614b\u884c\u306e\u91cf\u5b50\u5316\u3057\u3084\u3059\u3055\u304c\u3001\u305d\u306e\u884c\u306e\u5024\u57df\u3060\u3051\u3067\u306a\u304f\u3001\u8aad\u307f\u51fa\u3057\u5074\u304b\u3089\u898b\u305f\u91cd\u8981\u5ea6\u306b\u3082\u4f9d\u5b58\u3059\u308b\u3053\u3068\u3092\u793a\u3057\u3066\u3044\u308b\u3002<\/p>\n<p>STEPQuant \u306f\u3001\u3053\u306e\u7a7a\u9593\u7684\u306a\u611f\u5ea6\u3092\u91cf\u5b50\u5316\u5c3a\u5ea6\u306e\u63a8\u5b9a\u306b\u3082\u4f7f\u3046\u3002\u518d\u5e30\u72b6\u614b \\(X\\) \u306b\u306f\u3001\u884c\u65b9\u5411\u3068\u5217\u65b9\u5411\u306e\u4e21\u65b9\u306b\u5024\u57df\u306e\u504f\u308a\u304c\u3042\u308b\u305f\u3081\u3001\u518d\u69cb\u6210\u5024\u3092\u3001<\/p>\n<p>\\[<br \/>\n\\hat{X}_{ij}<br \/>\n=<br \/>\nr_ic_jz_{ij}<br \/>\n\\]<\/p>\n<p>\u3068\u8868\u3059\u3002\\(r_i\\) \u306f\u884c\u65b9\u5411\u306e\u5c3a\u5ea6\u3001\\(c_j\\) \u306f\u5217\u65b9\u5411\u306e\u5c3a\u5ea6\u3001\\(z_{ij}\\) \u306f\u4f4e\u30d3\u30c3\u30c8\u6574\u6570\u3067\u3042\u308b\u3002\u4e00\u3064\u306e\u5c3a\u5ea6\u3060\u3051\u3067\u884c\u5217\u5168\u4f53\u3092\u8868\u3059\u5834\u5408\u3001\u5927\u304d\u306a\u5024\u3092\u6301\u3064\u4e00\u90e8\u306e\u884c\u3084\u5217\u304c\u91cf\u5b50\u5316\u7bc4\u56f2\u3092\u652f\u914d\u3057\u3001\u4ed6\u306e\u6210\u5206\u3067\u5229\u7528\u3067\u304d\u308b\u5206\u89e3\u80fd\u304c\u4f4e\u4e0b\u3059\u308b\u3002\u884c\u3068\u5217\u3092\u5206\u3051\u3066\u5c3a\u5ea6\u3092\u6301\u305f\u305b\u308b\u3053\u3068\u3067\u3001\u3053\u306e\u4e8c\u65b9\u5411\u306e\u504f\u308a\u3092\u305d\u308c\u305e\u308c\u88dc\u6b63\u3067\u304d\u308b\u3002<\/p>\n<p>\u3055\u3089\u306b\u5c3a\u5ea6\u306e\u63a8\u5b9a\u3067\u306f\u3001\u3059\u3079\u3066\u306e\u518d\u69cb\u6210\u8aa4\u5dee\u3092\u540c\u3058\u91cd\u307f\u3067\u8a55\u4fa1\u3059\u308b\u4ee3\u308f\u308a\u306b\u3001\u8aad\u307f\u51fa\u3057\u611f\u5ea6\u3092\u53cd\u6620\u3057\u305f\u91cd\u307f\u4ed8\u304d\u76ee\u7684\u95a2\u6570\u3092\u4f7f\u3046\u3002<\/p>\n<p>\\[<br \/>\n\\min_{\\{c_j>0\\}}<br \/>\n\\sum_{i,j}<br \/>\nw_i^2<br \/>\n\\left(<br \/>\nX_{ij}<br \/>\n&#8211;<br \/>\nr_ic_jz_{ij}<br \/>\n\\right)^2<br \/>\n\\]<\/p>\n<p>\\(w_i\\) \u306f\u884c \\(i\\) \u306e\u91cd\u8981\u5ea6\u3092\u53cd\u6620\u3059\u308b\u91cd\u307f\u3067\u3042\u308b\u3002\u9ad8\u611f\u5ea6\u306a\u884c\u3067\u306f\u540c\u3058\u6570\u5024\u8aa4\u5dee\u306b\u3082\u5927\u304d\u306a\u640d\u5931\u3092\u4e0e\u3048\u3001\u4f4e\u611f\u5ea6\u306a\u884c\u3067\u306f\u76f8\u5bfe\u7684\u306b\u5927\u304d\u306a\u8aa4\u5dee\u3092\u8a31\u5bb9\u3059\u308b\u3002\u76ee\u7684\u95a2\u6570\u305d\u306e\u3082\u306e\u3092\u3001\u5024\u306e\u4e00\u69d8\u306a\u518d\u69cb\u6210\u304b\u3089\u3001\u8aad\u307f\u51fa\u3057\u3078\u306e\u5f71\u97ff\u3092\u8003\u616e\u3057\u305f\u518d\u69cb\u6210\u3078\u5909\u3048\u3066\u3044\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u8a55\u4fa1\u8ef8<\/th>\n<th>\u57fa\u6e96\u3068\u306a\u308b\u91cf<\/th>\n<th>\u5927\u304d\u3044\u5834\u5408\u306b\u610f\u5473\u3059\u308b\u3053\u3068<\/th>\n<th>\u7cbe\u5ea6\u914d\u5206<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u6642\u9593\u65b9\u5411<\/td>\n<td>\\(L_u\\)<\/td>\n<td>\u4e00\u5ea6\u306e\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u591a\u6570\u306e\u5c06\u6765\u30b9\u30c6\u30c3\u30d7\u3078\u6b8b\u308b\u3002<\/td>\n<td>\u9577\u5bff\u547d\u306e\u72b6\u614b\u5358\u4f4d\u3078\u9ad8\u3044\u30d3\u30c3\u30c8\u5e45\u3092\u5272\u308a\u5f53\u3066\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u7a7a\u9593\u65b9\u5411<\/td>\n<td>\\(\\omega_i\\)<\/td>\n<td>\u72b6\u614b\u884c\u306e\u8aa4\u5dee\u304c\u73fe\u5728\u306e\u51fa\u529b\u3078\u5f37\u304f\u6295\u5f71\u3055\u308c\u308b\u3002<\/td>\n<td>\u9ad8\u611f\u5ea6\u306a\u884c\u306e\u518d\u69cb\u6210\u8aa4\u5dee\u3078\u5927\u304d\u306a\u91cd\u307f\u3092\u4e0e\u3048\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u5024\u57df<\/td>\n<td>\\(r_i,c_j\\)<\/td>\n<td>\u884c\u65b9\u5411\u307e\u305f\u306f\u5217\u65b9\u5411\u306b\u91cf\u5b50\u5316\u3057\u306b\u304f\u3044\u5c3a\u5ea6\u5dee\u304c\u3042\u308b\u3002<\/td>\n<td>\u4e8c\u8ef8\u306e\u5c3a\u5ea6\u3092\u4f7f\u3063\u3066\u9650\u3089\u308c\u305f\u91cf\u5b50\u5316\u6bb5\u968e\u3092\u5404\u6210\u5206\u3078\u5408\u308f\u305b\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>LeapQuant \u304c\u4e3b\u3068\u3057\u3066\u65b0\u3057\u3044\u91cf\u5b50\u5316\u8aa4\u5dee \\(\\varepsilon_t\\) \u3092\u6ce8\u5165\u3059\u308b\u56de\u6570\u3068\u4e00\u56de\u3054\u3068\u306e\u8aa4\u5dee\u91cf\u3092\u6291\u3048\u308b\u306e\u306b\u5bfe\u3057\u3001STEPQuant \u306f\u6ce8\u5165\u3055\u308c\u305f\u8aa4\u5dee\u304c\u305d\u306e\u5f8c\u3069\u3046\u6271\u308f\u308c\u308b\u304b\u3092\u8a55\u4fa1\u3059\u308b\u3002\u6642\u9593\u65b9\u5411\u3067\u306f\u72b6\u614b\u9077\u79fb\u306b\u3088\u308b\u8aa4\u5dee\u5bff\u547d\u3092 \\(L_u\\) \u3068\u3057\u3066\u8fd1\u4f3c\u3057\u3001\u7a7a\u9593\u65b9\u5411\u3067\u306f\u8aad\u307f\u51fa\u3057\u3078\u306e\u5f71\u97ff\u3092 \\(\\omega_i\\) \u3068\u3057\u3066\u6e2c\u308b\u3002\u305d\u306e\u4e0a\u3067\u3001\u5e73\u5747\u30d3\u30c3\u30c8\u6570\u3068\u3044\u3046\u540c\u3058\u4e88\u7b97\u306e\u4e2d\u3067\u3082\u3001\u9577\u304f\u6b8b\u308b\u72b6\u614b\u3068\u51fa\u529b\u3078\u5f37\u304f\u52b9\u304f\u884c\u3078\u7cbe\u5ea6\u3092\u96c6\u4e2d\u3055\u305b\u308b\u3002<\/p>\n<p>\u3053\u306e\u8a2d\u8a08\u3067\u306f\u3001\u91cf\u5b50\u5316\u306e\u5358\u4f4d\u3054\u3068\u306b\u300c\u4f55\u30d3\u30c3\u30c8\u5fc5\u8981\u304b\u300d\u3068\u3044\u3046\u554f\u3044\u306e\u610f\u5473\u304c\u5909\u308f\u308b\u3002\u5c40\u6240\u7684\u306a\u518d\u69cb\u6210\u8aa4\u5dee\u304c\u5c0f\u3055\u3044\u3060\u3051\u3067\u306f\u5341\u5206\u306a\u57fa\u6e96\u306b\u306a\u3089\u305a\u3001\u305d\u306e\u8aa4\u5dee\u304c\u4f55\u30b9\u30c6\u30c3\u30d7\u6b8b\u308a\u3001\u3069\u306e\u51fa\u529b\u3078\u3069\u308c\u3060\u3051\u5f37\u304f\u73fe\u308c\u308b\u304b\u307e\u3067\u542b\u3081\u3066\u30d3\u30c3\u30c8\u306e\u4fa1\u5024\u3092\u8a55\u4fa1\u3059\u308b\u3002STEPQuant \u306f\u3001\u518d\u5e30\u72b6\u614b\u306e\u4f4e\u30d3\u30c3\u30c8\u5316\u3092\u3001\u5747\u4e00\u306a\u6570\u5024\u8868\u73fe\u304b\u3089\u6642\u9593\u7684\u5bff\u547d\u3068\u7a7a\u9593\u7684\u611f\u5ea6\u306b\u5fdc\u3058\u305f\u7cbe\u5ea6\u4e88\u7b97\u306e\u914d\u5206\u554f\u984c\u3078\u5909\u3048\u3066\u3044\u308b\u3002<\/p>\n<hr>\n<h2>6. WUSH-KV \u306f\u91cf\u5b50\u5316\u3059\u308b\u5ea7\u6a19\u7cfb\u305d\u306e\u3082\u306e\u3092\u5909\u3048\u308b<\/h2>\n<p>LeapQuant \u3068 STEPQuant \u304c\u7dda\u5f62 Attention \u306e\u518d\u5e30\u72b6\u614b\u3092\u5bfe\u8c61\u306b\u3059\u308b\u306e\u306b\u5bfe\u3057\u3001WUSH-KV \u306f\u901a\u5e38\u306e Attention \u304c\u904e\u53bb\u306e\u30ad\u30fc\u3068\u30d0\u30ea\u30e5\u30fc\u3092\u4fdd\u6301\u3059\u308b KV \u30ad\u30e3\u30c3\u30b7\u30e5\u3092\u4f4e\u30d3\u30c3\u30c8\u5316\u3059\u308b<a href=\"#ref10\">[10]<\/a>\u3002KV \u30ad\u30e3\u30c3\u30b7\u30e5\u3067\u306f\u3001\u4fdd\u5b58\u3057\u305f\u30d9\u30af\u30c8\u30eb\u304c\u5f8c\u7d9a\u30c8\u30fc\u30af\u30f3\u306e Attention \u8a08\u7b97\u3078\u7e70\u308a\u8fd4\u3057\u4f7f\u308f\u308c\u308b\u305f\u3081\u3001\u91cf\u5b50\u5316\u8aa4\u5dee\u306e\u5f71\u97ff\u306f\u518d\u69cb\u6210\u5024\u305d\u306e\u3082\u306e\u306e\u5dee\u3060\u3051\u3067\u306f\u6c7a\u307e\u3089\u306a\u3044\u3002\u3069\u306e\u65b9\u5411\u3078\u8aa4\u5dee\u304c\u751f\u3058\u3001\u305d\u306e\u65b9\u5411\u3092\u5f8c\u7d9a\u306e Attention \u304c\u3069\u308c\u3060\u3051\u5f37\u304f\u5229\u7528\u3059\u308b\u304b\u306b\u3088\u3063\u3066\u3001\u540c\u3058\u8aa4\u5dee\u30ce\u30eb\u30e0\u3067\u3082\u51fa\u529b\u3078\u306e\u5f71\u97ff\u304c\u5909\u308f\u308b\u3002<\/p>\n<p>WUSH-KV \u304c\u64cd\u4f5c\u3059\u308b\u306e\u306f\u3001\u3053\u306e\u8aa4\u5dee\u304c\u767a\u751f\u3059\u308b\u5ea7\u6a19\u7cfb\u3067\u3042\u308b\u3002\u91cf\u5b50\u5316\u5bfe\u8c61\u306e\u884c\u5217\u3092 \\(X\\)\u3001\u53ef\u9006\u5909\u63db\u3092 \\(T\\)\u3001\u91cf\u5b50\u5316\u5668\u3092 \\(Q\\) \u3068\u3059\u308b\u3068\u3001\u307e\u305a \\(X\\) \u3092 \\(TX\\) \u3078\u5909\u63db\u3057\u3066\u304b\u3089\u91cf\u5b50\u5316\u3057\u3001\u5229\u7528\u6642\u306b \\(T^{-1}\\) \u3067\u5143\u306e\u5ea7\u6a19\u7cfb\u3078\u623b\u3059\u3002\u6700\u7d42\u7684\u306a\u518d\u69cb\u6210\u8aa4\u5dee\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\varepsilon<br \/>\n=<br \/>\nT^{-1}Q(TX)-X<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u91cf\u5b50\u5316\u3092\u631f\u307e\u305a \\(T^{-1}TX\\) \u3068\u3059\u308c\u3070\u5143\u306e \\(X\\) \u306b\u623b\u308b\u305f\u3081\u3001\u53ef\u9006\u5909\u63db\u305d\u306e\u3082\u306e\u306f\u60c5\u5831\u3092\u5931\u308f\u306a\u3044\u3002\u8fd1\u4f3c\u8aa4\u5dee\u3092\u767a\u751f\u3055\u305b\u308b\u306e\u306f \\(Q(TX)\\) \u3067\u3042\u308a\u3001\\(T\\) \u306e\u5f79\u5272\u306f\u3001\u91cf\u5b50\u5316\u5668\u3078\u5165\u529b\u3055\u308c\u308b\u5024\u306e\u5206\u5e03\u3068\u3001\u91cf\u5b50\u5316\u5f8c\u306e\u8aa4\u5dee\u304c\u5143\u306e\u5ea7\u6a19\u7cfb\u3078\u623b\u3063\u305f\u3068\u304d\u306e\u65b9\u5411\u3092\u540c\u6642\u306b\u5909\u3048\u308b\u3053\u3068\u3067\u3042\u308b\u3002<\/p>\n<p>\u5909\u63db\u5f8c\u306e\u5ea7\u6a19\u3067\u751f\u3058\u305f\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u3001<\/p>\n<p>\\[<br \/>\n\\delta<br \/>\n=<br \/>\nQ(TX)-TX<br \/>\n\\]<\/p>\n<p>\u3068\u7f6e\u3051\u3070\u3001\u5143\u306e\u5ea7\u6a19\u7cfb\u306b\u623b\u3057\u305f\u8aa4\u5dee\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\varepsilon<br \/>\n=<br \/>\nT^{-1}\\delta<br \/>\n\\]<\/p>\n<p>\u3068\u66f8\u3051\u308b\u3002\u540c\u3058\u91cf\u5b50\u5316\u5668\u304c\u540c\u3058\u5927\u304d\u3055\u306e \\(\\delta\\) \u3092\u751f\u3058\u3055\u305b\u3066\u3082\u3001\\(T^{-1}\\) \u306b\u3088\u3063\u3066\u5143\u306e\u7a7a\u9593\u3078\u623b\u3059\u65b9\u5411\u304c\u5909\u308f\u308c\u3070\u3001\u5f8c\u7d9a\u8a08\u7b97\u3078\u4e0e\u3048\u308b\u5f71\u97ff\u3082\u5909\u308f\u308b\u3002WUSH-KV \u306f\u3001\u91cf\u5b50\u5316\u524d\u306e\u5024\u3092\u5747\u7b49\u306b\u6574\u3048\u308b\u3060\u3051\u3067\u306a\u304f\u3001\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u3069\u306e\u65b9\u5411\u3078\u914d\u7f6e\u3059\u308b\u304b\u307e\u3067\u5909\u63db \\(T\\) \u306e\u8a2d\u8a08\u5bfe\u8c61\u306b\u542b\u3081\u308b\u3002<\/p>\n<p>\u3053\u306e\u5909\u63db\u3092\u6c7a\u3081\u308b\u4e00\u65b9\u306e\u60c5\u5831\u304c\u3001\u91cf\u5b50\u5316\u5bfe\u8c61\u305d\u306e\u3082\u306e\u306e\u7d71\u8a08\u3067\u3042\u308b\u3002\u6821\u6b63\u30c7\u30fc\u30bf\u304b\u3089\u5f97\u305f\u884c\u5217 \\(X\\) \u306b\u5bfe\u3057\u3066\u3001WUSH-KV \u306f\u3001<\/p>\n<p>\\[<br \/>\nM<br \/>\n=<br \/>\nXX^\\top<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u30b0\u30e9\u30e0\u884c\u5217\u3092\u4f7f\u3046<a href=\"#ref10\">[10]<\/a>\u3002\\(M\\) \u306e\u5bfe\u89d2\u6210\u5206\u306f\u5404\u65b9\u5411\u306e\u5927\u304d\u3055\u306b\u95a2\u4fc2\u3057\u3001\u975e\u5bfe\u89d2\u6210\u5206\u306f\u65b9\u5411\u3069\u3046\u3057\u306e\u76f8\u95a2\u3092\u542b\u3080\u3002\u5927\u304d\u306a\u56fa\u6709\u5024\u306b\u5bfe\u5fdc\u3059\u308b\u65b9\u5411\u306b\u306f\u30c7\u30fc\u30bf\u304c\u5f37\u304f\u5e83\u304c\u308a\u3001\u5c0f\u3055\u306a\u56fa\u6709\u5024\u306b\u5bfe\u5fdc\u3059\u308b\u65b9\u5411\u3067\u306f\u5909\u52d5\u304c\u5c0f\u3055\u3044\u3002\u91cf\u5b50\u5316\u5668\u304b\u3089\u898b\u308c\u3070\u3001\\(M\\) \u306f\u9650\u3089\u308c\u305f\u91cf\u5b50\u5316\u6bb5\u968e\u3092\u3069\u306e\u3088\u3046\u306a\u5206\u5e03\u3078\u5272\u308a\u5f53\u3066\u308b\u5fc5\u8981\u304c\u3042\u308b\u304b\u3092\u8868\u3059\u3002<\/p>\n<p>\u3082\u3046\u4e00\u65b9\u306e\u60c5\u5831\u304c\u3001\u5f8c\u7d9a\u8a08\u7b97\u306e\u611f\u5ea6\u3067\u3042\u308b\u3002\u3042\u308b\u91cf\u5b50\u5316\u8aa4\u5dee \\(\\varepsilon_j\\) \u304c\u5f8c\u7d9a\u6f14\u7b97\u3078\u4e0e\u3048\u308b\u5c40\u6240\u7684\u306a\u640d\u5931\u3092\u4e8c\u6b21\u8fd1\u4f3c\u3059\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\n\\ell<br \/>\n=<br \/>\n\\frac{1}{2}<br \/>\n\\sum_j<br \/>\n\\varepsilon_j^\\top H\\varepsilon_j<br \/>\n\\]<\/p>\n<p>\u3068\u8868\u305b\u308b\u3002\\(H\\) \u306f\u30d8\u30c3\u30bb\u884c\u5217\u306b\u76f8\u5f53\u3059\u308b\u611f\u5ea6\u884c\u5217\u3067\u3042\u308a\u3001\u8aa4\u5dee\u306e\u65b9\u5411\u3054\u3068\u306b\u640d\u5931\u3078\u306e\u5bc4\u4e0e\u3092\u5909\u3048\u308b\u3002\u5358\u7d14\u306a\u4e8c\u4e57\u8aa4\u5dee \\(\\|\\varepsilon_j\\|_2^2\\) \u306f\u5168\u65b9\u5411\u3092\u540c\u3058\u91cd\u307f\u3067\u8a55\u4fa1\u3059\u308b\u306e\u306b\u5bfe\u3057\u3001\\(H\\) \u3092\u542b\u3080\u4e8c\u6b21\u5f62\u5f0f\u3067\u306f\u3001\u9ad8\u611f\u5ea6\u306a\u65b9\u5411\u306e\u8aa4\u5dee\u3078\u5927\u304d\u306a\u640d\u5931\u304c\u5272\u308a\u5f53\u3066\u3089\u308c\u308b\u3002<\/p>\n<p>\u3053\u3053\u3078 \\(\\varepsilon_j=T^{-1}\\delta_j\\) \u3092\u4ee3\u5165\u3059\u308b\u3068\u3001\u5909\u63db\u5f8c\u306e\u5ea7\u6a19\u3067\u751f\u3058\u305f\u8aa4\u5dee \\(\\delta_j\\) \u306b\u5bfe\u3059\u308b\u640d\u5931\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\ell<br \/>\n=<br \/>\n\\frac{1}{2}<br \/>\n\\sum_j<br \/>\n\\delta_j^\\top<br \/>\nT^{-\\top}<br \/>\nH<br \/>\nT^{-1}<br \/>\n\\delta_j<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u3053\u306e\u5f0f\u3067\u306f\u3001\u5909\u63db \\(T\\) \u304c\u4e8c\u3064\u306e\u5f79\u5272\u3092\u6301\u3064\u3053\u3068\u304c\u660e\u78ba\u306b\u306a\u308b\u3002\u7b2c\u4e00\u306b\u3001\u91cf\u5b50\u5316\u5668\u304c\u53d7\u3051\u53d6\u308b \\(TX\\) \u306e\u5206\u5e03\u3092\u5909\u3048\u3001\u3069\u306e\u65b9\u5411\u3067\u5927\u304d\u306a\u4e38\u3081\u8aa4\u5dee\u304c\u767a\u751f\u3057\u3084\u3059\u3044\u304b\u3092\u5909\u3048\u308b\u3002\u7b2c\u4e8c\u306b\u3001\u5909\u63db\u5f8c\u306b\u751f\u3058\u305f \\(\\delta_j\\) \u3092\u5143\u306e\u7a7a\u9593\u3078\u623b\u3057\u305f\u3068\u304d\u3001\u611f\u5ea6\u884c\u5217 \\(H\\) \u304b\u3089\u3069\u308c\u3060\u3051\u91cd\u304f\u8a55\u4fa1\u3055\u308c\u308b\u65b9\u5411\u3078\u914d\u7f6e\u3055\u308c\u308b\u304b\u3092\u5909\u3048\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u6570\u7406\u5bfe\u8c61<\/th>\n<th>\u8868\u3057\u3066\u3044\u308b\u3082\u306e<\/th>\n<th>\u5909\u63db \\(T\\) \u304c\u4f5c\u7528\u3059\u308b\u90e8\u5206<\/th>\n<th>\u91cf\u5b50\u5316\u8a2d\u8a08\u4e0a\u306e\u610f\u5473<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\\(M=XX^\\top\\)<\/td>\n<td>\u6821\u6b63\u30c7\u30fc\u30bf\u4e0a\u3067\u91cf\u5b50\u5316\u5bfe\u8c61\u304c\u3069\u306e\u65b9\u5411\u3078\u5e83\u304c\u3063\u3066\u3044\u308b\u304b\u3092\u8868\u3059\u3002<\/td>\n<td>\\(TX\\) \u306e\u5206\u5e03\u3092\u5909\u3048\u3001\u91cf\u5b50\u5316\u5668\u3078\u5165\u529b\u3055\u308c\u308b\u5404\u65b9\u5411\u306e\u5024\u57df\u3068\u76f8\u95a2\u3092\u5909\u3048\u308b\u3002<\/td>\n<td>\u30c7\u30fc\u30bf\u304c\u96c6\u4e2d\u3059\u308b\u65b9\u5411\u3060\u3051\u306b\u91cf\u5b50\u5316\u7bc4\u56f2\u304c\u652f\u914d\u3055\u308c\u308b\u72b6\u614b\u3092\u7de9\u548c\u3067\u304d\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(H\\)<\/td>\n<td>\u91cf\u5b50\u5316\u8aa4\u5dee\u306e\u5404\u65b9\u5411\u304c\u5f8c\u7d9a\u8a08\u7b97\u306e\u640d\u5931\u3078\u3069\u308c\u3060\u3051\u5f71\u97ff\u3059\u308b\u304b\u3092\u8868\u3059\u3002<\/td>\n<td>\\(T^{-\\top}HT^{-1}\\) \u3092\u901a\u3058\u3066\u3001\u5909\u63db\u5f8c\u306e\u8aa4\u5dee\u306b\u5bfe\u3059\u308b\u5b9f\u52b9\u7684\u306a\u611f\u5ea6\u3092\u5909\u3048\u308b\u3002<\/td>\n<td>\u51fa\u529b\u3078\u5f37\u304f\u5f71\u97ff\u3059\u308b\u65b9\u5411\u3078\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u96c6\u4e2d\u3059\u308b\u3053\u3068\u3092\u907f\u3051\u3089\u308c\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(\\delta=Q(TX)-TX\\)<\/td>\n<td>\u5909\u63db\u5f8c\u306e\u5ea7\u6a19\u7cfb\u3067\u91cf\u5b50\u5316\u5668\u304c\u76f4\u63a5\u751f\u3058\u3055\u305b\u308b\u8aa4\u5dee\u3067\u3042\u308b\u3002<\/td>\n<td>\\(TX\\) \u306e\u5206\u5e03\u304c\u5909\u308f\u308b\u3053\u3068\u3067\u3001\u8aa4\u5dee\u306e\u5927\u304d\u3055\u3068\u65b9\u5411\u304c\u5909\u5316\u3059\u308b\u3002<\/td>\n<td>\u540c\u3058\u91cf\u5b50\u5316\u5668\u3068\u30d3\u30c3\u30c8\u5e45\u3067\u3082\u3001\u5ea7\u6a19\u7cfb\u306b\u3088\u3063\u3066\u5f97\u3089\u308c\u308b\u8aa4\u5dee\u69cb\u9020\u304c\u5909\u308f\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(\\varepsilon=T^{-1}\\delta\\)<\/td>\n<td>\u5143\u306e\u5ea7\u6a19\u7cfb\u3078\u623b\u3057\u305f\u5f8c\u306b\u5b9f\u969b\u306e\u8a08\u7b97\u3078\u5165\u308b\u8aa4\u5dee\u3067\u3042\u308b\u3002<\/td>\n<td>\\(T^{-1}\\) \u304c\u5909\u63db\u5ea7\u6a19\u306e\u8aa4\u5dee\u3092\u5143\u306e\u7a7a\u9593\u306e\u5404\u65b9\u5411\u3078\u5199\u3059\u3002<\/td>\n<td>\u6700\u7d42\u7684\u306b\u3069\u306e\u611f\u5ea6\u65b9\u5411\u3078\u8aa4\u5dee\u304c\u914d\u7f6e\u3055\u308c\u308b\u304b\u3092\u5236\u5fa1\u3067\u304d\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u5143\u306e WUSH \u306f\u3001\u3053\u306e\u30c7\u30fc\u30bf\u7d71\u8a08 \\(M\\) \u3068\u640d\u5931\u611f\u5ea6 \\(H\\) \u306e\u4e21\u65b9\u3092\u5229\u7528\u3057\u3066\u3001\u91cf\u5b50\u5316\u306b\u9069\u3057\u305f\u53ef\u9006\u5909\u63db\u3092\u69cb\u6210\u3059\u308b<a href=\"#ref11\">[11]<\/a>\u3002\u30c7\u30fc\u30bf\u5074\u3060\u3051\u3092\u898b\u308b\u5909\u63db\u306a\u3089\u3001\u5024\u306e\u5206\u5e03\u3092\u5747\u3057\u3001\u91cf\u5b50\u5316\u5668\u306b\u3068\u3063\u3066\u6271\u3044\u3084\u3059\u3044\u5ea7\u6a19\u7cfb\u3092\u4f5c\u308c\u308b\u3002\u3057\u304b\u3057\u3001\u305d\u306e\u65b9\u5411\u304c\u5f8c\u7d9a\u8a08\u7b97\u306b\u3068\u3063\u3066\u91cd\u8981\u304b\u3069\u3046\u304b\u307e\u3067\u306f\u5224\u65ad\u3067\u304d\u306a\u3044\u3002\u611f\u5ea6\u5074\u3060\u3051\u3092\u898b\u3066\u3082\u3001\u5b9f\u969b\u306e\u30c7\u30fc\u30bf\u304c\u305d\u306e\u65b9\u5411\u306b\u3069\u308c\u3060\u3051\u5e83\u304c\u3063\u3066\u3044\u308b\u304b\u304c\u5206\u304b\u3089\u306a\u3044\u3002WUSH \u306f\u4e8c\u3064\u3092\u540c\u6642\u306b\u6271\u3046\u3053\u3068\u3067\u3001\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u767a\u751f\u3057\u3084\u3059\u3044\u65b9\u5411\u3068\u3001\u767a\u751f\u3059\u308b\u3068\u640d\u5931\u304c\u5927\u304d\u3044\u65b9\u5411\u306e\u7d44\u307f\u5408\u308f\u305b\u3092\u5909\u63db\u8a2d\u8a08\u3078\u53cd\u6620\u3059\u308b\u3002<\/p>\n<p>WUSH-KV \u3067\u306f\u3001\u3053\u306e\u8003\u3048\u65b9\u3092\u30ad\u30fc\u3068\u30d0\u30ea\u30e5\u30fc\u3078\u5225\u3005\u306b\u9069\u7528\u3059\u308b<a href=\"#ref10\">[10]<\/a>\u3002Attention \u3067\u306f\u30ad\u30fc\u3068\u30d0\u30ea\u30e5\u30fc\u306e\u5f79\u5272\u304c\u7570\u306a\u308b\u3002\u30ad\u30fc\u306e\u8aa4\u5dee\u306f\u30af\u30a8\u30ea\u3068\u306e\u5185\u7a4d\u3092\u901a\u3058\u3066 Attention \u306e\u91cd\u307f\u306e\u8a08\u7b97\u3078\u5f71\u97ff\u3057\u3001\u305d\u306e\u5909\u5316\u304c\u8907\u6570\u306e\u30d0\u30ea\u30e5\u30fc\u306e\u91cd\u307f\u4ed8\u3051\u3078\u6ce2\u53ca\u3059\u308b\u3002\u30d0\u30ea\u30e5\u30fc\u306e\u8aa4\u5dee\u306f\u3001\u8a08\u7b97\u3055\u308c\u305f Attention \u306e\u91cd\u307f\u306b\u3088\u3063\u3066\u91cd\u307f\u4ed8\u3051\u3055\u308c\u3001\u51fa\u529b\u3078\u76f4\u63a5\u52a0\u7b97\u3055\u308c\u308b\u3002\u305d\u306e\u305f\u3081\u3001\u4e21\u8005\u3067\u306f\u30c7\u30fc\u30bf\u7d71\u8a08\u3060\u3051\u3067\u306a\u304f\u3001\u8aa4\u5dee\u304c\u51fa\u529b\u3078\u5230\u9054\u3059\u308b\u7d4c\u8def\u3082\u7570\u306a\u308b\u3002WUSH-KV \u306f\u30ad\u30fc\u3068\u30d0\u30ea\u30e5\u30fc\u306b\u3064\u3044\u3066\u5225\u3005\u306b\u30b0\u30e9\u30e0\u884c\u5217\u3068\u611f\u5ea6\u884c\u5217\u3092\u96c6\u8a08\u3057\u3001\u305d\u308c\u305e\u308c\u306e\u8a08\u7b97\u7d4c\u8def\u306b\u5bfe\u5fdc\u3059\u308b\u5909\u63db\u3092\u6821\u6b63\u30c7\u30fc\u30bf\u304b\u3089\u69cb\u6210\u3059\u308b\u3002<\/p>\n<p>\u3053\u306e\u8a2d\u8a08\u306f\u3001\u7b2c 3 \u7ae0\u3067\u7528\u3044\u305f \\(e^\\top He\\) \u3068\u3044\u3046\u611f\u5ea6\u4ed8\u304d\u8aa4\u5dee\u306e\u8003\u3048\u65b9\u3092\u3001\u91cf\u5b50\u5316\u524d\u306e\u5ea7\u6a19\u5909\u63db\u307e\u3067\u9061\u3063\u3066\u5229\u7528\u3057\u3066\u3044\u308b\u3002STEPQuant \u304c\u9ad8\u611f\u5ea6\u306a\u72b6\u614b\u884c\u3078\u591a\u304f\u306e\u7cbe\u5ea6\u3092\u914d\u308b\u65b9\u6cd5\u3060\u3068\u3059\u308c\u3070\u3001WUSH-KV \u306f\u9ad8\u611f\u5ea6\u65b9\u5411\u3078\u8aa4\u5dee\u304c\u767a\u751f\u3057\u306b\u304f\u3044\u3088\u3046\u3001\u91cf\u5b50\u5316\u5668\u3078\u6e21\u3059\u57fa\u5e95\u305d\u306e\u3082\u306e\u3092\u5909\u66f4\u3059\u308b\u65b9\u6cd5\u3068\u6574\u7406\u3067\u304d\u308b\u3002<\/p>\n<p>WUSH-KV \u306e\u7406\u8ad6\u89e3\u6790\u3067\u306f\u3001QuEST \u3067\u7528\u3044\u3089\u308c\u308b\u6574\u6570\u91cf\u5b50\u5316\u5668\u3092\u5bfe\u8c61\u306b\u3001\u52a0\u6cd5\u7684\u306a\u4e38\u3081\u96d1\u97f3\u30e2\u30c7\u30eb\u3001\u6b63\u898f\u5316\u5f8c\u306e\u5206\u5e03\u306e\u88fe\u3001\u30af\u30ea\u30c3\u30d4\u30f3\u30b0\u8aa4\u5dee\u306a\u3069\u306b\u6761\u4ef6\u3092\u7f6e\u3044\u305f\u4e0a\u3067\u3001WUSH \u5909\u63db\u306e\u8fd1\u6700\u9069\u6027\u3092\u8a55\u4fa1\u3057\u3066\u3044\u308b<a href=\"#ref12\">[12]<\/a>\u3002\u3053\u306e\u7d50\u679c\u304c\u4fdd\u8a3c\u3059\u308b\u306e\u306f\u3001\u5b9a\u7406\u3067\u8a2d\u5b9a\u3055\u308c\u305f\u91cf\u5b50\u5316\u30e2\u30c7\u30eb\u3068\u5206\u5e03\u6761\u4ef6\u306b\u5bfe\u3059\u308b\u5909\u63db\u306e\u6027\u8cea\u3067\u3042\u308b\u3002<\/p>\n<p>\u4e00\u65b9\u3001WUSH-KV \u306e\u4e3b\u8981\u306a\u30a8\u30f3\u30c9\u30c4\u30fc\u30a8\u30f3\u30c9\u8a55\u4fa1\u3067\u306f\u3001OSCAR \u3067\u7528\u3044\u3089\u308c\u308b\u5206\u4f4d\u70b9\u30af\u30ea\u30c3\u30d4\u30f3\u30b0\u578b\u306e 2 \u30d3\u30c3\u30c8\u91cf\u5b50\u5316\u5668\u3068 WUSH \u5909\u63db\u3092\u7d44\u307f\u5408\u308f\u305b\u3066\u3044\u308b<a href=\"#ref13\">[13]<\/a>\u3002\u305d\u306e\u305f\u3081\u3001\u7406\u8ad6\u89e3\u6790\u3068\u6700\u7d42\u7684\u306a\u751f\u6210\u6027\u80fd\u306b\u306f\u7570\u306a\u308b\u8a55\u4fa1\u7bc4\u56f2\u304c\u3042\u308b\u3002\u524d\u8005\u306f\u5b9a\u3081\u3089\u308c\u305f\u91cf\u5b50\u5316\u30e2\u30c7\u30eb\u306e\u4e0b\u3067\u5909\u63db\u3092\u8a55\u4fa1\u3057\u3001\u5f8c\u8005\u306f\u5b9f\u969b\u306e\u30e2\u30c7\u30eb\u3078\u7d44\u307f\u8fbc\u3093\u3060\u3068\u304d\u306e\u7d4c\u9a13\u7684\u306a\u6027\u80fd\u3092\u6e2c\u308b\u30022 \u30d3\u30c3\u30c8 KV \u30ad\u30e3\u30c3\u30b7\u30e5\u3067\u5f97\u3089\u308c\u305f\u500b\u3005\u306e\u30d9\u30f3\u30c1\u30de\u30fc\u30af\u7d50\u679c\u3092\u3001\u8fd1\u6700\u9069\u6027\u306e\u5b9a\u7406\u305d\u306e\u3082\u306e\u304b\u3089\u5c0e\u304f\u95a2\u4fc2\u306b\u306f\u306a\u3063\u3066\u3044\u306a\u3044\u3002<\/p>\n<p>\u5ea7\u6a19\u5909\u63db\u3092\u4f7f\u3063\u3066\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u6574\u3048\u308b\u767a\u60f3\u306b\u306f\u5148\u884c\u3059\u308b\u7cfb\u7d71\u304c\u3042\u308b\u3002QuaRot \u306f\u76f4\u4ea4\u56de\u8ee2\u306b\u3088\u3063\u3066\u6d3b\u6027\u5024\u3084 KV \u30ad\u30e3\u30c3\u30b7\u30e5\u306e\u5916\u308c\u5024\u3092\u8907\u6570\u306e\u5ea7\u6a19\u3078\u5206\u6563\u3055\u305b\u3001\u5c11\u6570\u306e\u5927\u304d\u306a\u6210\u5206\u304c\u91cf\u5b50\u5316\u5c3a\u5ea6\u3092\u652f\u914d\u3059\u308b\u72b6\u614b\u3092\u7de9\u548c\u3059\u308b<a href=\"#ref14\">[14]<\/a>\u3002\u76f4\u4ea4\u5909\u63db\u3067\u306f\u30ce\u30eb\u30e0\u3092\u4fdd\u3063\u305f\u307e\u307e\u6210\u5206\u306e\u914d\u7f6e\u3092\u5909\u3048\u3089\u308c\u308b\u305f\u3081\u3001\u30e2\u30c7\u30eb\u306e\u7b49\u4fa1\u6027\u3092\u7dad\u6301\u3057\u306a\u304c\u3089\u91cf\u5b50\u5316\u3057\u3084\u3059\u3044\u8868\u73fe\u3078\u79fb\u305b\u308b\u3002<\/p>\n<p>SpinQuant \u306f\u3001\u540c\u3058\u6a5f\u80fd\u3092\u4fdd\u3064\u56de\u8ee2\u306e\u4e2d\u306b\u3082\u91cf\u5b50\u5316\u5f8c\u306e\u6027\u80fd\u5dee\u304c\u3042\u308b\u3053\u3068\u3092\u5229\u7528\u3057\u3001\u56de\u8ee2\u884c\u5217\u81ea\u4f53\u3092\u5b66\u7fd2\u3059\u308b<a href=\"#ref15\">[15]<\/a>\u3002\u56fa\u5b9a\u3055\u308c\u305f\u30a2\u30c0\u30de\u30fc\u30eb\u7cfb\u306e\u56de\u8ee2\u3092\u4f7f\u3046\u3060\u3051\u3067\u306a\u304f\u3001\u5b9f\u969b\u306e\u91cf\u5b50\u5316\u640d\u5931\u306b\u9069\u3057\u305f\u65b9\u5411\u3092\u63a2\u7d22\u3059\u308b\u3053\u3068\u3067\u3001\u5ea7\u6a19\u7cfb\u306e\u9078\u629e\u3092\u6700\u9069\u5316\u5bfe\u8c61\u3078\u542b\u3081\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u65b9\u5f0f<\/th>\n<th>\u5909\u63db\u306e\u6c7a\u3081\u65b9<\/th>\n<th>\u5229\u7528\u3059\u308b\u69cb\u9020<\/th>\n<th>\u8aa4\u5dee\u5236\u5fa1\u306e\u4e2d\u5fc3<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>QuaRot<\/td>\n<td>\u6240\u5b9a\u306e\u76f4\u4ea4\u56de\u8ee2\u3092\u5229\u7528\u3059\u308b\u3002<\/td>\n<td>\u56de\u8ee2\u306b\u3088\u3063\u3066\u5916\u308c\u5024\u3092\u5ea7\u6a19\u9593\u3078\u5206\u6563\u3067\u304d\u308b\u6027\u8cea\u3092\u5229\u7528\u3059\u308b\u3002<\/td>\n<td>\u5c11\u6570\u6210\u5206\u304c\u52d5\u7684\u7bc4\u56f2\u3092\u652f\u914d\u3059\u308b\u72b6\u614b\u3092\u7de9\u548c\u3057\u3001\u91cf\u5b50\u5316\u5668\u3078\u5165\u529b\u3059\u308b\u5024\u57df\u3092\u6574\u3048\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>SpinQuant<\/td>\n<td>\u91cf\u5b50\u5316\u5f8c\u306e\u6027\u80fd\u3092\u76ee\u7684\u3068\u3057\u3066\u56de\u8ee2\u3092\u5b66\u7fd2\u3059\u308b\u3002<\/td>\n<td>\u6a5f\u80fd\u7684\u306b\u7b49\u4fa1\u306a\u56de\u8ee2\u306e\u9593\u306b\u3082\u91cf\u5b50\u5316\u8aa4\u5dee\u306e\u5dee\u304c\u751f\u3058\u308b\u3053\u3068\u3092\u5229\u7528\u3059\u308b\u3002<\/td>\n<td>\u5229\u7528\u53ef\u80fd\u306a\u56de\u8ee2\u306e\u4e2d\u304b\u3089\u91cf\u5b50\u5316\u306b\u9069\u3057\u305f\u5ea7\u6a19\u7cfb\u3092\u63a2\u7d22\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>WUSH-KV<\/td>\n<td>\u6821\u6b63\u30c7\u30fc\u30bf\u304b\u3089\u5f97\u305f \\(M\\) \u3068\u5f8c\u7d9a\u8a08\u7b97\u306e\u611f\u5ea6 \\(H\\) \u3092\u7528\u3044\u3066\u53ef\u9006\u5909\u63db\u3092\u69cb\u6210\u3059\u308b\u3002<\/td>\n<td>\u91cf\u5b50\u5316\u5bfe\u8c61\u306e\u5206\u5e03\u3068\u3001\u8aa4\u5dee\u304c\u51fa\u529b\u3078\u4e0e\u3048\u308b\u65b9\u5411\u5225\u306e\u5f71\u97ff\u3092\u540c\u6642\u306b\u5229\u7528\u3059\u308b\u3002<\/td>\n<td>\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u767a\u751f\u3059\u308b\u5206\u5e03\u3068\u3001\u5143\u306e\u7a7a\u9593\u3078\u623b\u3057\u305f\u8aa4\u5dee\u306e\u65b9\u5411\u3092\u540c\u6642\u306b\u8abf\u6574\u3059\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>LeapQuant\u3001STEPQuant\u3001WUSH-KV \u306e\u9055\u3044\u306f\u3001\u540c\u3058\u8aa4\u5dee\u4f1d\u64ad\u554f\u984c\u306e\u3069\u3053\u3078\u4ecb\u5165\u3059\u308b\u304b\u306b\u73fe\u308c\u308b\u3002LeapQuant \u306f\u65b0\u3057\u3044\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u72b6\u614b\u3078\u66f8\u304d\u8fbc\u3080\u983b\u5ea6\u3068\u4e00\u56de\u3054\u3068\u306e\u8aa4\u5dee\u91cf\u3092\u6e1b\u3089\u3059\u3002STEPQuant \u306f\u767a\u751f\u3057\u305f\u8aa4\u5dee\u306e\u5bff\u547d\u3068\u8aad\u307f\u51fa\u3057\u611f\u5ea6\u3092\u6e2c\u308a\u3001\u7cbe\u5ea6\u4e88\u7b97\u3092\u975e\u5747\u4e00\u306b\u914d\u308b\u3002WUSH-KV \u306f\u3055\u3089\u306b\u91cf\u5b50\u5316\u4ee5\u524d\u3078\u9061\u308a\u3001\u30c7\u30fc\u30bf\u5206\u5e03\u3068\u5f8c\u7d9a\u8a08\u7b97\u306e\u611f\u5ea6\u306b\u5408\u308f\u305b\u3066\u5ea7\u6a19\u7cfb\u3092\u5909\u3048\u308b\u3002\u540c\u3058\u30d3\u30c3\u30c8\u5e45\u3068\u540c\u3058\u91cf\u5b50\u5316\u5668\u3067\u3082\u7d50\u679c\u304c\u5909\u308f\u308b\u7406\u7531\u3092\u3001\u8aa4\u5dee\u91cf\u3060\u3051\u3067\u306a\u304f\u8aa4\u5dee\u65b9\u5411\u306e\u8a2d\u8a08\u3068\u3057\u3066\u8aac\u660e\u3067\u304d\u308b\u3002<\/p>\n<hr>\n<h2>7. \u4e09\u3064\u306e\u624b\u6cd5\u306f\u540c\u3058\u8aa4\u5dee\u4e88\u7b97\u554f\u984c\u306e\u7570\u306a\u308b\u5909\u6570\u3092\u64cd\u4f5c\u3057\u3066\u3044\u308b<\/h2>\n<p>LeapQuant\u3001STEPQuant\u3001WUSH-KV \u306f\u3001\u5bfe\u8c61\u3068\u5b9f\u88c5\u65b9\u6cd5\u304c\u7570\u306a\u308b\u3002LeapQuant \u3068 STEPQuant \u306f\u518d\u5e30\u72b6\u614b\u3092\u91cf\u5b50\u5316\u3057\u3001WUSH-KV \u306f KV \u30ad\u30e3\u30c3\u30b7\u30e5\u3092\u91cf\u5b50\u5316\u3059\u308b\u3002\u3057\u304b\u3057\u3001\u4e09\u3064\u3092\u8aa4\u5dee\u306e\u767a\u751f\u3001\u4f1d\u64ad\u3001\u51fa\u529b\u3078\u306e\u5f71\u97ff\u3068\u3044\u3046\u9806\u5e8f\u3067\u898b\u308b\u3068\u3001\u6709\u9650\u306e\u7cbe\u5ea6\u4e88\u7b97\u3092\u3069\u3053\u3078\u4f7f\u3046\u304b\u3068\u3044\u3046\u5171\u901a\u306e\u554f\u984c\u3068\u3057\u3066\u6574\u7406\u3067\u304d\u308b\u3002<\/p>\n<p>\u518d\u5e30\u72b6\u614b\u306b\u3064\u3044\u3066\u306f\u3001\u5c40\u6240\u7684\u306a\u91cf\u5b50\u5316\u8aa4\u5dee\u3092 \\(\\varepsilon_t\\)\u3001\u6642\u523b \\(t\\) \u307e\u3067\u306b\u84c4\u7a4d\u3057\u305f\u72b6\u614b\u8aa4\u5dee\u3092 \\(e_t\\)\u3001\u72b6\u614b\u9077\u79fb\u3092 \\(A_t\\) \u3068\u3059\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\ne_t<br \/>\n=<br \/>\nA_te_{t-1}<br \/>\n+<br \/>\n\\varepsilon_t<br \/>\n\\]<\/p>\n<p>\u3068\u66f8\u3051\u308b\u3002\u3053\u3053\u3067 \\(\\varepsilon_t\\) \u3092\u5c0f\u3055\u304f\u3059\u308b\u3060\u3051\u3067\u306f\u3001\u7cfb\u5217\u5168\u4f53\u306e\u5f71\u97ff\u306f\u6c7a\u307e\u3089\u306a\u3044\u3002\u904e\u53bb\u306e\u8aa4\u5dee\u304c \\(A_t\\) \u3092\u901a\u3058\u3066\u3069\u308c\u3060\u3051\u6b8b\u308b\u304b\u306b\u3088\u3063\u3066\u3001\u540c\u3058\u5c40\u6240\u8aa4\u5dee\u3067\u3082\u73fe\u5728\u306e \\(e_t\\) \u3078\u306e\u5bc4\u4e0e\u304c\u5909\u308f\u308b\u3002\u3055\u3089\u306b\u3001\u72b6\u614b\u8aa4\u5dee\u304c\u5b9f\u969b\u306e\u51fa\u529b\u3078\u4e0e\u3048\u308b\u5f71\u97ff\u3092\u611f\u5ea6\u884c\u5217 \\(H_t\\) \u3067\u8868\u305b\u3070\u3001\u305d\u306e\u6642\u70b9\u306e\u640d\u5931\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\mathcal{L}_t<br \/>\n\\approx<br \/>\ne_t^\\top H_te_t<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u4e8c\u6b21\u5f62\u5f0f\u3067\u8a55\u4fa1\u3067\u304d\u308b\u3002\u8aa4\u5dee\u304c\u9577\u304f\u6b8b\u308b\u65b9\u5411\u3068\u3001\u51fa\u529b\u304c\u654f\u611f\u306a\u65b9\u5411\u304c\u91cd\u306a\u308c\u3070\u3001\u5c0f\u3055\u306a\u5c40\u6240\u8aa4\u5dee\u3067\u3082\u5927\u304d\u306a\u5f71\u97ff\u3092\u6301\u3064\u3002\u53cd\u5bfe\u306b\u3001\u5c40\u6240\u7684\u306b\u306f\u5927\u304d\u306a\u8aa4\u5dee\u3067\u3082\u3001\u6025\u901f\u306b\u6e1b\u8870\u3057\u3001\u8aad\u307f\u51fa\u3057\u611f\u5ea6\u306e\u4f4e\u3044\u65b9\u5411\u3078\u5b58\u5728\u3059\u308c\u3070\u3001\u6700\u7d42\u7684\u306a\u5f71\u97ff\u306f\u5c0f\u3055\u304f\u306a\u308a\u5f97\u308b\u3002<\/p>\n<p>\u3053\u306e\u95a2\u4fc2\u3092\u7cfb\u5217\u5168\u4f53\u3078\u5e83\u3052\u308b\u3068\u3001\u6982\u5ff5\u7684\u306a\u76ee\u7684\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\min<br \/>\n\\sum_t<br \/>\ne_t^\\top H_te_t<br \/>\n\\]<\/p>\n<p>\u3068\u8868\u305b\u308b\u3002\u305f\u3060\u3057\u3001\u91cf\u5b50\u5316\u3067\u306f\u640d\u5931\u3060\u3051\u3092\u81ea\u7531\u306b\u5c0f\u3055\u304f\u3067\u304d\u308b\u308f\u3051\u3067\u306f\u306a\u3044\u3002\u30d3\u30c3\u30c8\u6570\u3092\u5897\u3084\u305b\u3070\u8aa4\u5dee\u306f\u6e1b\u3089\u3057\u3084\u3059\u304f\u306a\u308b\u304c\u3001\u4fdd\u5b58\u91cf\u3068\u30e1\u30e2\u30ea\u8ee2\u9001\u91cf\u304c\u5897\u3048\u308b\u3002\u72b6\u614b\u306e\u4e00\u90e8\u3092 FP16 \u3084 BF16 \u3067\u4fdd\u6301\u3059\u308c\u3070\u7cbe\u5ea6\u3092\u5b88\u308a\u3084\u3059\u3044\u304c\u3001\u9ad8\u7cbe\u5ea6\u9818\u57df\u304c\u5927\u304d\u304f\u306a\u308c\u3070\u5727\u7e2e\u7387\u304c\u4e0b\u304c\u308b\u3002\u8907\u96d1\u306a\u6821\u6b63\u3084\u5909\u63db\u3092\u52a0\u3048\u308c\u3070\u8aa4\u5dee\u3092\u6e1b\u3089\u305b\u3066\u3082\u3001\u91cf\u5b50\u5316\u51e6\u7406\u3084\u5b9f\u884c\u6642\u51e6\u7406\u306e\u30b3\u30b9\u30c8\u304c\u5897\u3048\u308b\u3002<\/p>\n<p>\u305d\u306e\u305f\u3081\u3001\u5b9f\u969b\u306e\u8a2d\u8a08\u3067\u306f\u91cf\u5b50\u5316\u5668 \\(Q\\)\u3001\u5ea7\u6a19\u5909\u63db \\(T\\)\u3001\u5404\u90e8\u5206\u3078\u5272\u308a\u5f53\u3066\u308b\u30d3\u30c3\u30c8\u5e45 \\(b\\)\u3001\u9ad8\u7cbe\u5ea6\u3067\u4fdd\u8b77\u3059\u308b\u90e8\u5206\u96c6\u5408 \\(\\mathcal{S}\\) \u306a\u3069\u3092\u3001\u9650\u3089\u308c\u305f\u8cc7\u6e90\u306e\u4e0b\u3067\u9078\u3076\u3053\u3068\u306b\u306a\u308b\u3002\u5c40\u6240\u8aa4\u5dee\u81ea\u4f53\u3082\u3053\u308c\u3089\u306e\u9078\u629e\u306b\u4f9d\u5b58\u3059\u308b\u305f\u3081\u3001<\/p>\n<p>\\[<br \/>\n\\varepsilon_t<br \/>\n=<br \/>\n\\varepsilon_t(Q,T,b,\\mathcal{S})<br \/>\n\\]<\/p>\n<p>\u3068\u8003\u3048\u308c\u3070\u3001\u7d71\u4e00\u3057\u305f\u554f\u984c\u306f\u6982\u5ff5\u7684\u306b\u3001<\/p>\n<p>\\[<br \/>\n\\min_{Q,T,b,\\mathcal{S}}<br \/>\n\\sum_t<br \/>\ne_t^\\top H_te_t<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u5f62\u3067\u8868\u305b\u308b\u3002\u3053\u3053\u306b\u306f\u3055\u3089\u306b\u3001\u5e73\u5747\u30d3\u30c3\u30c8\u6570\u3001\u30e1\u30e2\u30ea\u4f7f\u7528\u91cf\u3001\u8ee2\u9001\u91cf\u3001\u8a08\u7b97\u91cf\u3001\u9ad8\u7cbe\u5ea6\u8981\u7d20\u6570\u3001\u6821\u6b63\u30b3\u30b9\u30c8\u306a\u3069\u306e\u5236\u7d04\u304c\u4ed8\u304f\u3002\u4e09\u3064\u306e\u7814\u7a76\u306f\u3053\u306e\u6700\u9069\u5316\u554f\u984c\u3092\u305d\u306e\u307e\u307e\u5171\u540c\u3067\u5b9a\u5f0f\u5316\u3057\u3066\u3044\u308b\u308f\u3051\u3067\u306f\u306a\u3044\u304c\u3001\u305d\u308c\u305e\u308c\u304c\u7570\u306a\u308b\u8a2d\u8a08\u5909\u6570\u3092\u64cd\u4f5c\u3057\u3066\u3044\u308b\u3068\u898b\u308b\u3053\u3068\u3067\u3001\u624b\u6cd5\u9593\u306e\u95a2\u4fc2\u3092\u540c\u3058\u5ea7\u6a19\u4e0a\u306b\u7f6e\u3051\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u7814\u7a76<\/th>\n<th>\u4e3b\u306a\u8a2d\u8a08\u5909\u6570<\/th>\n<th>\u76f4\u63a5\u64cd\u4f5c\u3059\u308b\u8aa4\u5dee\u69cb\u9020<\/th>\n<th>\u6709\u9650\u4e88\u7b97\u306e\u4f7f\u3044\u65b9<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>LeapQuant<\/td>\n<td>\u91cf\u5b50\u5316\u6642\u523b\u3001\u9ad8\u7cbe\u5ea6\u306e\u4f4e\u30e9\u30f3\u30af\u6210\u5206\u3001\u6b8b\u5dee\u5c3a\u5ea6<\/td>\n<td>\u65b0\u3057\u3044 \\(\\varepsilon_t\\) \u3092\u767a\u751f\u3055\u305b\u308b\u983b\u5ea6\u3068\u3001\u4e00\u56de\u3054\u3068\u306e\u5c40\u6240\u8aa4\u5dee\u3092\u5c0f\u3055\u304f\u3059\u308b\u3002<\/td>\n<td>\u6bce\u6642\u523b\u3078\u5747\u7b49\u306b\u91cf\u5b50\u5316\u51e6\u7406\u3092\u9069\u7528\u305b\u305a\u3001\u7a93\u5883\u754c\u3068\u652f\u914d\u7684\u306a\u4f4e\u30e9\u30f3\u30af\u6210\u5206\u3078\u7cbe\u5ea6\u3092\u96c6\u4e2d\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>STEPQuant<\/td>\n<td>\u5358\u4f4d\u3054\u3068\u306e\u30d3\u30c3\u30c8\u5e45\u3001FP16 \u30d4\u30dc\u30c3\u30c8\u3001\u884c\u5217\u306e\u4e8c\u8ef8\u5c3a\u5ea6<\/td>\n<td>\\(A_t\\) \u304c\u4f5c\u308b\u8aa4\u5dee\u5bff\u547d\u3068\u3001\u8aad\u307f\u51fa\u3057\u611f\u5ea6\u304c\u9ad8\u3044\u72b6\u614b\u884c\u306e\u8aa4\u5dee\u3092\u91cd\u304f\u6271\u3046\u3002<\/td>\n<td>\u540c\u3058\u5e73\u5747\u30d3\u30c3\u30c8\u6570\u306e\u4e2d\u3067\u3001\u9577\u304f\u6b8b\u308b\u72b6\u614b\u3068\u51fa\u529b\u3078\u5f37\u304f\u5f71\u97ff\u3059\u308b\u5834\u6240\u3078\u9ad8\u3044\u7cbe\u5ea6\u3092\u914d\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>WUSH-KV<\/td>\n<td>\u91cf\u5b50\u5316\u524d\u306e\u53ef\u9006\u5909\u63db \\(T\\)<\/td>\n<td>\u91cf\u5b50\u5316\u5668\u304c\u8aa4\u5dee\u3092\u751f\u3058\u308b\u5ea7\u6a19\u3068\u3001\u5143\u306e\u7a7a\u9593\u3078\u623b\u3057\u305f\u8aa4\u5dee\u306e\u65b9\u5411\u3092\u5909\u3048\u308b\u3002<\/td>\n<td>\u540c\u3058\u30d3\u30c3\u30c8\u5e45\u3067\u3082\u3001\u30c7\u30fc\u30bf\u5206\u5e03\u3068\u4e0b\u6d41\u611f\u5ea6\u306b\u5408\u308f\u305b\u305f\u5ea7\u6a19\u7cfb\u3092\u4f7f\u3044\u3001\u9ad8\u611f\u5ea6\u65b9\u5411\u306e\u8aa4\u5dee\u3092\u6291\u3048\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>LeapQuant \u304c\u5909\u3048\u308b\u306e\u306f\u3001\u4e3b\u3068\u3057\u3066\u8aa4\u5dee\u3092\u767a\u751f\u3055\u305b\u308b\u6642\u523b\u3067\u3042\u308b\u3002\u6bce\u30c8\u30fc\u30af\u30f3\u65b0\u3057\u3044 \\(\\varepsilon_t\\) \u3092\u52a0\u3048\u308b\u4ee3\u308f\u308a\u306b\u3001\u7a93\u5185\u90e8\u3067\u306f\u9ad8\u7cbe\u5ea6\u66f4\u65b0\u3092\u4fdd\u6301\u3057\u3001\u7a93\u5883\u754c\u3067\u3060\u3051\u518d\u91cf\u5b50\u5316\u3059\u308b\u3002\u3055\u3089\u306b Compensator Token \u3078\u652f\u914d\u7684\u306a\u4f4e\u30e9\u30f3\u30af\u6210\u5206\u3092\u9003\u304c\u3059\u3053\u3068\u3067\u3001\u4f4e\u30d3\u30c3\u30c8\u5316\u3059\u308b\u6b8b\u5dee\u306e\u52d5\u7684\u7bc4\u56f2\u3092\u72ed\u3081\u308b\u3002\u6709\u9650\u306e\u9ad8\u7cbe\u5ea6\u9818\u57df\u3092\u3001\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u5927\u304d\u304f\u3057\u3084\u3059\u3044\u6210\u5206\u3078\u96c6\u4e2d\u3055\u305b\u308b\u8a2d\u8a08\u3068\u8aad\u3081\u308b\u3002<\/p>\n<p>STEPQuant \u306f\u3001\u8aa4\u5dee\u3092\u767a\u751f\u3055\u305b\u305f\u5f8c\u306e\u4f1d\u64ad\u69cb\u9020\u3092\u7cbe\u5ea6\u914d\u5206\u3078\u4f7f\u3046\u3002\u72b6\u614b\u5358\u4f4d\u3054\u3068\u306e\u5bff\u547d\u91cd\u307f \\(L_u\\) \u306f\u3001\u540c\u3058\u5c40\u6240\u6b6a\u307f\u304c\u5c06\u6765\u3078\u4f55\u30b9\u30c6\u30c3\u30d7\u5206\u6b8b\u308b\u304b\u3092\u533a\u5225\u3059\u308b\u3002\u884c\u3054\u3068\u306e\u5f71\u97ff\u5ea6 \\(\\omega_i\\) \u306f\u3001\u540c\u3058\u72b6\u614b\u8aa4\u5dee\u304c\u51fa\u529b\u3078\u3069\u308c\u3060\u3051\u5f37\u304f\u6295\u5f71\u3055\u308c\u308b\u304b\u3092\u533a\u5225\u3059\u308b\u3002\u5e73\u5747\u30d3\u30c3\u30c8\u6570\u3068\u3044\u3046\u5236\u7d04\u3092\u56fa\u5b9a\u3057\u305f\u307e\u307e\u3001\u3059\u3079\u3066\u306e\u72b6\u614b\u3078\u540c\u3058\u7cbe\u5ea6\u3092\u914d\u308b\u65b9\u6cd5\u304b\u3089\u3001\u8aa4\u5dee\u306e\u5c06\u6765\u7684\u306a\u640d\u5931\u304c\u5927\u304d\u3044\u5834\u6240\u3078\u30d3\u30c3\u30c8\u3092\u79fb\u3059\u65b9\u6cd5\u3078\u5909\u3048\u3066\u3044\u308b\u3002<\/p>\n<p>WUSH-KV \u306f\u3055\u3089\u306b\u91cf\u5b50\u5316\u4ee5\u524d\u3078\u9061\u308a\u3001\u8aa4\u5dee\u304c\u767a\u751f\u3059\u308b\u5ea7\u6a19\u305d\u306e\u3082\u306e\u3092\u5909\u3048\u308b\u3002\u30c7\u30fc\u30bf\u7d71\u8a08\u3092\u8868\u3059 Gram \u884c\u5217 \\(M\\) \u3068\u3001\u4e0b\u6d41\u6f14\u7b97\u306e\u611f\u5ea6\u3092\u8868\u3059 \\(H\\) \u3092\u4f7f\u3063\u3066\u5909\u63db \\(T\\) \u3092\u69cb\u6210\u3057\u3001\u540c\u3058\u4f4e\u30d3\u30c3\u30c8\u91cf\u5b50\u5316\u5668\u3067\u3082\u9ad8\u611f\u5ea6\u65b9\u5411\u3078\u6709\u5bb3\u306a\u8aa4\u5dee\u304c\u51fa\u306b\u304f\u3044\u8868\u73fe\u3092\u4f5c\u308b\u3002\u3053\u3053\u3067\u306f\u9ad8\u7cbe\u5ea6\u8981\u7d20\u3092\u5897\u3084\u3059\u3053\u3068\u3088\u308a\u3001\u65e2\u5b58\u306e\u91cf\u5b50\u5316\u6bb5\u968e\u3092\u3069\u306e\u65b9\u5411\u3078\u5272\u308a\u5f53\u3066\u308b\u304b\u304c\u8a2d\u8a08\u5909\u6570\u306b\u306a\u308b\u3002<\/p>\n<p>\u3053\u306e\u8003\u3048\u65b9\u306f\u3001\u4e09\u3064\u306e\u7814\u7a76\u3060\u3051\u306b\u73fe\u308c\u305f\u3082\u306e\u3067\u306f\u306a\u3044\u3002LLM \u306e\u5b66\u7fd2\u5f8c\u91cf\u5b50\u5316\u3067\u306f\u3001\u3059\u3067\u306b\u300c\u3059\u3079\u3066\u306e\u6570\u5024\u3092\u540c\u3058\u6761\u4ef6\u3067\u91cf\u5b50\u5316\u3059\u308b\u300d\u3068\u3044\u3046\u8a2d\u8a08\u304b\u3089\u3001\u91cf\u5b50\u5316\u8aa4\u5dee\u306e\u5f71\u97ff\u306b\u5fdc\u3058\u3066\u51e6\u7406\u3092\u5909\u3048\u308b\u65b9\u5411\u3078\u767a\u5c55\u3057\u3066\u304d\u305f\u3002<\/p>\n<p>GPTQ \u306f\u8fd1\u4f3c\u7684\u306a\u4e8c\u6b21\u60c5\u5831\u3092\u7528\u3044\u3066\u91cd\u307f\u3092\u9010\u6b21\u91cf\u5b50\u5316\u3057\u3001\u3042\u308b\u91cd\u307f\u3092\u4e38\u3081\u305f\u5f71\u97ff\u3092\u6b8b\u308a\u306e\u91cd\u307f\u3067\u88dc\u511f\u3059\u308b<a href=\"#ref16\">[16]<\/a>\u3002\u5358\u7d14\u306b\u5404\u91cd\u307f\u306e\u6570\u5024\u5dee\u3092\u72ec\u7acb\u306b\u5c0f\u3055\u304f\u3059\u308b\u3088\u308a\u3001\u5c64\u306e\u5165\u529b\u3092\u901a\u3057\u305f\u51fa\u529b\u8aa4\u5dee\u3092\u6291\u3048\u308b\u69cb\u9020\u3092\u6301\u3064\u3002\u3053\u3053\u3067\u3082\u91cf\u5b50\u5316\u5bfe\u8c61\u305d\u306e\u3082\u306e\u306e\u8ddd\u96e2\u3088\u308a\u3001\u5f8c\u7d9a\u8a08\u7b97\u3078\u73fe\u308c\u308b\u5f71\u97ff\u304c\u8a55\u4fa1\u57fa\u6e96\u306b\u5165\u3063\u3066\u3044\u308b\u3002<\/p>\n<p>SmoothQuant \u306f\u3001\u6d3b\u6027\u5024\u306e\u5916\u308c\u5024\u304c\u4f4e\u30d3\u30c3\u30c8\u5316\u3092\u96e3\u3057\u304f\u3059\u308b\u3053\u3068\u306b\u5bfe\u3057\u3066\u3001\u6570\u5b66\u7684\u306b\u7b49\u4fa1\u306a\u5c3a\u5ea6\u5909\u63db\u306b\u3088\u3063\u3066\u91cf\u5b50\u5316\u306e\u96e3\u3057\u3055\u3092\u6d3b\u6027\u5024\u5074\u304b\u3089\u91cd\u307f\u5074\u3078\u79fb\u3059<a href=\"#ref17\">[17]<\/a>\u3002\u5143\u306e\u6d6e\u52d5\u5c0f\u6570\u70b9\u8a08\u7b97\u304c\u8868\u3059\u95a2\u6570\u3092\u7dad\u6301\u3057\u305f\u307e\u307e\u3001\u3069\u3061\u3089\u306e\u30c6\u30f3\u30bd\u30eb\u306b\u5927\u304d\u306a\u52d5\u7684\u7bc4\u56f2\u3092\u6301\u305f\u305b\u308b\u304b\u3092\u5909\u66f4\u3059\u308b\u305f\u3081\u3001\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u751f\u3058\u3084\u3059\u3044\u5834\u6240\u3092\u5909\u63db\u306b\u3088\u3063\u3066\u79fb\u52d5\u3059\u308b\u65b9\u6cd5\u3068\u4f4d\u7f6e\u4ed8\u3051\u3089\u308c\u308b\u3002<\/p>\n<p>AWQ \u306f\u6d3b\u6027\u5024\u306e\u7d71\u8a08\u304b\u3089\u91cd\u8981\u306a\u91cd\u307f\u30c1\u30e3\u30cd\u30eb\u3092\u7279\u5b9a\u3057\u3001\u305d\u308c\u3089\u306e\u30c1\u30e3\u30cd\u30eb\u306e\u5c3a\u5ea6\u3092\u8abf\u6574\u3057\u3066\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u6291\u3048\u308b<a href=\"#ref18\">[18]<\/a>\u3002\u3059\u3079\u3066\u306e\u91cd\u307f\u3092\u540c\u3058\u91cd\u8981\u5ea6\u3068\u3057\u3066\u6271\u3046\u4ee3\u308f\u308a\u306b\u3001\u5b9f\u969b\u306e\u6d3b\u6027\u5024\u3068\u7d44\u307f\u5408\u308f\u305b\u305f\u3068\u304d\u306b\u51fa\u529b\u3078\u5927\u304d\u304f\u5bc4\u4e0e\u3059\u308b\u30c1\u30e3\u30cd\u30eb\u3092\u512a\u5148\u3057\u3066\u4fdd\u8b77\u3059\u308b\u3002STEPQuant \u304c\u518d\u5e30\u72b6\u614b\u306e\u884c\u3054\u3068\u306b\u8aad\u307f\u51fa\u3057\u611f\u5ea6\u3092\u4f7f\u3046\u69cb\u9020\u3068\u3001\u5bfe\u8c61\u306f\u7570\u306a\u3063\u3066\u3082\u540c\u3058\u8cc7\u6e90\u914d\u5206\u306e\u8003\u3048\u65b9\u304c\u898b\u3048\u308b\u3002<\/p>\n<p>KV \u30ad\u30e3\u30c3\u30b7\u30e5\u91cf\u5b50\u5316\u3067\u3082\u3001\u7d71\u8a08\u69cb\u9020\u306b\u5fdc\u3058\u3066\u51e6\u7406\u5358\u4f4d\u3092\u5909\u3048\u308b\u65b9\u6cd5\u304c\u4f7f\u308f\u308c\u3066\u3044\u308b\u3002KIVI \u306f\u30ad\u30fc\u3068\u30d0\u30ea\u30e5\u30fc \u306e\u5024\u5206\u5e03\u3092\u8abf\u3079\u3001\u30ad\u30fc\u306f\u30c1\u30e3\u30cd\u30eb\u5358\u4f4d\u3001\u30d0\u30ea\u30e5\u30fc\u306f token \u5358\u4f4d\u3067\u91cf\u5b50\u5316\u3059\u308b\u69cb\u6210\u3092\u63a1\u308b<a href=\"#ref19\">[19]<\/a>\u3002\u540c\u3058 KV \u30ad\u30e3\u30c3\u30b7\u30e5\u3067\u3082\u3001\u30ad\u30fc\u3068\u30d0\u30ea\u30e5\u30fc \u306e\u7d71\u8a08\u7684\u306a\u7570\u65b9\u6027\u304c\u7570\u306a\u308b\u305f\u3081\u3001\u4e00\u3064\u306e\u91cf\u5b50\u5316\u8ef8\u3092\u4e21\u65b9\u3078\u9069\u7528\u3059\u308b\u3088\u308a\u3001\u305d\u308c\u305e\u308c\u306b\u9069\u3057\u305f\u65b9\u5411\u3067\u5c3a\u5ea6\u3092\u6301\u305f\u305b\u308b\u3002<\/p>\n<p>KVQuant \u306f\u3001\u91cf\u5b50\u5316\u3057\u306b\u304f\u3044\u5916\u308c\u5024\u3092\u5225\u306b\u6271\u3044\u306a\u304c\u3089\u4f4e\u30d3\u30c3\u30c8\u8868\u73fe\u3092\u69cb\u6210\u3059\u308b<a href=\"#ref20\">[20]<\/a>\u3002GEAR \u306f\u5927\u90e8\u5206\u306e\u8981\u7d20\u3092\u4f4e\u30d3\u30c3\u30c8\u91cf\u5b50\u5316\u3057\u305f\u5f8c\u3001\u305d\u306e\u6b8b\u5dee\u3092\u4f4e\u30e9\u30f3\u30af\u884c\u5217\u3067\u8fd1\u4f3c\u3057\u3001\u3055\u3089\u306b\u500b\u5225\u306e\u5927\u304d\u306a\u6b8b\u5dee\u3092\u758e\u6210\u5206\u3067\u88dc\u511f\u3059\u308b<a href=\"#ref21\">[21]<\/a>\u3002\u8aa4\u5dee\u3092\u4e00\u7a2e\u985e\u306e\u8868\u73fe\u3067\u5747\u4e00\u306b\u524a\u6e1b\u3059\u308b\u4ee3\u308f\u308a\u306b\u3001\u91cf\u5b50\u5316\u3057\u3084\u3059\u3044\u6210\u5206\u3001\u4f4e\u30e9\u30f3\u30af\u3067\u8aac\u660e\u3067\u304d\u308b\u6b8b\u5dee\u3001\u5c11\u6570\u306e\u5916\u308c\u305f\u6b8b\u5dee\u3078\u5225\u3005\u306e\u8868\u73fe\u3092\u5272\u308a\u5f53\u3066\u308b\u3002<\/p>\n<p>\u91cd\u307f\u91cf\u5b50\u5316\u306e SpQR \u3082\u3001\u7279\u306b\u5927\u304d\u306a\u91cf\u5b50\u5316\u8aa4\u5dee\u3092\u751f\u3058\u3055\u305b\u308b\u5916\u308c\u5024\u3068\u306a\u308b\u91cd\u307f\u3092\u8b58\u5225\u3057\u3001\u305d\u308c\u3089\u3060\u3051\u3092\u9ad8\u3044\u7cbe\u5ea6\u3067\u4fdd\u5b58\u3057\u3001\u6b8b\u308a\u306e\u5927\u90e8\u5206\u3092\u4f4e\u30d3\u30c3\u30c8\u5316\u3059\u308b<a href=\"#ref22\">[22]<\/a>\u3002\u5168\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u540c\u3058\u30d3\u30c3\u30c8\u5e45\u3067\u6271\u3046\u4ee3\u308f\u308a\u306b\u3001\u91cf\u5b50\u5316\u8aa4\u5dee\u3078\u306e\u5bc4\u4e0e\u304c\u5927\u304d\u3044\u5c11\u6570\u8981\u7d20\u3078\u9ad8\u7cbe\u5ea6\u8868\u73fe\u3092\u96c6\u4e2d\u3055\u305b\u308b\u65b9\u6cd5\u3067\u3042\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u8a2d\u8a08\u539f\u7406<\/th>\n<th>\u4ee3\u8868\u4f8b<\/th>\n<th>\u5747\u4e00\u91cf\u5b50\u5316\u304b\u3089\u5909\u66f4\u3059\u308b\u3082\u306e<\/th>\n<th>\u8aa4\u5dee\u4e88\u7b97\u3068\u3057\u3066\u306e\u89e3\u91c8<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u51fa\u529b\u3078\u306e\u5f71\u97ff\u3092\u4f7f\u3046<\/td>\n<td>GPTQ\u3001AWQ\u3001STEPQuant<\/td>\n<td>\u5024\u305d\u306e\u3082\u306e\u306e\u8aa4\u5dee\u3060\u3051\u3067\u306a\u304f\u3001\u5f8c\u7d9a\u8a08\u7b97\u306b\u5bfe\u3059\u308b\u91cd\u8981\u5ea6\u3092\u8a55\u4fa1\u3059\u308b\u3002<\/td>\n<td>\u540c\u3058\u6570\u5024\u8aa4\u5dee\u3067\u3082\u640d\u5931\u304c\u5927\u304d\u3044\u5834\u6240\u3078\u591a\u304f\u306e\u7cbe\u5ea6\u3092\u4f7f\u3046\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u91cf\u5b50\u5316\u3057\u3084\u3059\u3044\u8868\u73fe\u3078\u5909\u63db\u3059\u308b<\/td>\n<td>SmoothQuant\u3001WUSH-KV<\/td>\n<td>\u91cf\u5b50\u5316\u524d\u306e\u5c3a\u5ea6\u3084\u5ea7\u6a19\u7cfb\u3092\u5909\u66f4\u3059\u308b\u3002<\/td>\n<td>\u56fa\u5b9a\u3055\u308c\u305f\u30d3\u30c3\u30c8\u6570\u3092\u3001\u8aa4\u5dee\u304c\u751f\u3058\u306b\u304f\u3044\u8868\u73fe\u7a7a\u9593\u3067\u5229\u7528\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u7d71\u8a08\u69cb\u9020\u306b\u5fdc\u3058\u3066\u91cf\u5b50\u5316\u5358\u4f4d\u3092\u5909\u3048\u308b<\/td>\n<td>KIVI<\/td>\n<td>\u30c6\u30f3\u30bd\u30eb\u5168\u4f53\u3078\u5171\u901a\u306e\u91cf\u5b50\u5316\u8ef8\u3092\u9069\u7528\u305b\u305a\u3001\u5bfe\u8c61\u3054\u3068\u306b\u5c3a\u5ea6\u306e\u65b9\u5411\u3092\u5909\u3048\u308b\u3002<\/td>\n<td>\u5024\u57df\u306e\u504f\u308a\u304c\u5c0f\u3055\u304f\u306a\u308b\u5358\u4f4d\u3067\u91cf\u5b50\u5316\u6bb5\u968e\u3092\u4f7f\u3046\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u9ad8\u5f71\u97ff\u6210\u5206\u3092\u5225\u8868\u73fe\u3078\u9003\u304c\u3059<\/td>\n<td>LeapQuant\u3001GEAR\u3001SpQR\u3001KVQuant<\/td>\n<td>\u4f4e\u30d3\u30c3\u30c8\u8868\u73fe\u3060\u3051\u3067\u5168\u6210\u5206\u3092\u8fd1\u4f3c\u305b\u305a\u3001\u4f4e\u30e9\u30f3\u30af\u6210\u5206\u3001\u5916\u308c\u5024\u3001\u9ad8\u7cbe\u5ea6\u6210\u5206\u3092\u5206\u96e2\u3059\u308b\u3002<\/td>\n<td>\u9ad8\u4fa1\u306a\u8868\u73fe\u3092\u8aa4\u5dee\u5bc4\u4e0e\u306e\u5927\u304d\u3044\u5c11\u6570\u6210\u5206\u3078\u96c6\u4e2d\u3059\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u3053\u308c\u3089\u306e\u65b9\u6cd5\u3092\u4e26\u3079\u308b\u3068\u3001\u4f4e\u30d3\u30c3\u30c8\u91cf\u5b50\u5316\u306b\u304a\u3051\u308b\u8a2d\u8a08\u81ea\u7531\u5ea6\u304c\u4e00\u3064\u306e\u8ef8\u306b\u9650\u3089\u308c\u306a\u3044\u3053\u3068\u304c\u5206\u304b\u308b\u3002\u30d3\u30c3\u30c8\u5e45\u3092\u5909\u3048\u308b\u3060\u3051\u3067\u306a\u304f\u3001\u91cf\u5b50\u5316\u3059\u308b\u6642\u523b\u3001\u91cf\u5b50\u5316\u5358\u4f4d\u3001\u5c3a\u5ea6\u3001\u5ea7\u6a19\u7cfb\u3001\u9ad8\u7cbe\u5ea6\u3067\u6b8b\u3059\u6210\u5206\u3001\u6b8b\u5dee\u306e\u88dc\u511f\u65b9\u6cd5\u3092\u5909\u3048\u3089\u308c\u308b\u3002\u305d\u308c\u305e\u308c\u306e\u64cd\u4f5c\u306f\u3001\u6709\u9650\u306e\u4fdd\u5b58\u91cf\u3068\u8a08\u7b97\u91cf\u306e\u4e2d\u3067\u3001\u3069\u306e\u8aa4\u5dee\u3092\u8a31\u5bb9\u3057\u3001\u3069\u306e\u8aa4\u5dee\u3092\u6291\u3048\u308b\u304b\u3092\u6c7a\u3081\u3066\u3044\u308b\u3002<\/p>\n<p>\u91cf\u5b50\u5316\u3092\u3053\u306e\u3088\u3046\u306a\u8aa4\u5dee\u4e88\u7b97\u554f\u984c\u3068\u3057\u3066\u6349\u3048\u308b\u3068\u3001\u300c4 \u30d3\u30c3\u30c8\u304b 8 \u30d3\u30c3\u30c8\u304b\u300d\u3068\u3044\u3046\u6bd4\u8f03\u3060\u3051\u3067\u306f\u8a2d\u8a08\u3092\u5341\u5206\u306b\u8868\u305b\u306a\u3044\u3002\u540c\u3058\u5e73\u5747\u30d3\u30c3\u30c8\u6570\u3067\u3082\u3001\u77ed\u6642\u9593\u3067\u6d88\u3048\u308b\u72b6\u614b\u306b 4 \u30d3\u30c3\u30c8\u3092\u4f7f\u3044\u3001\u9577\u304f\u6b8b\u308b\u72b6\u614b\u3078 8 \u30d3\u30c3\u30c8\u3092\u4f7f\u3046\u69cb\u6210\u304c\u3042\u308b\u3002\u540c\u3058 2 \u30d3\u30c3\u30c8\u3067\u3082\u3001\u9ad8\u611f\u5ea6\u65b9\u5411\u306e\u8aa4\u5dee\u3092\u907f\u3051\u308b\u5ea7\u6a19\u5909\u63db\u3092\u5148\u306b\u9069\u7528\u3067\u304d\u308b\u3002\u5927\u90e8\u5206\u3092\u4f4e\u30d3\u30c3\u30c8\u306b\u3057\u306a\u304c\u3089\u3001\u5c11\u6570\u306e\u652f\u914d\u7684\u306a\u6210\u5206\u3060\u3051\u3092\u9ad8\u7cbe\u5ea6\u3067\u6b8b\u3059\u3053\u3068\u3082\u3067\u304d\u308b\u3002<\/p>\n<p>\u6709\u9650\u306e\u7cbe\u5ea6\u3092\u3069\u3053\u3078\u914d\u308b\u304b\u3068\u3044\u3046\u89b3\u70b9\u3067\u306f\u3001\u30d3\u30c3\u30c8\u6570\u306f\u5236\u7d04\u6761\u4ef6\u306e\u4e00\u3064\u3067\u3042\u308a\u3001\u6700\u7d42\u7684\u306a\u76ee\u7684\u306f\u8a08\u7b97\u7d50\u679c\u3078\u6b8b\u308b\u640d\u5931\u3092\u305d\u306e\u5236\u7d04\u5185\u3067\u5c0f\u3055\u304f\u3059\u308b\u3053\u3068\u306b\u3042\u308b\u3002LeapQuant\u3001STEPQuant\u3001WUSH-KV \u306f\u3001\u305d\u306e\u76ee\u7684\u306b\u5bfe\u3057\u3066\u305d\u308c\u305e\u308c\u6642\u9593\u3001\u5bff\u547d\u3068\u611f\u5ea6\u3001\u5ea7\u6a19\u3068\u3044\u3046\u7570\u306a\u308b\u81ea\u7531\u5ea6\u3092\u4f7f\u3046\u3002\u4f4e\u30d3\u30c3\u30c8\u91cf\u5b50\u5316\u306f\u3001\u6570\u5024\u8868\u73fe\u306e\u5e45\u3092\u4e00\u5f8b\u306b\u7e2e\u3081\u308b\u51e6\u7406\u304b\u3089\u3001\u8aa4\u5dee\u304c\u767a\u751f\u3057\u3001\u4f1d\u64ad\u3057\u3001\u51fa\u529b\u3078\u5230\u9054\u3059\u308b\u7d4c\u8def\u3078\u7cbe\u5ea6\u3092\u914d\u5206\u3059\u308b\u6700\u9069\u5316\u554f\u984c\u3078\u5e83\u304c\u3063\u3066\u3044\u308b\u3002<\/p>\n<hr>\n<h2>8. \u4f4e\u7cbe\u5ea6\u8a08\u7b97\u3067\u306f\u8aa4\u5dee\u91cf\u3088\u308a\u8aa4\u5dee\u306e\u884c\u304d\u5148\u3092\u898b\u308b<\/h2>\n<p>LeapQuant\u3001STEPQuant\u3001WUSH-KV \u3092\u540c\u3058\u8aa4\u5dee\u30e2\u30c7\u30eb\u3078\u7f6e\u304f\u3068\u3001\u4f4e\u30d3\u30c3\u30c8\u91cf\u5b50\u5316\u3067\u8a55\u4fa1\u3059\u3079\u304d\u5bfe\u8c61\u3092\u4e09\u3064\u306b\u5206\u3051\u3089\u308c\u308b\u3002\u7b2c\u4e00\u306f\u3001\u305d\u306e\u6642\u70b9\u306e\u91cf\u5b50\u5316\u64cd\u4f5c\u306b\u3088\u3063\u3066\u65b0\u3057\u304f\u751f\u3058\u308b\u5c40\u6240\u8aa4\u5dee \\(\\varepsilon_t\\) \u3067\u3042\u308b\u3002\u7b2c\u4e8c\u306f\u3001\u305d\u306e\u8aa4\u5dee\u304c\u72b6\u614b\u9077\u79fb \\(A_t\\) \u3092\u901a\u3058\u3066\u5c06\u6765\u3078\u904b\u3070\u308c\u305f\u7d50\u679c\u3068\u3057\u3066\u84c4\u7a4d\u3059\u308b\u72b6\u614b\u8aa4\u5dee \\(e_t\\) \u3067\u3042\u308b\u3002\u7b2c\u4e09\u306f\u3001\u84c4\u7a4d\u3057\u305f\u8aa4\u5dee\u304c\u51fa\u529b\u611f\u5ea6 \\(H_t\\) \u306b\u3088\u3063\u3066\u65b9\u5411\u5225\u306b\u91cd\u307f\u4ed8\u3051\u3055\u308c\u305f\u6700\u7d42\u7684\u306a\u5f71\u97ff\u3067\u3042\u308b\u3002<\/p>\n<p>\\[<br \/>\ne_t<br \/>\n=<br \/>\nA_te_{t-1}<br \/>\n+<br \/>\n\\varepsilon_t<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u72b6\u614b\u8aa4\u5dee\u306e\u66f4\u65b0\u3068\u3001<\/p>\n<p>\\[<br \/>\n\\mathcal{L}_t<br \/>\n\\approx<br \/>\ne_t^\\top H_te_t<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u611f\u5ea6\u4ed8\u304d\u640d\u5931\u3092\u7d44\u307f\u5408\u308f\u305b\u308b\u3068\u3001\u5c40\u6240\u7684\u306a\u91cf\u5b50\u5316\u8aa4\u5dee\u3060\u3051\u3067\u306f\u6700\u7d42\u6027\u80fd\u3092\u6c7a\u3081\u3089\u308c\u306a\u3044\u7406\u7531\u304c\u5206\u304b\u308b\u3002\u5c0f\u3055\u306a \\(\\varepsilon_t\\) \u3067\u3082\u3001\\(A_t\\) \u306b\u3088\u3063\u3066\u9577\u6642\u9593\u4fdd\u6301\u3055\u308c\u308c\u3070\u591a\u6570\u306e\u751f\u6210\u30b9\u30c6\u30c3\u30d7\u3078\u6b8b\u308b\u3002\u305d\u306e\u8aa4\u5dee\u304c\u3055\u3089\u306b \\(H_t\\) \u306e\u9ad8\u611f\u5ea6\u65b9\u5411\u3078\u5b58\u5728\u3059\u308c\u3070\u3001\u72b6\u614b\u7a7a\u9593\u3067\u306e\u30ce\u30eb\u30e0\u4ee5\u4e0a\u306b\u5927\u304d\u306a\u51fa\u529b\u640d\u5931\u3092\u751f\u3080\u3002\u53cd\u5bfe\u306b\u3001\u6bd4\u8f03\u7684\u5927\u304d\u306a\u5c40\u6240\u8aa4\u5dee\u3067\u3082\u3001\u77ed\u6642\u9593\u3067\u6e1b\u8870\u3057\u3001\u51fa\u529b\u611f\u5ea6\u306e\u4f4e\u3044\u65b9\u5411\u3078\u914d\u7f6e\u3055\u308c\u308b\u306a\u3089\u3001\u6700\u7d42\u7684\u306a\u5f71\u97ff\u306f\u9650\u5b9a\u3055\u308c\u308b\u3002<\/p>\n<p>\u3053\u306e\u69cb\u9020\u304b\u3089\u898b\u308b\u3068\u3001\u4e09\u3064\u306e\u7814\u7a76\u304c\u63a1\u308b\u65b9\u6cd5\u306e\u9055\u3044\u3082\u660e\u78ba\u306b\u306a\u308b\u3002LeapQuant \u306f\u65b0\u3057\u3044 \\(\\varepsilon_t\\) \u3092\u767a\u751f\u3055\u305b\u308b\u56de\u6570\u3092\u6e1b\u3089\u3057\u3001\u4e00\u56de\u3054\u3068\u306e\u8aa4\u5dee\u3082\u4f4e\u30e9\u30f3\u30af\u5206\u96e2\u3068\u6b8b\u5dee\u5e73\u6ed1\u5316\u306b\u3088\u3063\u3066\u6291\u3048\u308b\u3002STEPQuant \u306f \\(A_t\\) \u304c\u4f5c\u308b\u8aa4\u5dee\u306e\u5bff\u547d\u3068\u3001\u8aad\u307f\u51fa\u3057\u5074\u306e\u611f\u5ea6\u3092\u6e2c\u308a\u3001\u6709\u9650\u306e\u30d3\u30c3\u30c8\u4e88\u7b97\u3092\u9577\u5bff\u547d\u30fb\u9ad8\u611f\u5ea6\u306a\u5834\u6240\u3078\u96c6\u4e2d\u3055\u305b\u308b\u3002WUSH-KV \u306f\u3055\u3089\u306b\u91cf\u5b50\u5316\u524d\u3078\u9061\u308a\u3001\u30c7\u30fc\u30bf\u5206\u5e03\u3068\u4e0b\u6d41\u611f\u5ea6\u304b\u3089\u5ea7\u6a19\u5909\u63db\u3092\u69cb\u6210\u3057\u3066\u3001\u9ad8\u611f\u5ea6\u65b9\u5411\u3078\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u51fa\u306b\u304f\u3044\u72b6\u614b\u3092\u4f5c\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u8a55\u4fa1\u6bb5\u968e<\/th>\n<th>\u4e2d\u5fc3\u3068\u306a\u308b\u91cf<\/th>\n<th>\u8aa4\u5dee\u304c\u5927\u304d\u304f\u306a\u308b\u6761\u4ef6<\/th>\n<th>\u5bfe\u5fdc\u3059\u308b\u5236\u5fa1\u65b9\u6cd5<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u8aa4\u5dee\u306e\u767a\u751f<\/td>\n<td>\\(\\varepsilon_t\\)<\/td>\n<td>\u91cf\u5b50\u5316\u983b\u5ea6\u304c\u9ad8\u3044\u3001\u5024\u57df\u304c\u5e83\u3044\u3001\u5916\u308c\u5024\u304c\u91cf\u5b50\u5316\u5c3a\u5ea6\u3092\u652f\u914d\u3059\u308b\u3002<\/td>\n<td>\u91cf\u5b50\u5316\u56de\u6570\u3092\u6e1b\u3089\u3057\u3001\u652f\u914d\u7684\u306a\u6210\u5206\u3092\u9ad8\u7cbe\u5ea6\u5074\u3078\u5206\u96e2\u3057\u3001\u5c3a\u5ea6\u3092\u8abf\u6574\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u8aa4\u5dee\u306e\u4f1d\u64ad<\/td>\n<td>\\(A_t\\)<\/td>\n<td>\u72b6\u614b\u9077\u79fb\u304c\u904e\u53bb\u306e\u8aa4\u5dee\u3092\u9577\u6642\u9593\u4fdd\u6301\u3059\u308b\u3002<\/td>\n<td>\u8aa4\u5dee\u5bff\u547d\u3092\u6e2c\u308a\u3001\u9577\u304f\u6b8b\u308b\u72b6\u614b\u3078\u9ad8\u3044\u30d3\u30c3\u30c8\u5e45\u3092\u5272\u308a\u5f53\u3066\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u51fa\u529b\u3078\u306e\u5f71\u97ff<\/td>\n<td>\\(H_t\\)<\/td>\n<td>\u8aa4\u5dee\u304c\u8aad\u307f\u51fa\u3057\u611f\u5ea6\u306e\u9ad8\u3044\u65b9\u5411\u3078\u5b58\u5728\u3059\u308b\u3002<\/td>\n<td>\u9ad8\u611f\u5ea6\u6210\u5206\u3092\u9ad8\u7cbe\u5ea6\u5316\u3057\u3001\u5ea7\u6a19\u5909\u63db\u306b\u3088\u3063\u3066\u8aa4\u5dee\u65b9\u5411\u3092\u8abf\u6574\u3059\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u305f\u3060\u3057\u3001\u3053\u306e\u5171\u901a\u30e2\u30c7\u30eb\u306f\u4e09\u3064\u306e\u7814\u7a76\u306e\u4fdd\u8a3c\u7bc4\u56f2\u307e\u3067\u540c\u4e00\u306b\u3059\u308b\u3082\u306e\u3067\u306f\u306a\u3044\u3002LeapQuant \u306e\u7a93\u5358\u4f4d\u306e\u91cf\u5b50\u5316\u304c\u91cf\u5b50\u5316\u983b\u5ea6\u3092\u6e1b\u3089\u305b\u308b\u306e\u306f\u3001\u7a93\u5185\u90e8\u306e\u66f4\u65b0\u3092\u9ad8\u3044\u7cbe\u5ea6\u3067\u4e00\u6642\u4fdd\u6301\u3059\u308b\u305f\u3081\u3067\u3042\u308b\u3002\u91cf\u5b50\u5316\u8aa4\u5dee\u306e\u6ce8\u5165\u56de\u6570\u3092\u6e1b\u3089\u3059\u4ee3\u308f\u308a\u306b\u3001\u9ad8\u7cbe\u5ea6\u306a\u88dc\u52a9\u72b6\u614b\u3068\u7a93\u5358\u4f4d\u306e\u66f4\u65b0\u51e6\u7406\u3092\u4f7f\u3063\u3066\u3044\u308b\u3002<\/p>\n<p>STEPQuant \u306e\u5bff\u547d\u91cd\u307f \\(L_u\\) \u3082\u3001\u5b9f\u969b\u306e\u518d\u5e30\u72b6\u614b\u306e\u5c06\u6765\u6319\u52d5\u3092\u5b8c\u5168\u306b\u89e3\u304f\u91cf\u3067\u306f\u306a\u3044\u3002\u4fdd\u6301\u30b2\u30fc\u30c8\u304b\u3089\u5f97\u305f\u5e73\u5747\u7684\u306a\u6e1b\u8870\u7387\u3092\u4f7f\u3044\u3001\u6709\u9650\u671f\u9593\u306b\u304a\u3051\u308b\u8aa4\u5dee\u5bff\u547d\u3092\u6307\u6570\u6e1b\u8870\u3068\u3057\u3066\u8fd1\u4f3c\u3059\u308b\u3002\u884c\u3054\u3068\u306e\u5f71\u97ff\u5ea6 \\(\\omega_i\\) \u3082\u6821\u6b63\u30c7\u30fc\u30bf\u4e0a\u306e\u8aad\u307f\u51fa\u3057\u304b\u3089\u63a8\u5b9a\u3057\u305f\u5024\u3067\u3042\u308a\u3001\u63a8\u8ad6\u4e2d\u306e\u3059\u3079\u3066\u306e\u5165\u529b\u7cfb\u5217\u306b\u5bfe\u3057\u3066\u540c\u3058\u611f\u5ea6\u304c\u53b3\u5bc6\u306b\u6210\u7acb\u3059\u308b\u3053\u3068\u3092\u610f\u5473\u3057\u306a\u3044\u3002STEPQuant \u306f\u3001\u3053\u306e\u8fd1\u4f3c\u3067\u3082\u91cf\u5b50\u5316\u7cbe\u5ea6\u306e\u914d\u5206\u306b\u5229\u7528\u3067\u304d\u308b\u7a0b\u5ea6\u306e\u69cb\u9020\u304c\u518d\u5e30\u72b6\u614b\u306b\u5b58\u5728\u3059\u308b\u3053\u3068\u3092\u5b9f\u9a13\u3067\u793a\u3057\u3066\u3044\u308b\u3002<\/p>\n<p>WUSH-KV \u3067\u306f\u3001\u7406\u8ad6\u4fdd\u8a3c\u3068\u30a8\u30f3\u30c9\u30c4\u30fc\u30a8\u30f3\u30c9\u8a55\u4fa1\u306e\u5883\u754c\u3092\u3055\u3089\u306b\u660e\u78ba\u306b\u5206\u3051\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002\u8fd1\u6700\u9069\u6027\u306e\u89e3\u6790\u306f\u3001QuEST \u578b\u306e\u6574\u6570\u91cf\u5b50\u5316\u5668\u3001\u52a0\u6cd5\u7684\u306a\u4e38\u3081\u96d1\u97f3\u3001\u5206\u5e03\u306e\u88fe\u3084\u30af\u30ea\u30c3\u30d4\u30f3\u30b0\u8aa4\u5dee\u306b\u95a2\u3059\u308b\u6761\u4ef6\u306e\u4e0b\u3067\u5c0e\u304b\u308c\u3066\u3044\u308b\u3002\u4e00\u65b9\u3001\u4e3b\u8981\u306a 2 \u30d3\u30c3\u30c8 KV \u30ad\u30e3\u30c3\u30b7\u30e5\u306e\u5b9f\u9a13\u3067\u306f OSCAR \u578b\u306e\u5206\u4f4d\u70b9\u30af\u30ea\u30c3\u30d4\u30f3\u30b0\u91cf\u5b50\u5316\u5668\u3092\u7528\u3044\u3066\u3044\u308b\u3002\u7406\u8ad6\u304c\u4fdd\u8a3c\u3059\u308b\u5bfe\u8c61\u306f\u5909\u63db\u306e\u7279\u5b9a\u6761\u4ef6\u4e0b\u3067\u306e\u6027\u8cea\u3067\u3042\u308a\u3001\u500b\u3005\u306e\u751f\u6210\u30d9\u30f3\u30c1\u30de\u30fc\u30af\u5f97\u70b9\u3092\u5b9a\u7406\u304b\u3089\u76f4\u63a5\u5c0e\u3044\u3066\u3044\u308b\u308f\u3051\u3067\u306f\u306a\u3044\u3002<\/p>\n<p>\u3053\u306e\u533a\u5225\u306f\u3001\u5c40\u6240\u7684\u306a\u91cf\u5b50\u5316\u6307\u6a19\u3068\u30e2\u30c7\u30eb\u5168\u4f53\u306e\u6027\u80fd\u3092\u5206\u3051\u3066\u8aad\u3080\u4e0a\u3067\u3082\u91cd\u8981\u3067\u3042\u308b\u3002WUSH-KV \u306e\u8ffd\u52a0\u8a55\u4fa1\u3067\u306f\u3001QuEST \u304c\u5c40\u6240\u7684\u306a \\(L_2\\) \u91cf\u5b50\u5316\u8aa4\u5dee\u3067\u306f\u5c0f\u3055\u3044\u5024\u3092\u793a\u3059\u4e00\u65b9\u3001\u30a8\u30f3\u30c9\u30c4\u30fc\u30a8\u30f3\u30c9\u306e\u751f\u6210\u8ab2\u984c\u3067\u306f OSCAR \u578b\u91cf\u5b50\u5316\u5668\u306e\u65b9\u304c\u9ad8\u3044\u5f97\u70b9\u3092\u793a\u3057\u305f\u3068\u5831\u544a\u3055\u308c\u3066\u3044\u308b<a href=\"#ref10\">[10]<\/a>\u3002\u91cf\u5b50\u5316\u5bfe\u8c61\u306e\u5024\u3092\u3069\u308c\u3060\u3051\u6b63\u78ba\u306b\u5fa9\u5143\u3057\u305f\u304b\u3068\u3044\u3046\u5c3a\u5ea6\u3068\u3001\u305d\u306e\u8aa4\u5dee\u304c\u81ea\u56de\u5e30\u751f\u6210\u3092\u901a\u3058\u3066\u6700\u7d42\u51fa\u529b\u3078\u4e0e\u3048\u305f\u5f71\u97ff\u306f\u3001\u4e00\u5bfe\u4e00\u306b\u306f\u5bfe\u5fdc\u3057\u306a\u3044\u3002<\/p>\n<p>\u3053\u306e\u7d50\u679c\u306f\u3001\u5e73\u5747\u4e8c\u4e57\u8aa4\u5dee\u304c\u4e0d\u8981\u3067\u3042\u308b\u3053\u3068\u3092\u610f\u5473\u3057\u306a\u3044\u3002\u5e73\u5747\u4e8c\u4e57\u8aa4\u5dee\u306f\u91cf\u5b50\u5316\u5668\u305d\u306e\u3082\u306e\u306e\u518d\u69cb\u6210\u7cbe\u5ea6\u3092\u6e2c\u308b\u57fa\u790e\u7684\u306a\u5c3a\u5ea6\u3067\u3042\u308a\u3001\u5024\u57df\u3001\u5c3a\u5ea6\u3001\u30d3\u30c3\u30c8\u5e45\u306e\u9055\u3044\u3092\u6bd4\u8f03\u3059\u308b\u306b\u306f\u6709\u7528\u3067\u3042\u308b\u3002\u305d\u306e\u5024\u304b\u3089\u30e2\u30c7\u30eb\u6027\u80fd\u307e\u3067\u3092\u8a55\u4fa1\u3059\u308b\u306b\u306f\u3001\u8aa4\u5dee\u304c\u901a\u904e\u3059\u308b\u8a08\u7b97\u7d4c\u8def\u3092\u8ffd\u52a0\u3067\u8003\u3048\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002\u518d\u5e30\u72b6\u614b\u306a\u3089\u72b6\u614b\u9077\u79fb\u3001KV \u30ad\u30e3\u30c3\u30b7\u30e5\u306a\u3089 Attention \u306e\u8aad\u307f\u51fa\u3057\u69cb\u9020\u3001\u91cd\u307f\u91cf\u5b50\u5316\u306a\u3089\u5f8c\u7d9a\u5c64\u306e\u5165\u529b\u5206\u5e03\u304c\u3001\u305d\u306e\u7d4c\u8def\u3092\u6c7a\u3081\u308b\u3002<\/p>\n<p>\u4f4e\u7cbe\u5ea6\u8a08\u7b97\u3067\u5b88\u308b\u5bfe\u8c61\u3082\u3001\u3053\u306e\u7d4c\u8def\u306b\u5fdc\u3058\u3066\u5909\u308f\u308b\u3002\u9577\u304f\u6b8b\u308b\u72b6\u614b\u306b\u306f\u591a\u304f\u306e\u30d3\u30c3\u30c8\u3092\u5272\u308a\u5f53\u3066\u308b\u3002\u51fa\u529b\u611f\u5ea6\u304c\u9ad8\u3044\u884c\u3084\u65b9\u5411\u3067\u306f\u518d\u69cb\u6210\u8aa4\u5dee\u3092\u5c0f\u3055\u304f\u3059\u308b\u3002\u4f4e\u30d3\u30c3\u30c8\u91cf\u5b50\u5316\u306e\u5024\u57df\u3092\u5927\u304d\u304f\u5e83\u3052\u308b\u5c11\u6570\u306e\u6210\u5206\u306f\u3001\u9ad8\u7cbe\u5ea6\u8868\u73fe\u3084\u4f4e\u30e9\u30f3\u30af\u8868\u73fe\u3078\u5206\u96e2\u3059\u308b\u3002\u91cf\u5b50\u5316\u8aa4\u5dee\u304c\u9ad8\u611f\u5ea6\u65b9\u5411\u3078\u96c6\u4e2d\u3059\u308b\u306a\u3089\u3001\u91cf\u5b50\u5316\u524d\u306e\u5ea7\u6a19\u7cfb\u3092\u5909\u3048\u308b\u3002\u6709\u9650\u306e\u7cbe\u5ea6\u3092\u4e00\u69d8\u306b\u914d\u308b\u4ee3\u308f\u308a\u306b\u3001\u8a08\u7b97\u7d50\u679c\u3078\u306e\u5bc4\u4e0e\u306b\u5fdc\u3058\u3066\u914d\u7f6e\u3092\u5909\u3048\u308b\u3053\u3068\u304c\u3001\u4e09\u3064\u306e\u7814\u7a76\u306b\u5171\u901a\u3059\u308b\u8a2d\u8a08\u539f\u7406\u3067\u3042\u308b\u3002<\/p>\n<p>\u91cf\u5b50\u5316\u305d\u306e\u3082\u306e\u306f\u3001\u9023\u7d9a\u7684\u3042\u308b\u3044\u306f\u9ad8\u7cbe\u5ea6\u306a\u5024\u3092\u6709\u9650\u500b\u306e\u4ee3\u8868\u5024\u3078\u5199\u3059\u64cd\u4f5c\u3067\u3042\u308b\u3002\u3057\u304b\u3057\u3001\u305d\u306e\u64cd\u4f5c\u3092 LLM \u306e\u5185\u90e8\u8a08\u7b97\u3078\u7d44\u307f\u8fbc\u3080\u3068\u3001\u5931\u308f\u308c\u305f\u60c5\u5831\u306e\u4fa1\u5024\u306f\u91cf\u5b50\u5316\u3057\u305f\u6642\u70b9\u3060\u3051\u3067\u306f\u6c7a\u307e\u3089\u306a\u3044\u3002\u518d\u5e30\u72b6\u614b\u3067\u306f\u8aa4\u5dee\u304c\u672a\u6765\u306e\u72b6\u614b\u3078\u904b\u3070\u308c\u3001KV \u30ad\u30e3\u30c3\u30b7\u30e5\u3067\u306f\u8aa4\u5dee\u304c Attention \u3092\u901a\u3058\u3066\u5f8c\u7d9a\u30c8\u30fc\u30af\u30f3\u306e\u51fa\u529b\u3078\u4f5c\u7528\u3059\u308b\u3002\u91cf\u5b50\u5316\u5668\u304c\u4f5c\u3063\u305f\u8aa4\u5dee\u306f\u3001\u305d\u306e\u5f8c\u306e\u8a08\u7b97\u69cb\u9020\u306b\u3088\u3063\u3066\u6e1b\u8870\u3001\u4fdd\u6301\u3001\u518d\u914d\u5206\u3055\u308c\u308b\u3002<\/p>\n<p>\u4f4e\u30d3\u30c3\u30c8\u5316\u306e\u8a2d\u8a08\u3067\u554f\u3046\u3079\u304d\u306a\u306e\u306f\u3001\u8aa4\u5dee\u3092\u4e00\u5f8b\u306b\u4f55\u5206\u306e\u4e00\u3078\u6e1b\u3089\u305b\u308b\u304b\u3068\u3044\u3046\u91cf\u3060\u3051\u3067\u306f\u306a\u3044\u3002\u3069\u306e\u8aa4\u5dee\u306a\u3089\u77ed\u6642\u9593\u3067\u6d88\u3048\u3001\u3069\u306e\u8aa4\u5dee\u304c\u9577\u304f\u6b8b\u308a\u3001\u3069\u306e\u65b9\u5411\u306e\u8aa4\u5dee\u304c\u51fa\u529b\u3078\u5927\u304d\u304f\u4f5c\u7528\u3059\u308b\u304b\u3092\u898b\u5206\u3051\u308b\u3053\u3068\u304c\u5fc5\u8981\u306b\u306a\u308b\u3002LeapQuant\u3001STEPQuant\u3001WUSH-KV \u304c\u305d\u308c\u305e\u308c\u91cf\u5b50\u5316\u983b\u5ea6\u3001\u8aa4\u5dee\u5bff\u547d\u3068\u611f\u5ea6\u3001\u5ea7\u6a19\u5909\u63db\u3092\u64cd\u4f5c\u3057\u3066\u3044\u308b\u306e\u306f\u3001\u3053\u306e\u533a\u5225\u3092\u7570\u306a\u308b\u4f4d\u7f6e\u304b\u3089\u5229\u7528\u3057\u3066\u3044\u308b\u305f\u3081\u3067\u3042\u308b\u3002<\/p>\n<p>\u6709\u9650\u306e\u30d3\u30c3\u30c8\u6570\u3067\u30e2\u30c7\u30eb\u306e\u5185\u90e8\u72b6\u614b\u3092\u8868\u73fe\u3059\u308b\u4ee5\u4e0a\u3001\u3059\u3079\u3066\u306e\u6570\u5024\u3092\u5143\u3068\u540c\u3058\u7cbe\u5ea6\u3067\u6b8b\u3059\u3053\u3068\u306f\u3067\u304d\u306a\u3044\u3002\u305d\u3053\u3067\u5fc5\u8981\u306b\u306a\u308b\u306e\u306f\u3001\u8aa4\u5dee\u3092\u5358\u7d14\u306b\u6e1b\u3089\u3059\u3053\u3068\u3088\u308a\u3001\u3069\u3053\u3078\u8aa4\u5dee\u3092\u8a31\u5bb9\u3057\u3001\u3069\u3053\u3078\u7cbe\u5ea6\u3092\u6b8b\u3059\u304b\u3092\u8a08\u7b97\u69cb\u9020\u304b\u3089\u6c7a\u3081\u308b\u3053\u3068\u3067\u3042\u308b\u3002\u4f4e\u7cbe\u5ea6\u8a08\u7b97\u306b\u304a\u3051\u308b\u7cbe\u5ea6\u8a2d\u8a08\u306f\u3001\u6570\u5024\u306e\u4fdd\u5b58\u91cf\u3092\u6c7a\u3081\u308b\u554f\u984c\u304b\u3089\u3001\u8aa4\u5dee\u304c\u901a\u308b\u7d4c\u8def\u306b\u6cbf\u3063\u3066\u6709\u9650\u306e\u7cbe\u5ea6\u4e88\u7b97\u3092\u914d\u7f6e\u3059\u308b\u554f\u984c\u3078\u5909\u308f\u3063\u3066\u3044\u308b\u3002<\/p>\n<hr>\n<h2>\u53c2\u8003\u6587\u732e<\/h2>\n<ol>\n<li id=\"ref1\">id774, \u91cf\u5b50\u5316\u306b\u3064\u3044\u3066\u8a73\u3057\u304f\u89e3\u8aac\u3059\u308b\uff082026-08-07\uff09. <a href=\"https:\/\/blog.id774.net\/entry\/2026\/08\/07\/5472\/\">https:\/\/blog.id774.net\/entry\/2026\/08\/07\/5472\/<\/a><\/li>\n<li id=\"ref2\">id774, \u4e09\u5024 LLM \u306e\u5727\u7e2e\u306f\u4fdd\u5b58\u91cf\u3068\u5fa9\u53f7\u51e6\u7406\u306e\u914d\u7f6e\u554f\u984c\u306b\u306a\u308b\uff082026-09-25\uff09. <a href=\"https:\/\/blog.id774.net\/entry\/2026\/09\/25\/5710\/\">https:\/\/blog.id774.net\/entry\/2026\/09\/25\/5710\/<\/a><\/li>\n<li id=\"ref3\">R. M. Gray and D. L. Neuhoff, Quantization, IEEE Transactions on Information Theory, 1998. <a href=\"https:\/\/doi.org\/10.1109\/18.720541\">https:\/\/doi.org\/10.1109\/18.720541<\/a><\/li>\n<li id=\"ref4\">Nicholas J. Higham, Accuracy and Stability of Numerical Algorithms, 2nd ed., SIAM, 2002. <a href=\"https:\/\/epubs.siam.org\/doi\/book\/10.1137\/1.9780898718027\">https:\/\/epubs.siam.org\/doi\/book\/10.1137\/1.9780898718027<\/a><\/li>\n<li id=\"ref5\">Samuel Williams, Andrew Waterman, David Patterson, Roofline: An Insightful Visual Performance Model for Multicore Architectures, 2009. <a href=\"https:\/\/doi.org\/10.1145\/1498765.1498785\">https:\/\/doi.org\/10.1145\/1498765.1498785<\/a><\/li>\n<li id=\"ref6\">Songlin Yang, Jan Kautz, Ali Hatamizadeh, Gated Delta Networks: Improving Mamba2 with Delta Rule, 2024. <a href=\"https:\/\/arxiv.org\/abs\/2412.06464\">https:\/\/arxiv.org\/abs\/2412.06464<\/a><\/li>\n<li id=\"ref7\">Kimi Team et al., Kimi Linear: An Expressive, Efficient Attention Architecture, 2025. <a href=\"https:\/\/arxiv.org\/abs\/2510.26692\">https:\/\/arxiv.org\/abs\/2510.26692<\/a><\/li>\n<li id=\"ref8\">Yi Pan et al., LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization, 2026. <a href=\"https:\/\/arxiv.org\/abs\/2609.38166v1\">https:\/\/arxiv.org\/abs\/2609.38166v1<\/a><\/li>\n<li id=\"ref9\">Bingchen Yao et al., STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization, 2026. <a href=\"https:\/\/arxiv.org\/abs\/2609.38169v1\">https:\/\/arxiv.org\/abs\/2609.38169v1<\/a><\/li>\n<li id=\"ref10\">Jiale Chen et al., WUSH-KV: KV Cache Quantization with Data-Adaptive Transforms, 2026. <a href=\"https:\/\/arxiv.org\/abs\/2609.38121v1\">https:\/\/arxiv.org\/abs\/2609.38121v1<\/a><\/li>\n<li id=\"ref11\">Jiale Chen et al., WUSH: Near-Optimal Adaptive Transforms for LLM Quantization, 2025. <a href=\"https:\/\/arxiv.org\/abs\/2512.00956\">https:\/\/arxiv.org\/abs\/2512.00956<\/a><\/li>\n<li id=\"ref12\">Andrei Panferov et al., QuEST: Stable Training of LLMs with 1-Bit Weights and Activations, 2025. <a href=\"https:\/\/arxiv.org\/abs\/2502.05003\">https:\/\/arxiv.org\/abs\/2502.05003<\/a><\/li>\n<li id=\"ref13\">Zhongzhu Zhou et al., OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization, 2026. <a href=\"https:\/\/arxiv.org\/abs\/2605.17757\">https:\/\/arxiv.org\/abs\/2605.17757<\/a><\/li>\n<li id=\"ref14\">Saleh Ashkboos et al., QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs, 2024. <a href=\"https:\/\/arxiv.org\/abs\/2404.00456\">https:\/\/arxiv.org\/abs\/2404.00456<\/a><\/li>\n<li id=\"ref15\">Zechun Liu et al., SpinQuant: LLM Quantization with Learned Rotations, 2024. <a href=\"https:\/\/arxiv.org\/abs\/2405.16406\">https:\/\/arxiv.org\/abs\/2405.16406<\/a><\/li>\n<li id=\"ref16\">Elias Frantar et al., GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers, 2022. <a href=\"https:\/\/arxiv.org\/abs\/2210.17323\">https:\/\/arxiv.org\/abs\/2210.17323<\/a><\/li>\n<li id=\"ref17\">Guangxuan Xiao et al., SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models, 2022. <a href=\"https:\/\/arxiv.org\/abs\/2211.10438\">https:\/\/arxiv.org\/abs\/2211.10438<\/a><\/li>\n<li id=\"ref18\">Ji Lin et al., AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration, 2023. <a href=\"https:\/\/arxiv.org\/abs\/2306.00978\">https:\/\/arxiv.org\/abs\/2306.00978<\/a><\/li>\n<li id=\"ref19\">Zirui Liu et al., KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache, 2024. <a href=\"https:\/\/arxiv.org\/abs\/2402.02750\">https:\/\/arxiv.org\/abs\/2402.02750<\/a><\/li>\n<li id=\"ref20\">Coleman Hooper et al., KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization, 2024. <a href=\"https:\/\/arxiv.org\/abs\/2401.18079\">https:\/\/arxiv.org\/abs\/2401.18079<\/a><\/li>\n<li id=\"ref21\">Hao Kang et al., GEAR: An Efficient KV Cache Compression Recipe for Near-Lossless Generative Inference of LLM, 2024. <a href=\"https:\/\/arxiv.org\/abs\/2403.05527\">https:\/\/arxiv.org\/abs\/2403.05527<\/a><\/li>\n<li id=\"ref22\">Tim Dettmers et al., SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression, 2023. <a href=\"https:\/\/arxiv.org\/abs\/2306.03078\">https:\/\/arxiv.org\/abs\/2306.03078<\/a><\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"<p>\u91cf\u5b50\u5316\u306f\u3001\u9650\u3089\u308c\u305f\u30d3\u30c3\u30c8\u6570\u3067\u6570\u5024\u3092\u8868\u73fe\u3059\u308b\u305f\u3081\u306b\u3001\u5143\u306e\u5024\u3092\u6709\u9650\u500b\u306e\u4ee3\u8868\u5024\u3078\u5bfe\u5fdc\u3055\u305b\u308b\u64cd\u4f5c\u3067\u3042\u308b\u30024 \u30d3\u30c3\u30c8\u306a\u3089\u5229\u7528\u3067\u304d\u308b\u30b3\u30fc\u30c9\u306f\u6700\u5927 16 \u7a2e\u985e\u3067\u3042\u308a\u3001\u305d\u308c\u3088\u308a\u591a\u304f\u306e\u5024\u3092\u6271\u3046\u306b\u306f\u8907\u6570\u306e\u5165\u529b\u3092\u540c\u3058\u4ee3\u8868\u5024\u3078\u307e\u3068\u3081\u308b\u5fc5\u8981\u304c\u3042\u308b &#8230; <a title=\"\u4f4e\u30d3\u30c3\u30c8\u91cf\u5b50\u5316\u3067\u306f\u8aa4\u5dee\u306e\u767a\u751f\u6642\u523b\u3068\u5bff\u547d\u3068\u65b9\u5411\u3078\u7cbe\u5ea6\u3092\u914d\u308b\" class=\"read-more\" href=\"https:\/\/blog.id774.net\/entry\/2026\/10\/24\/5746\/\" aria-label=\"\u4f4e\u30d3\u30c3\u30c8\u91cf\u5b50\u5316\u3067\u306f\u8aa4\u5dee\u306e\u767a\u751f\u6642\u523b\u3068\u5bff\u547d\u3068\u65b9\u5411\u3078\u7cbe\u5ea6\u3092\u914d\u308b \u306b\u3064\u3044\u3066\u3055\u3089\u306b\u8aad\u3080\">\u7d9a\u304d\u3092\u8aad\u3080<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[26,14],"tags":[],"class_list":["post-5746","post","type-post","status-publish","format-standard","hentry","category-math","category-tech"],"_links":{"self":[{"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/posts\/5746","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/comments?post=5746"}],"version-history":[{"count":1,"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/posts\/5746\/revisions"}],"predecessor-version":[{"id":5747,"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/posts\/5746\/revisions\/5747"}],"wp:attachment":[{"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/media?parent=5746"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/categories?post=5746"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/tags?post=5746"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}