{"id":5693,"date":"2026-09-19T00:03:46","date_gmt":"2026-09-18T15:03:46","guid":{"rendered":"https:\/\/blog.id774.net\/entry\/?p=5693"},"modified":"2026-09-18T13:53:25","modified_gmt":"2026-09-18T04:53:25","slug":"jev-%e3%81%ae-rlcd-%e3%81%a8-rlhf-%e3%81%ae%e9%81%95%e3%81%84%e3%82%92%e5%a0%b1%e9%85%ac%e3%81%a8%e7%a2%ba%e7%8e%87%e3%81%8b%e3%82%89%e8%80%83%e3%81%88%e3%82%8b","status":"publish","type":"post","link":"https:\/\/blog.id774.net\/entry\/2026\/09\/19\/5693\/","title":{"rendered":"Jev \u306e RLCD \u3068 RLHF \u306e\u9055\u3044\u3092\u5831\u916c\u3068\u78ba\u7387\u304b\u3089\u8003\u3048\u308b"},"content":{"rendered":"<p>2026 \u5e74 9 \u6708 14 \u65e5\u3001TypeSafe AI \u306f\u6700\u521d\u306e System One Model \u3068\u3057\u3066 Jev \u3092\u516c\u958b\u3057\u305f\u3002\u540c\u793e\u306f Jev \u3092\u3001\u6587\u7ae0\u3092\u9010\u6b21\u751f\u6210\u3059\u308b\u5f93\u6765\u306e LLM \u3068\u306f\u7570\u306a\u308a\u3001\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u304b\u3089\u76f4\u63a5\u5229\u7528\u3067\u304d\u308b\u578b\u4ed8\u304d\u306e\u78ba\u7387\u7684\u5224\u65ad\u3092\u8fd4\u3059\u30e2\u30c7\u30eb\u3068\u3057\u3066\u4f4d\u7f6e\u4ed8\u3051\u3066\u3044\u308b\u3002\u305d\u306e\u305f\u3081\u306e\u5b66\u7fd2\u65b9\u6cd5\u3068\u3057\u3066 TypeSafe \u304c\u63d0\u793a\u3057\u305f\u306e\u304c Reinforcement Learning for Calibrated Decisions\u3001RLCD \u3067\u3042\u308b\u3002TypeSafe \u306e\u8aac\u660e\u3067\u306f\u3001RLHF \u304c\u4eba\u9593\u306e\u9078\u597d\u3092\u4e3b\u306a\u6700\u9069\u5316\u5bfe\u8c61\u3068\u3059\u308b\u306e\u306b\u5bfe\u3057\u3001RLCD \u306f\u5224\u65ad\u7d50\u679c\u3068\u3068\u3082\u306b\u8a8d\u8b58\u8ad6\u7684\u306a\u4e0d\u78ba\u5b9f\u6027\u3092\u78ba\u7387\u3068\u3057\u3066\u8868\u73fe\u3059\u308b calibrated decisions \u3092\u6700\u9069\u5316\u5bfe\u8c61\u306b\u7f6e\u304f<a href=\"#ref1\">[1]<\/a>\u3002<\/p>\n<p>Jev \u306e\u516c\u958b API \u306b\u3082\u3001\u3053\u306e\u8a2d\u8a08\u601d\u60f3\u304c\u73fe\u308c\u3066\u3044\u308b\u3002Cloudflare Workers AI \u3067\u63d0\u4f9b\u3055\u308c\u3066\u3044\u308b Jev \u306f\u3001\u81ea\u7531\u6587\u3092\u751f\u6210\u3059\u308b\u4ee3\u308f\u308a\u306b\u3001Noul\u3001Choice\u3001Score \u3068\u3044\u3046\u3042\u3089\u304b\u3058\u3081\u578b\u304c\u5b9a\u3081\u3089\u308c\u305f\u8cea\u554f\u3078\u56de\u7b54\u3059\u308b\u3002Choice \u3067\u306f\u5019\u88dc\u3054\u3068\u306e probability\u3001Score \u3067\u306f\u5024\u3054\u3068\u306e probability \u304c\u8fd4\u3055\u308c\u3001\u305d\u308c\u3068\u306f\u5225\u306b confidence \u3082\u51fa\u529b\u3055\u308c\u308b<a href=\"#ref2\">[2]<\/a>\u3002\u3064\u307e\u308a Jev \u304c\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u3078\u6e21\u3059\u4e3b\u8981\u306a\u60c5\u5831\u306f\u3001\u751f\u6210\u3055\u308c\u305f\u6587\u7ae0\u305d\u306e\u3082\u306e\u3067\u306f\u306a\u304f\u3001\u300c\u3069\u306e\u5224\u65ad\u304c\u3069\u306e\u7a0b\u5ea6\u78ba\u304b\u3089\u3057\u3044\u304b\u300d\u3092\u8868\u3057\u305f\u69cb\u9020\u5316\u3055\u308c\u305f\u6570\u5024\u3067\u3042\u308b\u3002<\/p>\n<p>\u3053\u306e\u9055\u3044\u3092\u6570\u7406\u30e2\u30c7\u30eb\u3068\u3057\u3066\u6271\u3046\u306b\u306f\u3001\u6700\u521d\u306b\u516c\u958b\u60c5\u5831\u306e\u5883\u754c\u3092\u56fa\u5b9a\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u30022026 \u5e74 9 \u6708 18 \u65e5\u6642\u70b9\u3067\u3001TypeSafe \u306f RLCD \u306e\u5177\u4f53\u7684\u306a\u5831\u916c\u95a2\u6570\u3001\u640d\u5931\u95a2\u6570\u3001\u5b66\u7fd2\u30c7\u30fc\u30bf\u306e\u69cb\u6210\u3001\u78ba\u7387\u8f03\u6b63\u306b\u4f7f\u3046\u8a55\u4fa1\u91cf\u3001\u65b9\u7b56\u6700\u9069\u5316\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u3092\u516c\u958b\u3057\u3066\u3044\u306a\u3044\u3002\u516c\u958b\u3055\u308c\u3066\u3044\u308b\u306e\u306f\u3001RLCD \u304c calibrated decisions \u3092\u76ee\u7684\u3068\u3059\u308b\u3053\u3068\u3001Jev \u304c\u578b\u4ed8\u304d\u306e\u78ba\u7387\u7684\u5224\u65ad\u3092\u8fd4\u3059\u3053\u3068\u3001\u5404\u7a2e\u8a55\u4fa1\u3068\u5229\u7528\u4f8b\u307e\u3067\u3067\u3042\u308b<a href=\"#ref1\">[1]<\/a><a href=\"#ref2\">[2]<\/a>\u3002<\/p>\n<p>\u3053\u306e\u305f\u3081\u3001\u672c\u7a3f\u3067\u5f8c\u306b\u5c0e\u5165\u3059\u308b\u78ba\u7387\u8f03\u6b63\u3001proper scoring rule\u3001\u30d9\u30a4\u30ba\u610f\u601d\u6c7a\u5b9a\u306e\u6570\u5f0f\u306f\u3001TypeSafe \u304c\u5b9f\u88c5\u3057\u305f RLCD \u306e\u5185\u90e8\u5f0f\u3092\u5fa9\u5143\u3057\u305f\u3082\u306e\u3067\u306f\u306a\u3044\u3002\u516c\u958b\u3055\u308c\u305f\u300c\u8f03\u6b63\u3055\u308c\u305f\u5224\u65ad\u300d\u3068\u3044\u3046\u76ee\u7684\u3092\u3001\u65e2\u5b58\u306e\u78ba\u7387\u8ad6\u3001\u7d71\u8a08\u5b66\u3001\u610f\u601d\u6c7a\u5b9a\u7406\u8ad6\u306b\u3088\u3063\u3066\u5f62\u5f0f\u5316\u3057\u3001\u305d\u306e\u76ee\u7684\u304c\u6570\u7406\u7684\u306b\u3069\u306e\u3088\u3046\u306a\u6027\u8cea\u3092\u8981\u6c42\u3059\u308b\u304b\u3092\u8abf\u3079\u308b\u305f\u3081\u306e\u30e2\u30c7\u30eb\u3067\u3042\u308b\u3002TypeSafe \u306e\u5b9f\u88c5\u3068\u65e2\u5b58\u7406\u8ad6\u306b\u3088\u308b\u5f62\u5f0f\u5316\u3092\u5206\u96e2\u3057\u3066\u304a\u304f\u3053\u3068\u3067\u3001\u516c\u958b\u4e8b\u5b9f\u3068\u7406\u8ad6\u4e0a\u5c0e\u3051\u308b\u5e30\u7d50\u3092\u540c\u3058\u3082\u306e\u3068\u3057\u3066\u6271\u3046\u3053\u3068\u3092\u907f\u3051\u3089\u308c\u308b\u3002<\/p>\n<p>\u3053\u306e\u5883\u754c\u3092\u7f6e\u304f\u3068\u3001RLHF \u3068 RLCD \u306e\u5dee\u306f\u3001\u81ea\u7531\u6587\u3068\u69cb\u9020\u5316\u5024\u3068\u3044\u3046\u51fa\u529b\u5f62\u5f0f\u306e\u9055\u3044\u3088\u308a\u6df1\u3044\u4f4d\u7f6e\u306b\u3042\u308b\u3053\u3068\u304c\u898b\u3048\u3066\u304f\u308b\u3002\u5b66\u7fd2\u306b\u3088\u3063\u3066\u4f55\u3092\u5927\u304d\u304f\u3059\u308b\u306e\u304b\u3001\u51fa\u529b\u3055\u308c\u305f\u6570\u5024\u306b\u3069\u306e\u610f\u5473\u3092\u6301\u305f\u305b\u308b\u306e\u304b\u304c\u7570\u306a\u308b\u3002RLHF \u3067\u306f\u3001\u4eba\u9593\u306b\u3088\u308b\u6bd4\u8f03\u5224\u65ad\u304b\u3089\u69cb\u6210\u3057\u305f\u5831\u916c\u3092\u9ad8\u3081\u308b\u3053\u3068\u304c\u4e2d\u5fc3\u306b\u306a\u308b\u3002RLCD \u306e\u516c\u958b\u76ee\u7684\u3092\u78ba\u7387\u8ad6\u3068\u3057\u3066\u8aad\u3080\u5834\u5408\u3001\u4e2d\u5fc3\u306b\u306a\u308b\u306e\u306f\u3001\u30e2\u30c7\u30eb\u304c\u51fa\u3057\u305f\u78ba\u7387\u3068\u5b9f\u969b\u306b\u89b3\u6e2c\u3055\u308c\u308b\u7d50\u679c\u3068\u306e\u5bfe\u5fdc\u3067\u3042\u308b\u3002<\/p>\n<hr>\n<h2>1. RLHF \u3068 RLCD \u306f\u4f55\u3092\u6700\u9069\u5316\u3057\u3066\u3044\u308b\u306e\u304b<\/h2>\n<p>\u6a5f\u68b0\u5b66\u7fd2\u30e2\u30c7\u30eb\u306e\u6027\u8cea\u3092\u6c7a\u3081\u308b\u8981\u56e0\u306e\u4e00\u3064\u304c\u76ee\u7684\u95a2\u6570\u3067\u3042\u308b\u3002\u540c\u3058\u5165\u529b\u3092\u53d7\u3051\u53d6\u308a\u3001\u4f3c\u305f\u5185\u90e8\u8868\u73fe\u3092\u6301\u3064\u30e2\u30c7\u30eb\u3067\u3042\u3063\u3066\u3082\u3001\u5b66\u7fd2\u6642\u306b\u6700\u5927\u5316\u307e\u305f\u306f\u6700\u5c0f\u5316\u3059\u308b\u91cf\u304c\u7570\u306a\u308c\u3070\u3001\u5b66\u7fd2\u306b\u3088\u3063\u3066\u7372\u5f97\u3055\u308c\u308b\u6027\u8cea\u3082\u5909\u308f\u308b\u3002RLHF \u3068 RLCD \u3092\u6bd4\u8f03\u3059\u308b\u5834\u5408\u3082\u3001\u307e\u305a\u300c\u4f55\u3092\u51fa\u529b\u3059\u308b\u304b\u300d\u3088\u308a\u3001\u300c\u3069\u306e\u91cf\u3092\u826f\u3044\u3082\u306e\u3068\u3057\u3066\u5b66\u7fd2\u3055\u305b\u308b\u304b\u300d\u3092\u5206\u3051\u3066\u8003\u3048\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002<\/p>\n<h3>1.1 RLHF \u306f\u4eba\u9593\u306e\u9078\u597d\u3092\u5831\u916c\u3078\u5199\u50cf\u3059\u308b<\/h3>\n<p>RLHF \u3092\u5358\u7d14\u5316\u3059\u308b\u3068\u3001\u5165\u529b \\(x\\) \u306b\u5bfe\u3057\u3066\u30e2\u30c7\u30eb\u304c\u56de\u7b54 \\(y\\) \u3092\u751f\u6210\u3057\u3001\u305d\u306e\u56de\u7b54\u3078\u5831\u916c \\(r_\\phi(x,y)\\) \u3092\u4e0e\u3048\u3001\u671f\u5f85\u5831\u916c\u3092\u5927\u304d\u304f\u3059\u308b\u65b9\u5411\u3078\u751f\u6210\u65b9\u7b56 \\(\\pi_\\theta\\) \u3092\u66f4\u65b0\u3059\u308b\u554f\u984c\u3068\u3057\u3066\u8868\u305b\u308b\u3002\u5165\u529b \\(x\\) \u3092\u56fa\u5b9a\u3057\u3066\u8003\u3048\u308c\u3070\u3001\u76ee\u7684\u306f\u6b21\u306e\u5f62\u306b\u306a\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\theta^*<br \/>\n=<br \/>\n\\arg\\max_\\theta<br \/>\n\\mathbb{E}_{y\\sim\\pi_\\theta(\\cdot\\mid x)}<br \/>\n\\left[<br \/>\nr_\\phi(x,y)<br \/>\n\\right]<br \/>\n\\]<\/p>\n<p>\\(\\theta\\) \u306f\u751f\u6210\u30e2\u30c7\u30eb\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u30fc\u3001\\(\\pi_\\theta(y\\mid x)\\) \u306f\u5165\u529b \\(x\\) \u306b\u5bfe\u3057\u3066\u56de\u7b54 \\(y\\) \u3092\u751f\u6210\u3059\u308b\u78ba\u7387\u5206\u5e03\u3001\\(r_\\phi(x,y)\\) \u306f\u56de\u7b54\u306b\u4e0e\u3048\u308b\u5831\u916c\u3067\u3042\u308b\u3002RLHF \u3067\u306f\u3001\u3053\u306e\u5831\u916c\u305d\u306e\u3082\u306e\u3092\u4eba\u9593\u306e\u6bd4\u8f03\u5224\u65ad\u304b\u3089\u5b66\u7fd2\u3059\u308b\u3002\u305f\u3068\u3048\u3070\u3001\u4eba\u9593\u304c\u4e8c\u3064\u306e\u56de\u7b54 \\(y_1\\) \u3068 \\(y_2\\) \u3092\u6bd4\u8f03\u3057\u3066 \\(y_1\\) \u3092\u9078\u3076\u30c7\u30fc\u30bf\u3092\u96c6\u3081\u3001\u305d\u306e\u6bd4\u8f03\u3092\u8aac\u660e\u3067\u304d\u308b\u3088\u3046\u306b\u5831\u916c\u30e2\u30c7\u30eb\u3092\u5b66\u7fd2\u3059\u308b\u3002<\/p>\n<p>\u3053\u3053\u3067\u6700\u521d\u306e\u56e0\u679c\u95a2\u4fc2\u304c\u751f\u3058\u308b\u3002\u4eba\u9593\u306e\u6bd4\u8f03\u7d50\u679c\u304c\u5831\u916c\u30e2\u30c7\u30eb \\(r_\\phi\\) \u306e\u5b66\u7fd2\u4fe1\u53f7\u306b\u306a\u308a\u3001\u305d\u306e\u5831\u916c\u30e2\u30c7\u30eb\u304c\u751f\u6210\u65b9\u7b56 \\(\\pi_\\theta\\) \u306e\u5b66\u7fd2\u4fe1\u53f7\u306b\u306a\u308b\u3002\u6700\u7d42\u7684\u306a\u751f\u6210\u30e2\u30c7\u30eb\u306f\u3001\u4eba\u9593\u306e\u9078\u597d\u30c7\u30fc\u30bf\u3092\u76f4\u63a5\u53c2\u7167\u3057\u3066\u3044\u308b\u306e\u3067\u306f\u306a\u304f\u3001\u4eba\u9593\u306e\u6bd4\u8f03\u3092\u6570\u5024\u5316\u3057\u305f\u5831\u916c\u3092\u4ecb\u3057\u3066\u66f4\u65b0\u3055\u308c\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\text{human preference}<br \/>\n\\longrightarrow<br \/>\nr_\\phi(x,y)<br \/>\n\\longrightarrow<br \/>\n\\pi_\\theta(y\\mid x)<br \/>\n\\]<\/p>\n<p>\u5b9f\u969b\u306e RLHF \u3067\u306f\u3001\u5831\u916c\u3060\u3051\u3092\u7121\u5236\u9650\u306b\u6700\u5927\u5316\u3059\u308b\u3068\u3001\u5143\u306e\u30e2\u30c7\u30eb\u304b\u3089\u65b9\u7b56\u304c\u5927\u304d\u304f\u96e2\u308c\u308b\u53ef\u80fd\u6027\u304c\u3042\u308b\u3002\u305d\u306e\u305f\u3081\u3001\u53c2\u7167\u65b9\u7b56 \\(\\pi_{\\mathrm{ref}}\\) \u304b\u3089\u306e\u4e56\u96e2\u3092 KL \u30c0\u30a4\u30d0\u30fc\u30b8\u30a7\u30f3\u30b9\u3067\u6291\u3048\u308b\u9805\u3092\u52a0\u3048\u308b\u5f62\u304c\u4f7f\u308f\u308c\u308b\u3002\u5165\u529b \\(x\\) \u306e\u5206\u5e03\u307e\u3067\u542b\u3081\u3066\u6982\u5ff5\u7684\u306b\u66f8\u304f\u3068\u3001\u6b21\u306e\u3088\u3046\u306b\u306a\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\theta^*<br \/>\n=<br \/>\n\\arg\\max_\\theta<br \/>\n\\mathbb{E}_{x,y}<br \/>\n\\left[<br \/>\nr_\\phi(x,y)<br \/>\n\\right]<br \/>\n&#8211;<br \/>\n\\beta<br \/>\n\\mathbb{E}_{x}<br \/>\n\\left[<br \/>\nD_{\\mathrm{KL}}<br \/>\n\\left(<br \/>\n\\pi_\\theta(\\cdot\\mid x)<br \/>\n\\Vert<br \/>\n\\pi_{\\mathrm{ref}}(\\cdot\\mid x)<br \/>\n\\right)<br \/>\n\\right]<br \/>\n\\]<\/p>\n<p>\\(\\beta\\) \u306f\u3001\u5831\u916c\u3092\u8ffd\u6c42\u3059\u308b\u529b\u3068\u3001\u53c2\u7167\u65b9\u7b56\u304b\u3089\u96e2\u308c\u3059\u304e\u308b\u3053\u3068\u3092\u6291\u3048\u308b\u529b\u306e\u4ea4\u63db\u95a2\u4fc2\u3092\u8abf\u6574\u3059\u308b\u4fc2\u6570\u3067\u3042\u308b\u3002\u7b2c 1 \u9805\u304c\u5927\u304d\u3044\u307b\u3069\u4eba\u9593\u304b\u3089\u9ad8\u3044\u8a55\u4fa1\u3092\u53d7\u3051\u308b\u56de\u7b54\u3078\u79fb\u52d5\u3057\u3001\u7b2c 2 \u9805\u304c\u5927\u304d\u3044\u307b\u3069\u5143\u306e\u65b9\u7b56\u304b\u3089\u306e\u5909\u5316\u304c\u6291\u3048\u3089\u308c\u308b\u3002<\/p>\n<p>\u3053\u306e\u5f0f\u3067\u4e2d\u5fc3\u3068\u306a\u308b\u6570\u5024\u306f \\(r_\\phi(x,y)\\) \u3067\u3042\u308b\u3002\u5831\u916c\u30e2\u30c7\u30eb\u304c\u4eba\u9593\u306e\u9078\u597d\u3092\u6b63\u78ba\u306b\u8fd1\u4f3c\u3057\u3066\u3044\u308b\u306a\u3089\u3001\u5831\u916c\u3092\u9ad8\u3081\u308b\u3053\u3068\u3067\u3001\u4eba\u9593\u304c\u3088\u308a\u597d\u3080\u56de\u7b54\u3092\u751f\u6210\u3059\u308b\u78ba\u7387\u3082\u9ad8\u304f\u306a\u308b\u3002\u4e00\u65b9\u3001\u3053\u306e\u69cb\u9020\u3060\u3051\u304b\u3089 \\(r_\\phi(x,y)=0.9\\) \u3092\u300c\u305d\u306e\u56de\u7b54\u304c 90% \u306e\u78ba\u7387\u3067\u5ba2\u89b3\u7684\u306b\u6b63\u3057\u3044\u300d\u3068\u89e3\u91c8\u3059\u308b\u3053\u3068\u306f\u3067\u304d\u306a\u3044\u3002\u5831\u916c\u5024\u306f\u4eba\u9593\u306e\u9078\u597d\u3092\u5b66\u7fd2\u3059\u308b\u305f\u3081\u306e\u5c3a\u5ea6\u3067\u3042\u308a\u3001\u6b63\u89e3\u4e8b\u8c61\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u3068\u3057\u3066\u5b9a\u7fa9\u3055\u308c\u305f\u91cf\u3067\u306f\u306a\u3044\u304b\u3089\u3067\u3042\u308b\u3002<\/p>\n<h3>1.2 RLCD \u306e\u516c\u958b\u76ee\u7684\u306f\u5224\u65ad\u78ba\u7387\u3078\u610f\u5473\u3092\u6301\u305f\u305b\u308b\u3053\u3068\u306b\u3042\u308b<\/h3>\n<p>TypeSafe \u304c RLCD \u306b\u3064\u3044\u3066\u516c\u958b\u3057\u3066\u3044\u308b\u4e2d\u5fc3\u8a9e\u306f calibrated decisions \u3067\u3042\u308b<a href=\"#ref1\">[1]<\/a>\u3002Jev \u306f\u3001\u5224\u65ad\u5019\u88dc\u3068\u3068\u3082\u306b probability \u3084 confidence \u3092\u8fd4\u3059\u305f\u3081\u3001\u3053\u306e\u516c\u958b\u76ee\u7684\u3092\u78ba\u7387\u4e88\u6e2c\u306e\u554f\u984c\u3078\u63a5\u7d9a\u3057\u3066\u8003\u3048\u308b\u3053\u3068\u304c\u3067\u304d\u308b\u3002<\/p>\n<p>\u5165\u529b\u3092\u78ba\u7387\u5909\u6570 \\(X\\)\u3001\u5224\u65ad\u5bfe\u8c61\u3092 \\(Y\\)\u3001\u5019\u88dc \\(k\\) \u306b\u5bfe\u3057\u3066\u30e2\u30c7\u30eb\u304c\u8fd4\u3059\u78ba\u7387\u3092 \\(q_\\theta(k\\mid x)\\) \u3068\u3059\u308b\u3002\u30e2\u30c7\u30eb\u304c\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u5206\u5e03\u305d\u306e\u3082\u306e\u3092\u63a8\u5b9a\u3067\u304d\u308b\u7406\u60f3\u72b6\u614b\u3092\u7f6e\u3051\u3070\u3001\u6b21\u306e\u95a2\u4fc2\u306b\u306a\u308b\u3002<\/p>\n<p>\\[<br \/>\nq_\\theta(k\\mid x)<br \/>\n=<br \/>\nP(Y=k\\mid X=x)<br \/>\n\\]<\/p>\n<p>\u305f\u3068\u3048\u3070\u3001\u3042\u308b\u554f\u3044\u5408\u308f\u305b \\(x\\) \u304c\u8acb\u6c42\u90e8\u9580\u3078\u5c5e\u3059\u308b\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u304c 0.8 \u306a\u3089\u3001\u30e2\u30c7\u30eb\u3082 0.8 \u3092\u8fd4\u3059\u72b6\u614b\u3067\u3042\u308b\u3002\u3053\u306e\u6761\u4ef6\u304c\u3059\u3079\u3066\u306e\u5165\u529b\u306b\u3064\u3044\u3066\u6210\u7acb\u3059\u308c\u3070\u3001\u305d\u306e\u78ba\u7387\u5024\u3092\u305d\u306e\u307e\u307e\u671f\u5f85\u640d\u5931\u8a08\u7b97\u3084\u6761\u4ef6\u5206\u5c90\u3078\u5229\u7528\u3067\u304d\u308b\u3002<\/p>\n<p>\u305f\u3060\u3057\u3001\u3053\u306e\u5f0f\u306f\u78ba\u7387\u8f03\u6b63\u305d\u306e\u3082\u306e\u3088\u308a\u5f37\u3044\u6761\u4ef6\u3067\u3042\u308b\u3002\u30e2\u30c7\u30eb\u304c\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u3092\u5b8c\u5168\u306b\u63a8\u5b9a\u3067\u304d\u308c\u3070\u8f03\u6b63\u3082\u6210\u7acb\u3059\u308b\u304c\u3001\u8f03\u6b63\u3055\u308c\u3066\u3044\u308b\u30e2\u30c7\u30eb\u304c\u5fc5\u305a\u5404\u5165\u529b\u306b\u3064\u3044\u3066\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u3092\u63a8\u5b9a\u3057\u3066\u3044\u308b\u3068\u306f\u9650\u3089\u306a\u3044\u3002\u78ba\u7387\u8f03\u6b63\u3068\u3057\u3066\u76f4\u63a5\u89b3\u6e2c\u3067\u304d\u308b\u6027\u8cea\u306f\u3001\u4e8c\u5024\u554f\u984c\u306a\u3089\u6b21\u306e\u5f62\u3067\u8868\u3055\u308c\u308b\u3002<\/p>\n<p>\\[<br \/>\nP<br \/>\n\\left(<br \/>\nY=1<br \/>\n\\mid<br \/>\nq_\\theta(1\\mid X)=p<br \/>\n\\right)<br \/>\n=<br \/>\np<br \/>\n\\]<\/p>\n<p>\u3053\u306e\u5f0f\u3067\u306f\u3001\u30e2\u30c7\u30eb\u304c 0.8 \u3068\u4e88\u6e2c\u3057\u305f\u4e8b\u4f8b\u3092\u96c6\u3081\u305f\u3068\u304d\u3001\u305d\u306e\u96c6\u5408\u306e\u7d04 80% \u3067\u5b9f\u969b\u306b \\(Y=1\\) \u306b\u306a\u308b\u3053\u3068\u3092\u6c42\u3081\u308b\u3002\u500b\u3005\u306e\u5165\u529b\u306b\u3064\u3044\u3066\u5b8c\u5168\u306a\u771f\u306e\u78ba\u7387\u5206\u5e03\u3092\u5fa9\u5143\u3059\u308b\u3053\u3068\u3088\u308a\u5f31\u3044\u6761\u4ef6\u3060\u304c\u30010.8 \u3068\u3044\u3046\u6570\u5024\u3078\u5b9f\u6e2c\u983b\u5ea6\u3068\u3057\u3066\u306e\u610f\u5473\u3092\u4e0e\u3048\u3089\u308c\u308b\u3002<\/p>\n<p>\u3053\u306e\u533a\u5225\u306f RLCD \u3092\u6570\u7406\u7684\u306b\u6271\u3046\u3046\u3048\u3067\u91cd\u8981\u306b\u306a\u308b\u3002TypeSafe \u306f RLCD \u3092 calibrated decisions \u306e\u305f\u3081\u306e\u5b66\u7fd2\u65b9\u6cd5\u3068\u8aac\u660e\u3057\u3066\u3044\u308b\u304c\u3001\u3069\u306e\u8f03\u6b63\u6761\u4ef6\u3092\u76f4\u63a5\u6700\u9069\u5316\u3057\u3066\u3044\u308b\u304b\u3001\u3069\u306e\u640d\u5931\u95a2\u6570\u3092\u4f7f\u3063\u3066\u3044\u308b\u304b\u3001\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u305d\u306e\u3082\u306e\u306e\u63a8\u5b9a\u3092\u5b66\u7fd2\u76ee\u6a19\u306b\u3057\u3066\u3044\u308b\u304b\u307e\u3067\u306f\u516c\u958b\u3057\u3066\u3044\u306a\u3044<a href=\"#ref1\">[1]<\/a>\u3002\u305d\u306e\u305f\u3081\u3001\\(q_\\theta(k\\mid x)\\approx P(Y=k\\mid X=x)\\) \u306f RLCD \u306e\u5b9f\u88c5\u5f0f\u3068\u3057\u3066\u3067\u306f\u306a\u304f\u3001\u8f03\u6b63\u3055\u308c\u305f\u5224\u65ad\u304c\u6700\u7d42\u7684\u306b\u63a5\u8fd1\u3057\u5f97\u308b\u78ba\u7387\u4e88\u6e2c\u30e2\u30c7\u30eb\u3068\u3057\u3066\u6271\u3046\u306e\u304c\u9069\u5207\u3067\u3042\u308b\u3002<\/p>\n<h3>1.3 \u4e21\u8005\u3067\u306f 0.9 \u3068\u3044\u3046\u6570\u5024\u304c\u62c5\u3046\u5f79\u5272\u304c\u7570\u306a\u308b<\/h3>\n<p>RLHF \u3068 RLCD \u306e\u5dee\u3092\u6700\u3082\u76f4\u63a5\u7684\u306b\u898b\u308b\u306b\u306f\u3001\u30e2\u30c7\u30eb\u304c\u51fa\u3059 0.9 \u3068\u3044\u3046\u6570\u5024\u306e\u610f\u5473\u3092\u6bd4\u8f03\u3059\u308b\u3068\u3088\u3044\u3002RLHF \u306e\u5831\u916c\u30e2\u30c7\u30eb\u304c\u3042\u308b\u56de\u7b54\u306b\u9ad8\u3044\u5024\u3092\u4e0e\u3048\u305f\u5834\u5408\u3001\u305d\u306e\u5024\u306f\u300c\u4eba\u9593\u306e\u6bd4\u8f03\u8a55\u4fa1\u306b\u7167\u3089\u3057\u3066\u9ad8\u3044\u5831\u916c\u3092\u53d7\u3051\u308b\u300d\u3068\u3044\u3046\u6027\u8cea\u3092\u8868\u3059\u3002\u751f\u6210\u65b9\u7b56\u5185\u90e8\u306e\u78ba\u7387\u304c 0.9 \u3067\u3042\u3063\u305f\u5834\u5408\u3082\u3001\u305d\u308c\u306f\u7279\u5b9a\u306e\u30c8\u30fc\u30af\u30f3\u3084\u7cfb\u5217\u3092\u751f\u6210\u3059\u308b\u78ba\u7387\u3067\u3042\u308b\u3002\u3069\u3061\u3089\u3082\u3001\u305d\u306e\u307e\u307e\u300c\u3053\u306e\u5224\u65ad\u306f 90% \u6b63\u3057\u3044\u300d\u3068\u3044\u3046\u610f\u5473\u306b\u306f\u306a\u3089\u306a\u3044\u3002<\/p>\n<p>\u8f03\u6b63\u3055\u308c\u305f\u78ba\u7387\u4e88\u6e2c\u3067\u306f\u30010.9 \u306b\u306f\u5225\u306e\u6761\u4ef6\u304c\u8981\u6c42\u3055\u308c\u308b\u30020.9 \u3068\u4e88\u6e2c\u3055\u308c\u305f\u4e8b\u4f8b\u7fa4\u306b\u3064\u3044\u3066\u5b9f\u969b\u306e\u6b63\u89e3\u7387\u3082\u7d04 90% \u306b\u306a\u308b\u306a\u3089\u3001\u305d\u306e\u6570\u5024\u3092\u983b\u5ea6\u3068\u3057\u3066\u89e3\u91c8\u3067\u304d\u308b\u3002<\/p>\n<p>\\[<br \/>\nq_\\theta=0.9<br \/>\n\\quad\\Longrightarrow\\quad<br \/>\nP(\\mathrm{correct}\\mid q_\\theta=0.9)\\approx0.9<br \/>\n\\]<\/p>\n<p>\u3053\u306e\u5bfe\u5fdc\u304c\u6210\u7acb\u3059\u308b\u3068\u30010.9 \u3068\u3044\u3046\u5024\u306f\u8868\u793a\u7528\u306e confidence \u306b\u3068\u3069\u307e\u3089\u305a\u3001\u5f8c\u6bb5\u306e\u30d7\u30ed\u30b0\u30e9\u30e0\u304c\u4f7f\u3048\u308b\u5224\u65ad\u6750\u6599\u306b\u306a\u308b\u3002\u305f\u3068\u3048\u3070 0.99 \u4ee5\u4e0a\u306a\u3089\u81ea\u52d5\u51e6\u7406\u30010.8 \u4ee5\u4e0a\u306a\u3089\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u3001\u305d\u308c\u672a\u6e80\u306a\u3089\u901a\u5e38\u51e6\u7406\u3068\u3044\u3046\u5206\u5c90\u3092\u8a2d\u3051\u308b\u5834\u5408\u3001\u95be\u5024\u306e\u610f\u5473\u306f\u30e2\u30c7\u30eb\u304c\u8fd4\u3059\u78ba\u7387\u306e\u8f03\u6b63\u306b\u4f9d\u5b58\u3059\u308b\u30020.8 \u3068\u51fa\u3057\u305f\u4e8b\u4f8b\u304c\u5b9f\u969b\u306b\u306f 50% \u3057\u304b\u6b63\u3057\u304f\u306a\u3044\u306a\u3089\u30010.8 \u3092\u524d\u63d0\u306b\u8a2d\u8a08\u3057\u305f\u6761\u4ef6\u5206\u5c90\u306e\u640d\u5931\u8a08\u7b97\u3082\u5d29\u308c\u308b\u3002<\/p>\n<p>TypeSafe \u304c Jev \u3092 smart if-statements \u3084 AI-powered workflows \u306e\u69cb\u6210\u8981\u7d20\u3068\u3057\u3066\u8aac\u660e\u3057\u3066\u3044\u308b\u80cc\u666f\u306b\u306f\u3001\u3053\u306e\u95a2\u4fc2\u304c\u3042\u308b<a href=\"#ref1\">[1]<\/a>\u3002\u81ea\u7531\u6587\u3092\u751f\u6210\u3057\u3066\u5f8c\u304b\u3089\u89e3\u6790\u3059\u308b\u65b9\u5f0f\u3067\u306f\u3001\u69cb\u6587\u306e\u691c\u8a3c\u306b\u52a0\u3048\u3066\u3001\u751f\u6210\u5185\u5bb9\u3092\u3069\u306e\u7a0b\u5ea6\u4fe1\u7528\u3059\u308b\u304b\u3068\u3044\u3046\u5225\u306e\u5224\u65ad\u304c\u5fc5\u8981\u306b\u306a\u308b\u3002\u578b\u4ed8\u304d\u306e\u5224\u65ad\u5019\u88dc\u3068\u78ba\u7387\u3092\u76f4\u63a5\u8fd4\u3059\u65b9\u5f0f\u3067\u306f\u3001\u30e2\u30c7\u30eb\u304c\u62c5\u5f53\u3059\u308b\u78ba\u7387\u63a8\u5b9a\u3068\u3001\u30d7\u30ed\u30b0\u30e9\u30e0\u5074\u304c\u62c5\u5f53\u3059\u308b\u95be\u5024\u3001\u640d\u5931\u3001\u6a29\u9650\u5883\u754c\u3092\u5206\u96e2\u3067\u304d\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u89b3\u70b9<\/th>\n<th>RLHF<\/th>\n<th>RLCD \u306e\u516c\u958b\u76ee\u7684\u3092\u78ba\u7387\u8ad6\u3067\u5f62\u5f0f\u5316\u3057\u305f\u5834\u5408<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u5b66\u7fd2\u4e0a\u306e\u4e2d\u5fc3<\/td>\n<td>\u4eba\u9593\u306e\u6bd4\u8f03\u5224\u65ad\u304b\u3089\u5831\u916c\u30e2\u30c7\u30eb\u3092\u69cb\u6210\u3057\u3001\u305d\u306e\u671f\u5f85\u5831\u916c\u3092\u9ad8\u3081\u308b\u65b9\u5411\u3078\u65b9\u7b56\u3092\u66f4\u65b0\u3059\u308b\u3002<\/td>\n<td>TypeSafe \u306f calibrated decisions \u3092\u5b66\u7fd2\u76ee\u6a19\u3068\u3057\u3066\u63b2\u3052\u3066\u304a\u308a\u3001\u5224\u65ad\u3068\u3068\u3082\u306b\u78ba\u7387\u3068 confidence \u3092\u8fd4\u3059\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u4ee3\u8868\u7684\u306a\u6570\u7406\u5bfe\u8c61<\/td>\n<td>\u4eba\u9593\u9078\u597d\u3092\u8fd1\u4f3c\u3059\u308b \\(r_\\phi(x,y)\\) \u3068\u3001\u751f\u6210\u65b9\u7b56 \\(\\pi_\\theta(y\\mid x)\\) \u3092\u6271\u3046\u3002<\/td>\n<td>\u516c\u958b\u76ee\u7684\u306e\u5f62\u5f0f\u5316\u3067\u306f\u3001\u5224\u65ad\u5019\u88dc\u3078\u306e\u78ba\u7387 \\(q_\\theta(k\\mid x)\\) \u3068\u5b9f\u969b\u306e\u7d50\u679c \\(Y\\) \u306e\u5bfe\u5fdc\u3092\u6271\u3046\u3002<\/td>\n<\/tr>\n<tr>\n<td>0.9 \u306e\u610f\u5473<\/td>\n<td>\u5831\u916c\u5024\u3084\u751f\u6210\u78ba\u7387\u304c 0.9 \u3067\u3082\u3001\u6b63\u89e3\u7387 90% \u3068\u3044\u3046\u610f\u5473\u306f\u5b9a\u7fa9\u304b\u3089\u5c0e\u304b\u308c\u306a\u3044\u3002<\/td>\n<td>\u7406\u60f3\u7684\u306a\u8f03\u6b63\u3067\u306f\u30010.9 \u3068\u4e88\u6e2c\u3057\u305f\u4e8b\u4f8b\u7fa4\u306e\u5b9f\u6e2c\u6b63\u89e3\u7387\u304c\u7d04 90% \u306b\u306a\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u3068\u306e\u95a2\u4fc2<\/td>\n<td>\u4eba\u9593\u9078\u597d\u306e\u5831\u916c\u3092\u76f4\u63a5 \\(P(Y\\mid X)\\) \u3068\u3057\u3066\u63a8\u5b9a\u3059\u308b\u76ee\u7684\u3067\u306f\u306a\u3044\u3002<\/td>\n<td>\\(q_\\theta(k\\mid x)=P(Y=k\\mid X=x)\\) \u306f\u8f03\u6b63\u3088\u308a\u5f37\u3044\u7406\u60f3\u6761\u4ef6\u3067\u3042\u308a\u3001\u516c\u958b\u6e08\u307f RLCD \u306e\u5185\u90e8\u5f0f\u3092\u610f\u5473\u3057\u306a\u3044\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u5f8c\u6bb5\u51e6\u7406<\/td>\n<td>\u751f\u6210\u3055\u308c\u305f\u6587\u5b57\u5217\u3092\u4eba\u9593\u307e\u305f\u306f\u5225\u306e\u51e6\u7406\u7cfb\u304c\u89e3\u91c8\u3057\u3066\u5229\u7528\u3059\u308b\u69cb\u6210\u3092\u53d6\u308a\u3084\u3059\u3044\u3002<\/td>\n<td>\u578b\u4ed8\u304d\u306e\u78ba\u7387\u7684\u5224\u65ad\u3092\u3001\u901a\u5e38\u306e\u6761\u4ef6\u5206\u5c90\u3001\u95be\u5024\u5224\u5b9a\u3001\u671f\u5f85\u640d\u5931\u8a08\u7b97\u3078\u76f4\u63a5\u63a5\u7d9a\u3067\u304d\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u516c\u958b\u3055\u308c\u3066\u3044\u308b\u6280\u8853\u7bc4\u56f2<\/td>\n<td>\u4ee3\u8868\u7684\u306a\u5831\u916c\u30e2\u30c7\u30eb\u5b66\u7fd2\u3001KL \u5236\u7d04\u3001\u65b9\u7b56\u6700\u9069\u5316\u306e\u65b9\u6cd5\u306f\u65e2\u5b58\u7814\u7a76\u3067\u6570\u7406\u7684\u306b\u516c\u958b\u3055\u308c\u3066\u3044\u308b\u3002<\/td>\n<td>TypeSafe \u306f\u76ee\u7684\u3001API\u3001\u8a55\u4fa1\u7d50\u679c\u3092\u516c\u958b\u3057\u3066\u3044\u308b\u4e00\u65b9\u3001\u5177\u4f53\u7684\u306a\u5831\u916c\u95a2\u6570\u3001\u640d\u5931\u95a2\u6570\u3001\u8f03\u6b63\u65b9\u6cd5\u3001\u65b9\u7b56\u6700\u9069\u5316\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u306f\u73fe\u6642\u70b9\u3067\u516c\u958b\u3057\u3066\u3044\u306a\u3044\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u3053\u306e\u6bd4\u8f03\u3067\u7126\u70b9\u3068\u306a\u308b\u306e\u306f\u3001RLHF \u3068 RLCD \u306e\u512a\u52a3\u3067\u306f\u306a\u304f\u3001\u6700\u9069\u5316\u3057\u305f\u3044\u5bfe\u8c61\u306e\u9055\u3044\u3067\u3042\u308b\u3002RLHF \u306f\u3001\u4eba\u9593\u306b\u3088\u308b\u8a55\u4fa1\u3092\u5b66\u7fd2\u53ef\u80fd\u306a\u5831\u916c\u3078\u5909\u63db\u3057\u3001\u305d\u306e\u5831\u916c\u3092\u4f7f\u3063\u3066\u751f\u6210\u65b9\u7b56\u3092\u8abf\u6574\u3059\u308b\u3002\u4e00\u65b9\u3001TypeSafe \u304c RLCD \u306b\u4e0e\u3048\u305f\u5f79\u5272\u306f\u3001\u5224\u65ad\u7d50\u679c\u3068\u4e0d\u78ba\u5b9f\u6027\u3092\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u304c\u76f4\u63a5\u5229\u7528\u3067\u304d\u308b\u5f62\u3078\u5909\u63db\u3059\u308b\u3053\u3068\u3067\u3042\u308b\u3002\u305d\u306e\u76ee\u7684\u3092\u6570\u7406\u7684\u306b\u7406\u89e3\u3059\u308b\u306b\u306f\u3001\u6b21\u306b\u300c\u751f\u6210\u78ba\u7387\u300d\u3068\u300c\u6b63\u89e3\u78ba\u7387\u300d\u3092\u5206\u96e2\u3057\u3001\u3055\u3089\u306b\u78ba\u7387\u8f03\u6b63\u304c\u3069\u306e\u6761\u4ef6\u3092\u8981\u6c42\u3059\u308b\u306e\u304b\u3092\u8abf\u3079\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002<\/p>\n<hr>\n<h2>2. \u751f\u6210\u78ba\u7387\u3068\u6b63\u89e3\u78ba\u7387\u306f\u7570\u306a\u308b\u78ba\u7387\u3067\u3042\u308b<\/h2>\n<p>LLM \u304c\u51fa\u529b\u3059\u308b\u78ba\u7387\u3092\u5224\u65ad\u306e\u78ba\u4fe1\u5ea6\u3068\u3057\u3066\u5229\u7528\u3059\u308b\u306b\u306f\u3001\u307e\u305a\u300c\u305d\u306e\u6587\u7ae0\u3092\u751f\u6210\u3059\u308b\u78ba\u7387\u300d\u3068\u300c\u305d\u306e\u56de\u7b54\u304c\u6b63\u3057\u3044\u78ba\u7387\u300d\u3092\u5206\u96e2\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002\u81ea\u5df1\u56de\u5e30\u578b\u306e\u8a00\u8a9e\u30e2\u30c7\u30eb\u304c\u76f4\u63a5\u8a08\u7b97\u3057\u3066\u3044\u308b\u306e\u306f\u524d\u8005\u3067\u3042\u308a\u3001\u5165\u529b\u306b\u7d9a\u304f\u30c8\u30fc\u30af\u30f3\u5217\u304c\u3069\u306e\u7a0b\u5ea6\u3082\u3063\u3068\u3082\u3089\u3057\u3044\u304b\u3092\u8868\u3059\u3002\u5f8c\u8005\u306f\u3001\u751f\u6210\u3055\u308c\u305f\u56de\u7b54\u3092\u5916\u90e8\u306e\u6b63\u89e3\u57fa\u6e96\u3068\u7167\u5408\u3057\u305f\u3068\u304d\u3001\u305d\u306e\u5185\u5bb9\u304c\u6b63\u3057\u3044\u78ba\u7387\u3067\u3042\u308b\u3002\u4e21\u8005\u306f\u540c\u3058\u56de\u7b54\u3092\u5bfe\u8c61\u306b\u3057\u3066\u3044\u3066\u3082\u3001\u78ba\u7387\u5909\u6570\u3068\u3057\u3066\u7570\u306a\u308b\u3002<\/p>\n<h3>2.1 \u81ea\u5df1\u56de\u5e30\u30e2\u30c7\u30eb\u304c\u76f4\u63a5\u4e0e\u3048\u308b\u306e\u306f\u6587\u5b57\u5217\u306e\u751f\u6210\u78ba\u7387\u3067\u3042\u308b<\/h3>\n<p>\u5165\u529b\u3092 \\(x\\)\u3001\u751f\u6210\u3055\u308c\u308b\u56de\u7b54\u3092 \\(y=(y_1,\\ldots,y_T)\\) \u3068\u3059\u308b\u3002\u81ea\u5df1\u56de\u5e30\u578b\u306e\u8a00\u8a9e\u30e2\u30c7\u30eb\u3067\u306f\u3001\u56de\u7b54\u5168\u4f53\u306e\u751f\u6210\u78ba\u7387\u306f\u3001\u5404\u6642\u70b9\u3067\u6b21\u306e\u30c8\u30fc\u30af\u30f3\u3092\u751f\u6210\u3059\u308b\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u306e\u7a4d\u3068\u3057\u3066\u8868\u3055\u308c\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\pi_\\theta(y\\mid x)<br \/>\n=<br \/>\n\\prod_{t=1}^{T}<br \/>\n\\pi_\\theta<br \/>\n\\left(<br \/>\ny_t<br \/>\n\\mid<br \/>\nx,y_{&lt;t}<br \/>\n\\right)<br \/>\n\\]<\/p>\n<p>\\(\\theta\\) \u306f\u30e2\u30c7\u30eb\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u30fc\u3001\\(y_t\\) \u306f \\(t\\) \u756a\u76ee\u306e\u30c8\u30fc\u30af\u30f3\u3001\\(y_{&lt;t}=(y_1,\\ldots,y_{t-1})\\) \u306f\u305d\u308c\u4ee5\u524d\u306b\u751f\u6210\u3055\u308c\u305f\u30c8\u30fc\u30af\u30f3\u5217\u3067\u3042\u308b\u3002\u53f3\u8fba\u306e\u5404\u9805\u306f\u3001\u300c\u5165\u529b \\(x\\) \u3068\u3001\u305d\u308c\u307e\u3067\u306b\u751f\u6210\u3055\u308c\u305f\u30c8\u30fc\u30af\u30f3\u5217\u304c\u4e0e\u3048\u3089\u308c\u305f\u3068\u304d\u3001\u6b21\u306b \\(y_t\\) \u3092\u751f\u6210\u3059\u308b\u78ba\u7387\u300d\u3092\u8868\u3059\u3002\u305d\u306e\u7a4d\u3068\u3057\u3066\u5f97\u3089\u308c\u308b \\(\\pi_\\theta(y\\mid x)\\) \u306f\u3001\u5165\u529b \\(x\\) \u306b\u7d9a\u3044\u3066\u7279\u5b9a\u306e\u6587\u5b57\u5217 \\(y\\) \u304c\u751f\u6210\u3055\u308c\u308b\u78ba\u7387\u306b\u306a\u308b\u3002<\/p>\n<p>\u3053\u306e\u5f0f\u306b\u306f\u3001\u56de\u7b54\u5185\u5bb9\u304c\u73fe\u5b9f\u4e16\u754c\u3067\u6b63\u3057\u3044\u304b\u3069\u3046\u304b\u3092\u5224\u5b9a\u3059\u308b\u9805\u306f\u542b\u307e\u308c\u3066\u3044\u306a\u3044\u3002\u5b66\u7fd2\u3055\u308c\u305f\u8a00\u8a9e\u5206\u5e03\u306e\u4e0b\u3067\u3001\u305d\u306e\u30c8\u30fc\u30af\u30f3\u5217\u304c\u3069\u306e\u7a0b\u5ea6\u751f\u6210\u3055\u308c\u3084\u3059\u3044\u304b\u3092\u8a08\u7b97\u3057\u3066\u3044\u308b\u3002\u65e2\u7a3f\u3067\u306f\u3001\u6b21\u30c8\u30fc\u30af\u30f3\u4e88\u6e2c\u3068\u3044\u3046\u5b66\u7fd2\u76ee\u6a19\u3068\u3001\u305d\u306e\u4e88\u6e2c\u3092\u5b9f\u73fe\u3059\u308b\u305f\u3081\u306b\u30e2\u30c7\u30eb\u5185\u90e8\u3067\u5f62\u6210\u3055\u308c\u308b\u8a08\u7b97\u3092\u5206\u3051\u3066\u8003\u3048\u308b\u5fc5\u8981\u6027\u3092\u6574\u7406\u3057\u305f<a href=\"#ref3\">[3]<\/a>\u3002\u3053\u3053\u3067\u306f\u3055\u3089\u306b\u3001\u6b21\u30c8\u30fc\u30af\u30f3\u4e88\u6e2c\u304b\u3089\u5f97\u3089\u308c\u308b\u78ba\u7387\u3068\u3001\u751f\u6210\u3055\u308c\u305f\u547d\u984c\u306e\u6b63\u3057\u3055\u3082\u5206\u96e2\u3059\u308b\u3002<\/p>\n<h3>2.2 \u6b63\u3057\u3055\u3092\u8868\u3059\u306b\u306f\u5225\u306e\u78ba\u7387\u5909\u6570\u304c\u5fc5\u8981\u306b\u306a\u308b<\/h3>\n<p>\u751f\u6210\u3055\u308c\u305f\u56de\u7b54\u306e\u6b63\u3057\u3055\u3092\u6271\u3046\u305f\u3081\u3001\u56de\u7b54\u304c\u6b63\u3057\u3044\u3068\u304d \\(Z=1\\)\u3001\u8aa4\u3063\u3066\u3044\u308b\u3068\u304d \\(Z=0\\) \u3068\u306a\u308b\u78ba\u7387\u5909\u6570 \\(Z\\) \u3092\u5c0e\u5165\u3059\u308b\u3002\u5165\u529b \\(x\\) \u306b\u5bfe\u3057\u3066\u56de\u7b54 \\(y\\) \u304c\u751f\u6210\u3055\u308c\u305f\u3068\u304d\u3001\u5224\u65ad\u306b\u5fc5\u8981\u306a\u91cf\u306f\u6b21\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u306b\u306a\u308b\u3002<\/p>\n<p>\\[<br \/>\nP(Z=1\\mid X=x,Y=y)<br \/>\n\\]<\/p>\n<p>\u3053\u306e\u78ba\u7387\u304c\u8868\u3059\u306e\u306f\u3001\u300c\u5165\u529b \\(x\\) \u306b\u5bfe\u3057\u3066\u56de\u7b54 \\(y\\) \u304c\u4e0e\u3048\u3089\u308c\u305f\u3068\u3044\u3046\u6761\u4ef6\u306e\u4e0b\u3067\u3001\u305d\u306e\u56de\u7b54\u304c\u6b63\u3057\u3044\u78ba\u7387\u300d\u3067\u3042\u308b\u3002\u4e00\u65b9\u3001\\(\\pi_\\theta(y\\mid x)\\) \u304c\u8868\u3059\u306e\u306f\u3001\u300c\u5165\u529b \\(x\\) \u306e\u4e0b\u3067\u3001\u305d\u306e\u6587\u5b57\u5217 \\(y\\) \u3092\u30e2\u30c7\u30eb\u304c\u751f\u6210\u3059\u308b\u78ba\u7387\u300d\u3067\u3042\u308b\u3002\u524d\u8005\u3067\u306f\u6b63\u89e3\u4e8b\u8c61 \\(Z\\) \u3092\u8a55\u4fa1\u3057\u3001\u5f8c\u8005\u3067\u306f\u6587\u5b57\u5217 \\(Y\\) \u306e\u751f\u6210\u3092\u8a55\u4fa1\u3057\u3066\u3044\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u78ba\u7387<\/th>\n<th>\u610f\u5473<\/th>\n<th>\u78ba\u7387\u3092\u5de6\u53f3\u3059\u308b\u4e3b\u306a\u8981\u56e0<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\\(\\pi_\\theta(y\\mid x)\\)<\/td>\n<td>\u5165\u529b \\(x\\) \u306b\u7d9a\u3044\u3066\u6587\u5b57\u5217 \\(y\\) \u3092\u751f\u6210\u3059\u308b\u78ba\u7387\u3092\u8868\u3059\u3002<\/td>\n<td>\u5b66\u7fd2\u3057\u305f\u8a00\u8a9e\u5206\u5e03\u3001\u8a9e\u9806\u3001\u8868\u73fe\u3001\u30c8\u30fc\u30af\u30f3\u5217\u3001\u6587\u8108\u306b\u3088\u3063\u3066\u5909\u5316\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(P(Z=1\\mid X=x,Y=y)\\)<\/td>\n<td>\u5165\u529b \\(x\\) \u306b\u5bfe\u3059\u308b\u56de\u7b54 \\(y\\) \u304c\u6b63\u3057\u3044\u78ba\u7387\u3092\u8868\u3059\u3002<\/td>\n<td>\u56de\u7b54\u306e\u610f\u5473\u5185\u5bb9\u3068\u3001\u4e8b\u5b9f\u3001\u8a08\u7b97\u7d50\u679c\u3001\u4ed5\u69d8\u3001\u6b63\u89e3\u30e9\u30d9\u30eb\u306a\u3069\u306e\u5916\u90e8\u57fa\u6e96\u3068\u306e\u5bfe\u5fdc\u306b\u3088\u3063\u3066\u6c7a\u307e\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u4e8c\u3064\u306e\u78ba\u7387\u304c\u7570\u306a\u308b\u7406\u7531\u306f\u3001\u6587\u5b57\u5217\u3068\u610f\u5473\u5185\u5bb9\u304c\u4e00\u5bfe\u4e00\u306b\u5bfe\u5fdc\u3057\u3066\u3044\u306a\u3044\u3053\u3068\u304b\u3089\u3082\u5206\u304b\u308b\u3002\u305f\u3068\u3048\u3070\u3001\u3042\u308b\u554f\u3044\u3078\u306e\u6b63\u89e3\u3092\u300c\u6771\u4eac\u300d\u3068\u7b54\u3048\u308b\u5834\u5408\u3068\u300c\u6771\u4eac\u90fd\u3067\u3059\u300d\u3068\u7b54\u3048\u308b\u5834\u5408\u3067\u306f\u3001\u751f\u6210\u3055\u308c\u308b\u30c8\u30fc\u30af\u30f3\u5217\u304c\u7570\u306a\u308b\u305f\u3081\u3001\u305d\u308c\u305e\u308c\u306e \\(\\pi_\\theta(y\\mid x)\\) \u3082\u4e00\u822c\u306b\u306f\u7570\u306a\u308b\u3002\u3057\u304b\u3057\u6b63\u89e3\u5224\u5b9a\u3067\u306f\u3001\u4e21\u65b9\u3092\u540c\u3058\u6b63\u3057\u3044\u56de\u7b54\u3068\u3057\u3066\u6271\u3048\u308b\u3002\u9006\u306b\u3001\u5b66\u7fd2\u30c7\u30fc\u30bf\u4e2d\u3067\u983b\u7e41\u306b\u73fe\u308c\u3001\u8a00\u8a9e\u3068\u3057\u3066\u751f\u6210\u3057\u3084\u3059\u3044\u56de\u7b54\u3067\u3042\u3063\u3066\u3082\u3001\u305d\u306e\u554f\u3044\u306b\u5bfe\u3059\u308b\u4e8b\u5b9f\u95a2\u4fc2\u304c\u8aa4\u3063\u3066\u3044\u308c\u3070 \\(Z=0\\) \u306b\u306a\u308b\u3002<\/p>\n<p>\u3053\u306e\u69cb\u9020\u3092\u3082\u3046\u4e00\u6bb5\u5206\u89e3\u3059\u308b\u3068\u3001\u751f\u6210\u78ba\u7387\u306f\u6587\u5b57\u5217\u5358\u4f4d\u3067\u5206\u6563\u3059\u308b\u3053\u3068\u304c\u5206\u304b\u308b\u3002\u3042\u308b\u554f\u3044 \\(x\\) \u306b\u5bfe\u3057\u3066\u3001\u610f\u5473\u7684\u306b\u6b63\u3057\u3044\u56de\u7b54\u3068\u306a\u308b\u6587\u5b57\u5217\u306e\u96c6\u5408\u3092 \\(\\mathcal{C}(x)\\) \u3068\u3059\u308c\u3070\u3001\u30e2\u30c7\u30eb\u304c\u6b63\u3057\u3044\u8868\u73fe\u3078\u5272\u308a\u5f53\u3066\u3066\u3044\u308b\u751f\u6210\u78ba\u7387\u306e\u7dcf\u91cf\u306f\u3001\u5f62\u5f0f\u7684\u306b\u306f\u6b21\u306e\u3088\u3046\u306b\u66f8\u3051\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\sum_{y\\in\\mathcal{C}(x)}<br \/>\n\\pi_\\theta(y\\mid x)<br \/>\n\\]<\/p>\n<p>\u4e00\u3064\u306e\u6b63\u3057\u3044\u547d\u984c\u3092\u591a\u6570\u306e\u8a00\u3044\u56de\u3057\u3067\u8868\u73fe\u3067\u304d\u308c\u3070\u3001\u305d\u306e\u78ba\u7387\u8cea\u91cf\u3082\u8907\u6570\u306e\u6587\u5b57\u5217\u3078\u5206\u6563\u3059\u308b\u3002\u7279\u5b9a\u306e\u6587\u5b57\u5217 \\(y\\) \u306e\u751f\u6210\u78ba\u7387\u304c\u4f4e\u3044\u3068\u3044\u3046\u7406\u7531\u3060\u3051\u3067\u3001\u305d\u306e\u5185\u5bb9\u306e\u6b63\u3057\u3055\u304c\u4f4e\u3044\u3068\u306f\u5224\u65ad\u3067\u304d\u306a\u3044\u3002\u540c\u69d8\u306b\u3001\u3042\u308b\u8aa4\u3063\u305f\u56de\u7b54\u3078\u9ad8\u3044\u751f\u6210\u78ba\u7387\u304c\u96c6\u4e2d\u3057\u3066\u3044\u308c\u3070\u3001\u9ad8\u3044\u5c24\u5ea6\u3068\u9ad8\u3044\u6b63\u7b54\u7387\u304c\u540c\u6642\u306b\u306f\u6210\u7acb\u3057\u306a\u3044\u3002<\/p>\n<h3>2.3 \u30e2\u30c7\u30eb\u81ea\u8eab\u306e\u78ba\u7387\u3092\u5224\u65ad\u78ba\u7387\u3068\u3057\u3066\u4f7f\u3046\u306b\u306f\u8f03\u6b63\u304c\u5fc5\u8981\u306b\u306a\u308b<\/h3>\n<p>\u751f\u6210\u78ba\u7387\u3068\u6b63\u89e3\u78ba\u7387\u304c\u5225\u306e\u91cf\u3067\u3042\u308b\u4ee5\u4e0a\u3001\u30e2\u30c7\u30eb\u5185\u90e8\u306e\u78ba\u7387\u3092\u696d\u52d9\u4e0a\u306e confidence \u3068\u3057\u3066\u5229\u7528\u3059\u308b\u306b\u306f\u3001\u4e21\u8005\u306e\u5bfe\u5fdc\u3092\u5b9f\u6e2c\u3059\u308b\u5de5\u7a0b\u304c\u5fc5\u8981\u306b\u306a\u308b\u3002\u305f\u3068\u3048\u3070\u30e2\u30c7\u30eb\u304c\u3042\u308b\u56de\u7b54\u306b\u3064\u3044\u3066 0.8 \u306e confidence \u3092\u51fa\u3059\u3068\u3057\u3066\u3082\u30010.8 \u3068\u8a55\u4fa1\u3055\u308c\u305f\u56de\u7b54\u7fa4\u306e\u5b9f\u969b\u306e\u6b63\u7b54\u7387\u304c 80% \u524d\u5f8c\u306b\u306a\u308b\u3053\u3068\u3092\u78ba\u8a8d\u3057\u3066\u521d\u3081\u3066\u3001\u305d\u306e\u6570\u5024\u3092\u300c\u6b63\u3057\u3055\u306e\u78ba\u7387\u300d\u3068\u3057\u3066\u5229\u7528\u3067\u304d\u308b\u3002<\/p>\n<p>\u8a00\u8a9e\u30e2\u30c7\u30eb\u306e\u8cea\u554f\u5fdc\u7b54\u306b\u304a\u3051\u308b\u3053\u306e\u554f\u984c\u3092\u8abf\u3079\u305f Jiang \u3089\u306f\u3001T5\u3001BART\u3001GPT-2 \u3092\u7528\u3044\u3066\u3001\u30e2\u30c7\u30eb\u304c\u56de\u7b54\u3078\u5272\u308a\u5f53\u3066\u308b\u78ba\u7387\u3068\u5b9f\u969b\u306e\u6b63\u89e3\u7387\u3068\u306e\u5bfe\u5fdc\u3092\u8a55\u4fa1\u3057\u305f\u3002\u305d\u306e\u7d50\u679c\u3001\u5143\u306e\u30e2\u30c7\u30eb\u306e\u78ba\u7387\u306f\u8cea\u554f\u5fdc\u7b54\u306b\u304a\u3044\u3066\u5341\u5206\u306b\u8f03\u6b63\u3055\u308c\u3066\u304a\u3089\u305a\u3001fine-tuning\u3001\u4e8b\u5f8c\u7684\u306a\u78ba\u7387\u5909\u63db\u3001\u51fa\u529b\u3084\u5165\u529b\u306e\u8abf\u6574\u306b\u3088\u3063\u3066\u3001confidence \u3068\u6b63\u89e3\u7387\u306e\u5bfe\u5fdc\u3092\u6539\u5584\u3067\u304d\u308b\u3053\u3068\u3092\u793a\u3057\u3066\u3044\u308b<a href=\"#ref4\">[4]<\/a>\u3002<\/p>\n<p>\u3053\u306e\u7d50\u679c\u306f\u3001\u751f\u6210\u578b\u8a00\u8a9e\u30e2\u30c7\u30eb\u3067\u3082\u78ba\u7387\u8f03\u6b63\u3092\u8a55\u4fa1\u3057\u3001\u6539\u5584\u3067\u304d\u308b\u3053\u3068\u3092\u793a\u3057\u3066\u3044\u308b\u3002\u540c\u6642\u306b\u3001\u81ea\u5df1\u56de\u5e30\u30e2\u30c7\u30eb\u304c\u8a08\u7b97\u3057\u305f\u751f\u6210\u78ba\u7387\u304b\u3089\u6b63\u89e3\u78ba\u7387\u304c\u81ea\u52d5\u7684\u306b\u5f97\u3089\u308c\u308b\u308f\u3051\u3067\u306f\u306a\u304f\u3001\u6b63\u89e3\u4e8b\u8c61\u3068\u306e\u5bfe\u5fdc\u3092\u5225\u9014\u5b66\u7fd2\u307e\u305f\u306f\u691c\u8a3c\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u3053\u3068\u3082\u793a\u3057\u3066\u3044\u308b\u3002<\/p>\n<p>\u3053\u306e\u533a\u5225\u306f RLHF \u3068 RLCD \u306e\u6bd4\u8f03\u3078\u76f4\u63a5\u3064\u306a\u304c\u308b\u3002RLHF \u306e\u751f\u6210\u65b9\u7b56 \\(\\pi_\\theta(y\\mid x)\\) \u306f\u3001\u3069\u306e\u56de\u7b54\u3092\u751f\u6210\u3059\u308b\u304b\u3092\u6c7a\u3081\u308b\u78ba\u7387\u5206\u5e03\u3067\u3042\u308b\u3002TypeSafe \u304c RLCD \u3067\u524d\u9762\u306b\u51fa\u3057\u3066\u3044\u308b\u306e\u306f\u3001\u5224\u65ad\u7d50\u679c\u3068\u3068\u3082\u306b\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u3078\u6e21\u305b\u308b calibrated probability \u3067\u3042\u308b\u3002\u5f8c\u8005\u306b\u6c42\u3081\u3089\u308c\u308b\u306e\u306f\u3001\u5024\u304c\u9ad8\u3044\u307b\u3069\u3082\u3063\u3068\u3082\u3089\u3057\u3044\u6587\u7ae0\u3092\u751f\u6210\u3067\u304d\u308b\u3053\u3068\u3088\u308a\u30010.8 \u3084 0.9 \u3068\u3044\u3046\u6570\u5024\u304c\u5b9f\u969b\u306e\u6b63\u89e3\u983b\u5ea6\u3068\u3069\u306e\u3088\u3046\u306b\u5bfe\u5fdc\u3059\u308b\u304b\u3067\u3042\u308b\u3002\u3053\u306e\u5bfe\u5fdc\u3092\u6570\u7406\u7684\u306b\u5b9a\u7fa9\u3059\u308b\u306e\u304c\u3001\u6b21\u306b\u6271\u3046\u78ba\u7387\u8f03\u6b63\u3067\u3042\u308b\u3002<\/p>\n<hr>\n<h2>3. RLHF \u306f\u4eba\u9593\u306e\u6bd4\u8f03\u3092\u6f5c\u5728\u7684\u306a\u5831\u916c\u3078\u5909\u63db\u3059\u308b<\/h2>\n<p>RLHF \u306e\u4e2d\u5fc3\u306b\u3042\u308b\u306e\u306f\u3001\u4eba\u9593\u304c\u4e8c\u3064\u306e\u51fa\u529b\u3092\u6bd4\u8f03\u3057\u3001\u3069\u3061\u3089\u3092\u597d\u3080\u304b\u3092\u793a\u3057\u305f\u30c7\u30fc\u30bf\u3067\u3042\u308b\u3002\u5165\u529b \\(x\\) \u306b\u5bfe\u3057\u3066\u4e8c\u3064\u306e\u56de\u7b54 \\(y^+\\) \u3068 \\(y^-\\) \u304c\u3042\u308a\u3001\u4eba\u9593\u304c \\(y^+\\) \u3092\u9078\u3093\u3060\u3068\u3059\u308b\u3002\u3053\u306e\u89b3\u6e2c\u7d50\u679c\u3092<\/p>\n<p>\\[<br \/>\ny^+ \\succ y^-<br \/>\n\\]<\/p>\n<p>\u3068\u66f8\u304f\u3002\u3053\u306e\u6642\u70b9\u3067\u5f97\u3089\u308c\u3066\u3044\u308b\u60c5\u5831\u306f\u3001\u4e8c\u3064\u306e\u56de\u7b54\u306e\u9806\u5e8f\u95a2\u4fc2\u3067\u3042\u308b\u3002\u300c\\(y^+\\) \u306e\u54c1\u8cea\u306f 0.83 \u3067\u3042\u308b\u300d\u3068\u3044\u3063\u305f\u7d76\u5bfe\u7684\u306a\u6570\u5024\u3092\u4eba\u9593\u304c\u76f4\u63a5\u4e0e\u3048\u3066\u3044\u308b\u308f\u3051\u3067\u306f\u306a\u3044\u3002RLHF \u3067\u306f\u3001\u3053\u306e\u6bd4\u8f03\u30c7\u30fc\u30bf\u3092\u8aac\u660e\u3067\u304d\u308b\u3088\u3046\u306b\u3001\u5404\u56de\u7b54\u3078\u5b9f\u6570\u5024\u306e\u30b9\u30b3\u30a2\u3092\u5272\u308a\u5f53\u3066\u308b\u5831\u916c\u30e2\u30c7\u30eb \\(r_\\phi(x,y)\\) \u3092\u5b66\u7fd2\u3059\u308b\u3002<\/p>\n<h3>3.1 Bradley\u2013Terry \u30e2\u30c7\u30eb\u306f\u6bd4\u8f03\u7d50\u679c\u3092\u5831\u916c\u5dee\u3078\u5199\u50cf\u3059\u308b<\/h3>\n<p>\u4e8c\u3064\u306e\u56de\u7b54\u306e\u6bd4\u8f03\u3092\u78ba\u7387\u30e2\u30c7\u30eb\u3068\u3057\u3066\u8a18\u8ff0\u3059\u308b\u4ee3\u8868\u7684\u306a\u65b9\u6cd5\u304c Bradley\u2013Terry \u30e2\u30c7\u30eb\u3067\u3042\u308b<a href=\"#ref5\">[5]<\/a>\u3002\u56de\u7b54 \\(y^+\\) \u304c \\(y^-\\) \u3088\u308a\u9078\u3070\u308c\u308b\u78ba\u7387\u3092\u3001\u4e21\u8005\u306e\u5831\u916c\u5dee\u306b\u3088\u3063\u3066\u6b21\u306e\u3088\u3046\u306b\u8868\u3059\u3002<\/p>\n<p>\\[<br \/>\nP(y^+\\succ y^-\\mid x)<br \/>\n=<br \/>\n\\sigma<br \/>\n\\left(<br \/>\nr_\\phi(x,y^+)<br \/>\n&#8211;<br \/>\nr_\\phi(x,y^-)<br \/>\n\\right)<br \/>\n\\]<\/p>\n<p>\u3053\u3053\u3067 \\(\\sigma(z)=1\/(1+e^{-z})\\) \u306f\u30b7\u30b0\u30e2\u30a4\u30c9\u95a2\u6570\u3067\u3042\u308b\u3002\u5831\u916c\u5dee\u304c 0 \u306a\u3089\u9078\u629e\u78ba\u7387\u306f 0.5 \u3068\u306a\u308a\u3001\u4e8c\u3064\u306e\u56de\u7b54\u306f\u30e2\u30c7\u30eb\u4e0a\u540c\u7a0b\u5ea6\u306b\u597d\u307e\u308c\u308b\u3002\\(r_\\phi(x,y^+)-r_\\phi(x,y^-)\\) \u304c\u6b63\u65b9\u5411\u3078\u5927\u304d\u304f\u306a\u308b\u307b\u3069 \\(y^+\\) \u306e\u9078\u629e\u78ba\u7387\u306f 1 \u306b\u8fd1\u3065\u304d\u3001\u8ca0\u65b9\u5411\u3078\u5927\u304d\u304f\u306a\u308b\u307b\u3069 0 \u306b\u8fd1\u3065\u304f\u3002<\/p>\n<p>\u3053\u306e\u95a2\u4fc2\u306f\u5bfe\u6570\u30aa\u30c3\u30ba\u3067\u66f8\u304f\u3068\u3001\u5831\u916c\u5024\u306e\u5f79\u5272\u304c\u3055\u3089\u306b\u660e\u78ba\u306b\u306a\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\log<br \/>\n\\frac{<br \/>\nP(y^+\\succ y^-\\mid x)<br \/>\n}{<br \/>\n1-P(y^+\\succ y^-\\mid x)<br \/>\n}<br \/>\n=<br \/>\nr_\\phi(x,y^+)<br \/>\n&#8211;<br \/>\nr_\\phi(x,y^-)<br \/>\n\\]<\/p>\n<p>\u3064\u307e\u308a Bradley\u2013Terry \u578b\u306e\u5831\u916c\u30e2\u30c7\u30eb\u3067\u306f\u3001\u4e8c\u3064\u306e\u56de\u7b54\u306e\u5831\u916c\u5dee\u304c\u3001\u4eba\u9593\u304c\u4e00\u65b9\u3092\u9078\u3076\u78ba\u7387\u306e\u5bfe\u6570\u30aa\u30c3\u30ba\u306b\u5bfe\u5fdc\u3059\u308b\u3002\u5b66\u7fd2\u3067\u76f4\u63a5\u610f\u5473\u3092\u6301\u3064\u306e\u306f\u500b\u3005\u306e\u5831\u916c\u5024\u306e\u7d76\u5bfe\u91cf\u3088\u308a\u3001\u6bd4\u8f03\u3059\u308b\u4e8c\u3064\u306e\u56de\u7b54\u306e\u5dee\u3067\u3042\u308b\u3002<\/p>\n<p>\u3053\u306e\u6027\u8cea\u306f\u3001\u3059\u3079\u3066\u306e\u56de\u7b54\u3078\u540c\u3058\u5b9a\u6570 \\(c\\) \u3092\u52a0\u3048\u3066\u3082\u78ba\u8a8d\u3067\u304d\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\left(<br \/>\nr_\\phi(x,y^+)+c<br \/>\n\\right)<br \/>\n&#8211;<br \/>\n\\left(<br \/>\nr_\\phi(x,y^-)+c<br \/>\n\\right)<br \/>\n=<br \/>\nr_\\phi(x,y^+)<br \/>\n&#8211;<br \/>\nr_\\phi(x,y^-)<br \/>\n\\]<\/p>\n<p>\u6bd4\u8f03\u78ba\u7387\u306f\u5909\u5316\u3057\u306a\u3044\u3002\u3053\u306e\u305f\u3081\u3001\u305f\u3068\u3048\u3070\u5831\u916c\u5024\u304c 0.9 \u3060\u304b\u3089\u300c90% \u6b63\u3057\u3044\u300d\u30019.0 \u3060\u304b\u3089\u300c\u975e\u5e38\u306b\u6b63\u3057\u3044\u300d\u3068\u89e3\u91c8\u3059\u308b\u3053\u3068\u306f Bradley\u2013Terry \u30e2\u30c7\u30eb\u306e\u5b9a\u7fa9\u304b\u3089\u306f\u5c0e\u3051\u306a\u3044\u3002\u5831\u916c\u30e2\u30c7\u30eb\u304c\u5b66\u7fd2\u3057\u3066\u3044\u308b\u306e\u306f\u3001\u56de\u7b54\u9593\u306e\u76f8\u5bfe\u7684\u306a\u9078\u597d\u95a2\u4fc2\u3067\u3042\u308b\u3002<\/p>\n<h3>3.2 \u5831\u916c\u30e2\u30c7\u30eb\u306f\u89b3\u6e2c\u3055\u308c\u305f\u6bd4\u8f03\u3092\u8aac\u660e\u3059\u308b\u3088\u3046\u306b\u5b66\u7fd2\u3059\u308b<\/h3>\n<p>\u4eba\u9593\u304c\u5b9f\u969b\u306b \\(y^+\\) \u3092\u9078\u3093\u3060\u6bd4\u8f03\u30c7\u30fc\u30bf\u304c\u4e0e\u3048\u3089\u308c\u305f\u5834\u5408\u3001\u305d\u306e\u89b3\u6e2c\u7d50\u679c\u3078\u9ad8\u3044\u78ba\u7387\u3092\u5272\u308a\u5f53\u3066\u308b\u3088\u3046\u306b\u5831\u916c\u30e2\u30c7\u30eb\u3092\u5b66\u7fd2\u3067\u304d\u308b\u3002\u5178\u578b\u7684\u306b\u306f\u3001\u6b21\u306e\u8ca0\u306e\u5bfe\u6570\u5c24\u5ea6\u3092\u6700\u5c0f\u5316\u3059\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\mathcal{L}_{\\mathrm{RM}}<br \/>\n=<br \/>\n&#8211;<br \/>\n\\mathbb{E}_{(x,y^+,y^-)}<br \/>\n\\left[<br \/>\n\\log<br \/>\n\\sigma<br \/>\n\\left(<br \/>\nr_\\phi(x,y^+)<br \/>\n&#8211;<br \/>\nr_\\phi(x,y^-)<br \/>\n\\right)<br \/>\n\\right]<br \/>\n\\]<\/p>\n<p>\u671f\u5f85\u5024\u306f\u3001\u4eba\u9593\u306b\u3088\u308b\u6bd4\u8f03\u30c7\u30fc\u30bf \\((x,y^+,y^-)\\) \u306e\u5206\u5e03\u306b\u3064\u3044\u3066\u53d6\u308b\u3002\u4eba\u9593\u304c \\(y^+\\) \u3092\u9078\u3093\u3060\u306b\u3082\u304b\u304b\u308f\u3089\u305a\u3001\u5831\u916c\u30e2\u30c7\u30eb\u304c \\(r_\\phi(x,y^+)&lt;r_\\phi(x,y^-)\\) \u3068\u8a55\u4fa1\u3059\u308b\u3068\u3001\u30b7\u30b0\u30e2\u30a4\u30c9\u306e\u5024\u306f 0.5 \u3088\u308a\u5c0f\u3055\u304f\u306a\u308a\u3001\u640d\u5931\u304c\u5927\u304d\u304f\u306a\u308b\u3002\u53cd\u5bfe\u306b\u3001\u597d\u307e\u308c\u305f\u56de\u7b54\u3078\u5341\u5206\u306b\u9ad8\u3044\u5831\u916c\u3092\u4e0e\u3048\u308b\u3068\u89b3\u6e2c\u7d50\u679c\u306e\u5c24\u5ea6\u304c\u4e0a\u304c\u308a\u3001\u640d\u5931\u306f\u5c0f\u3055\u304f\u306a\u308b\u3002<\/p>\n<p>\u5b66\u7fd2\u306e\u56e0\u679c\u95a2\u4fc2\u306f\u4e8c\u6bb5\u968e\u306b\u5206\u304b\u308c\u308b\u3002\u7b2c\u4e00\u6bb5\u968e\u3067\u306f\u3001\u4eba\u9593\u306e\u6bd4\u8f03\u7d50\u679c\u304b\u3089\u5831\u916c\u30e2\u30c7\u30eb\u3092\u5b66\u7fd2\u3059\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\{y^+\\succ y^-\\}<br \/>\n\\longrightarrow<br \/>\nr_\\phi(x,y)<br \/>\n\\]<\/p>\n<p>\u7b2c\u4e8c\u6bb5\u968e\u3067\u306f\u3001\u305d\u306e\u5831\u916c\u30e2\u30c7\u30eb\u3092\u5f37\u5316\u5b66\u7fd2\u306e\u5831\u916c\u3068\u3057\u3066\u4f7f\u3044\u3001\u751f\u6210\u65b9\u7b56\u3092\u66f4\u65b0\u3059\u308b\u3002<\/p>\n<p>\\[<br \/>\nr_\\phi(x,y)<br \/>\n\\longrightarrow<br \/>\n\\pi_\\theta(y\\mid x)<br \/>\n\\]<\/p>\n<p>\u5168\u4f53\u3068\u3057\u3066\u306f\u3001\u6b21\u306e\u6d41\u308c\u306b\u306a\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\text{human comparisons}<br \/>\n\\longrightarrow<br \/>\nr_\\phi(x,y)<br \/>\n\\longrightarrow<br \/>\n\\pi_\\theta(y\\mid x)<br \/>\n\\]<\/p>\n<p>\u6700\u7d42\u7684\u306a\u751f\u6210\u30e2\u30c7\u30eb\u304c\u76f4\u63a5\u6700\u9069\u5316\u3057\u3066\u3044\u308b\u306e\u306f\u3001\u4eba\u9593\u4e00\u4eba\u3072\u3068\u308a\u306e\u6bd4\u8f03\u7d50\u679c\u305d\u306e\u3082\u306e\u3067\u306f\u306a\u304f\u3001\u591a\u6570\u306e\u6bd4\u8f03\u7d50\u679c\u304b\u3089\u5b66\u7fd2\u3055\u308c\u305f\u5831\u916c\u30e2\u30c7\u30eb\u3067\u3042\u308b\u3002\u3053\u306e\u4e2d\u9593\u5c64\u3092\u7f6e\u304f\u3053\u3068\u3067\u3001\u4eba\u9593\u304c\u3059\u3079\u3066\u306e\u751f\u6210\u7d50\u679c\u3092\u9010\u6b21\u8a55\u4fa1\u3057\u306a\u304f\u3066\u3082\u3001\u65b0\u3057\u3044\u56de\u7b54\u3078\u5831\u916c\u3092\u63a8\u5b9a\u3057\u306a\u304c\u3089\u65b9\u7b56\u3092\u66f4\u65b0\u3067\u304d\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u6bb5\u968e<\/th>\n<th>\u5165\u529b<\/th>\n<th>\u5b66\u7fd2\u3059\u308b\u91cf<\/th>\n<th>\u6570\u5024\u306e\u610f\u5473<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u4eba\u9593\u6bd4\u8f03<\/td>\n<td>\u540c\u3058\u5165\u529b\u306b\u5bfe\u3059\u308b\u8907\u6570\u306e\u56de\u7b54\u3092\u4eba\u9593\u304c\u6bd4\u8f03\u3059\u308b\u3002<\/td>\n<td>\\(y^+\\succ y^-\\) \u3068\u3044\u3046\u9806\u5e8f\u30c7\u30fc\u30bf\u3092\u5f97\u308b\u3002<\/td>\n<td>\u3069\u3061\u3089\u306e\u56de\u7b54\u304c\u9078\u3070\u308c\u305f\u304b\u3092\u8868\u3057\u3001\u7d76\u5bfe\u7684\u306a\u54c1\u8cea\u5024\u306f\u76f4\u63a5\u4e0e\u3048\u306a\u3044\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u5831\u916c\u30e2\u30c7\u30eb\u5b66\u7fd2<\/td>\n<td>\u4eba\u9593\u6bd4\u8f03\u30c7\u30fc\u30bf\u3092\u4f7f\u3046\u3002<\/td>\n<td>\\(r_\\phi(x,y)\\) \u3092\u5b66\u7fd2\u3059\u308b\u3002<\/td>\n<td>\u5831\u916c\u5dee\u304c\u56de\u7b54\u9593\u306e\u9078\u629e\u78ba\u7387\u306e\u5bfe\u6570\u30aa\u30c3\u30ba\u306b\u5bfe\u5fdc\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u65b9\u7b56\u6700\u9069\u5316<\/td>\n<td>\u5831\u916c\u30e2\u30c7\u30eb\u304c\u65b0\u3057\u3044\u56de\u7b54\u3078\u4e0e\u3048\u308b\u30b9\u30b3\u30a2\u3092\u4f7f\u3046\u3002<\/td>\n<td>\\(\\pi_\\theta(y\\mid x)\\) \u3092\u66f4\u65b0\u3059\u308b\u3002<\/td>\n<td>\u9ad8\u3044\u5831\u916c\u3092\u5f97\u308b\u56de\u7b54\u3092\u751f\u6210\u3059\u308b\u78ba\u7387\u3092\u9ad8\u3081\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h3>3.3 RLHF \u306f\u6bd4\u8f03\u5b66\u7fd2\u304b\u3089\u8a00\u8a9e\u30e2\u30c7\u30eb\u306e\u65b9\u7b56\u6700\u9069\u5316\u3078\u767a\u5c55\u3057\u305f<\/h3>\n<p>\u4eba\u9593\u306e\u6bd4\u8f03\u304b\u3089\u5831\u916c\u3092\u5b66\u7fd2\u3057\u3001\u305d\u306e\u5831\u916c\u3092\u4f7f\u3063\u3066\u5f37\u5316\u5b66\u7fd2\u3092\u884c\u3046\u69cb\u6210\u306f\u3001Christiano \u3089\u304c 2017 \u5e74\u306b\u3001Atari \u3084\u30ed\u30dc\u30c3\u30c8\u5236\u5fa1\u306a\u3069\u306e\u5f37\u5316\u5b66\u7fd2\u74b0\u5883\u3067\u793a\u3057\u305f<a href=\"#ref6\">[6]<\/a>\u3002\u4eba\u9593\u306f\u9577\u3044\u8ecc\u8de1\u5168\u4f53\u3078\u5831\u916c\u5024\u3092\u76f4\u63a5\u8a2d\u8a08\u3059\u308b\u4ee3\u308f\u308a\u306b\u3001\u4e8c\u3064\u306e\u8ecc\u8de1\u65ad\u7247\u3092\u6bd4\u8f03\u3059\u308b\u3002\u30e2\u30c7\u30eb\u306f\u305d\u306e\u6bd4\u8f03\u304b\u3089\u5831\u916c\u95a2\u6570\u3092\u63a8\u5b9a\u3057\u3001\u305d\u306e\u5831\u916c\u3092\u4f7f\u3063\u3066\u30a8\u30fc\u30b8\u30a7\u30f3\u30c8\u3092\u8a13\u7df4\u3059\u308b\u3002<\/p>\n<p>Ziegler \u3089\u306f\u3001\u3053\u306e\u65b9\u6cd5\u3092\u81ea\u7136\u8a00\u8a9e\u751f\u6210\u3078\u62e1\u5f35\u3057\u305f<a href=\"#ref7\">[7]<\/a>\u3002\u6587\u7ae0\u306e\u611f\u60c5\u3084\u7269\u7406\u7684\u8a18\u8ff0\u3001\u8981\u7d04\u3068\u3044\u3063\u305f\u8ab2\u984c\u306b\u3064\u3044\u3066\u3001\u4eba\u9593\u306b\u3088\u308b\u51fa\u529b\u6bd4\u8f03\u304b\u3089\u5831\u916c\u3092\u5b66\u7fd2\u3057\u3001\u305d\u306e\u5831\u916c\u3092\u7528\u3044\u3066\u8a00\u8a9e\u30e2\u30c7\u30eb\u3092 fine-tuning \u3057\u305f\u3002\u3053\u306e\u7814\u7a76\u3067\u306f\u3001\u4eba\u9593\u8a55\u4fa1\u305d\u306e\u3082\u306e\u304c\u8a55\u4fa1\u8005\u306e\u30d2\u30e5\u30fc\u30ea\u30b9\u30c6\u30a3\u30c3\u30af\u306b\u4f9d\u5b58\u3059\u308b\u53ef\u80fd\u6027\u3082\u89b3\u6e2c\u3055\u308c\u3066\u304a\u308a\u3001\u5831\u916c\u30e2\u30c7\u30eb\u304c\u300c\u672c\u6765\u6b32\u3057\u3044\u54c1\u8cea\u300d\u3088\u308a\u300c\u8a55\u4fa1\u8005\u304c\u9078\u3073\u3084\u3059\u3044\u7279\u5fb4\u300d\u3092\u5b66\u3076\u53ef\u80fd\u6027\u3092\u65e9\u3044\u6bb5\u968e\u304b\u3089\u793a\u3057\u3066\u3044\u308b\u3002<\/p>\n<p>Stiennon \u3089\u306f\u8981\u7d04\u8ab2\u984c\u3067\u3001\u4eba\u9593\u304c\u4e8c\u3064\u306e\u8981\u7d04\u3092\u6bd4\u8f03\u3057\u305f\u30c7\u30fc\u30bf\u304b\u3089\u5831\u916c\u30e2\u30c7\u30eb\u3092\u8a13\u7df4\u3057\u3001\u305d\u306e\u5831\u916c\u3092\u5f37\u5316\u5b66\u7fd2\u306e\u76ee\u7684\u3068\u3057\u3066\u8981\u7d04\u65b9\u7b56\u3092\u6700\u9069\u5316\u3057\u305f<a href=\"#ref8\">[8]<\/a>\u3002ROUGE \u306e\u3088\u3046\u306a\u81ea\u52d5\u8a55\u4fa1\u5024\u3092\u76f4\u63a5\u6700\u5927\u5316\u3059\u308b\u4ee3\u308f\u308a\u306b\u3001\u4eba\u9593\u304c\u3069\u3061\u3089\u306e\u8981\u7d04\u3092\u597d\u3080\u304b\u3092\u5b66\u7fd2\u53ef\u80fd\u306a\u5831\u916c\u3078\u5909\u63db\u3057\u305f\u70b9\u306b\u7279\u5fb4\u304c\u3042\u308b\u3002<\/p>\n<p>InstructGPT \u3067\u306f\u3001\u3053\u306e\u6d41\u308c\u304c\u6c4e\u7528\u7684\u306a\u6307\u793a\u8ffd\u5f93\u3078\u62e1\u5f35\u3055\u308c\u305f\u3002\u307e\u305a\u30e9\u30d9\u30e9\u30fc\u304c\u4f5c\u6210\u3057\u305f\u6a21\u7bc4\u56de\u7b54\u306b\u3088\u308b\u6559\u5e2b\u3042\u308a\u5b66\u7fd2\u3092\u884c\u3044\u3001\u6b21\u306b\u8907\u6570\u306e\u30e2\u30c7\u30eb\u51fa\u529b\u3092\u30e9\u30d9\u30e9\u30fc\u304c\u9806\u4f4d\u4ed8\u3051\u3059\u308b\u3002\u305d\u306e\u30e9\u30f3\u30ad\u30f3\u30b0\u304b\u3089\u5831\u916c\u30e2\u30c7\u30eb\u3092\u5b66\u7fd2\u3057\u3001\u6700\u5f8c\u306b PPO \u3092\u7528\u3044\u3066\u3001\u305d\u306e\u5831\u916c\u304c\u9ad8\u304f\u306a\u308b\u3088\u3046\u751f\u6210\u65b9\u7b56\u3092\u66f4\u65b0\u3059\u308b<a href=\"#ref9\">[9]<\/a>\u3002\u3053\u3053\u3067\u3082\u3001\u4eba\u9593\u306e\u30e9\u30f3\u30ad\u30f3\u30b0\u3068\u5f37\u5316\u5b66\u7fd2\u306e\u9593\u3092\u5831\u916c\u30e2\u30c7\u30eb\u304c\u63a5\u7d9a\u3057\u3066\u3044\u308b\u3002<\/p>\n<h3>3.4 RLHF \u306e\u5831\u916c\u306f\u4eba\u9593\u9078\u597d\u3092\u5727\u7e2e\u3057\u305f\u4ee3\u7406\u5909\u6570\u3067\u3042\u308b<\/h3>\n<p>\u3053\u306e\u6570\u7406\u69cb\u9020\u304b\u3089\u3001RLHF \u306b\u304a\u3051\u308b\u5831\u916c \\(r_\\phi(x,y)\\) \u306e\u4f4d\u7f6e\u4ed8\u3051\u3092\u6574\u7406\u3067\u304d\u308b\u3002\u4eba\u9593\u304c\u76f4\u63a5\u63d0\u4f9b\u3057\u3066\u3044\u308b\u89b3\u6e2c\u5024\u306f\u56de\u7b54\u9593\u306e\u6bd4\u8f03\u3067\u3042\u308a\u3001\u5831\u916c\u306f\u305d\u306e\u6bd4\u8f03\u30c7\u30fc\u30bf\u3092\u8aac\u660e\u3059\u308b\u305f\u3081\u306b\u30e2\u30c7\u30eb\u5185\u90e8\u3067\u69cb\u6210\u3055\u308c\u305f\u5b9f\u6570\u5024\u3067\u3042\u308b\u3002\u5831\u916c\u30e2\u30c7\u30eb\u306f\u3001\u591a\u6570\u306e\u6bd4\u8f03\u306b\u5171\u901a\u3059\u308b\u9078\u597d\u69cb\u9020\u3092\u4e00\u3064\u306e\u30b9\u30ab\u30e9\u30fc\u3078\u5727\u7e2e\u3057\u3001\u65b0\u3057\u3044\u56de\u7b54\u306b\u3064\u3044\u3066\u3082\u4eba\u9593\u304c\u3069\u3061\u3089\u3092\u9078\u3073\u3084\u3059\u3044\u304b\u3092\u63a8\u5b9a\u3059\u308b\u3002<\/p>\n<p>\u305d\u306e\u305f\u3081\u3001<\/p>\n<p>\\[<br \/>\nr_\\phi(x,y_1)<br \/>\n&gt;<br \/>\nr_\\phi(x,y_2)<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u95a2\u4fc2\u304b\u3089\u76f4\u63a5\u8aad\u307f\u53d6\u308c\u308b\u306e\u306f\u3001\u5831\u916c\u30e2\u30c7\u30eb\u4e0a\u3067 \\(y_1\\) \u304c \\(y_2\\) \u3088\u308a\u4eba\u9593\u306b\u9078\u3070\u308c\u3084\u3059\u3044\u3068\u63a8\u5b9a\u3055\u308c\u3066\u3044\u308b\u3053\u3068\u3067\u3042\u308b\u3002\u4e00\u65b9\u3001<\/p>\n<p>\\[<br \/>\nP(Z=1\\mid X=x,Y=y_1)<br \/>\n&gt;<br \/>\nP(Z=1\\mid X=x,Y=y_2)<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u5ba2\u89b3\u7684\u306a\u6b63\u89e3\u78ba\u7387\u306e\u9806\u4f4d\u307e\u3067\u540c\u3058\u306b\u306a\u308b\u305f\u3081\u306b\u306f\u3001\u4eba\u9593\u306e\u6bd4\u8f03\u5224\u65ad\u304c\u6b63\u3057\u3055\u3092\u5341\u5206\u306b\u53cd\u6620\u3057\u3001\u5831\u916c\u30e2\u30c7\u30eb\u3082\u305d\u306e\u5224\u65ad\u3092\u9069\u5207\u306b\u4e00\u822c\u5316\u3057\u3066\u3044\u308b\u3068\u3044\u3046\u8ffd\u52a0\u6761\u4ef6\u304c\u5fc5\u8981\u306b\u306a\u308b\u3002<\/p>\n<p>RLHF \u306f\u3001\u4eba\u9593\u304c\u6301\u3064\u8a55\u4fa1\u57fa\u6e96\u3092\u9010\u4e00\u5f62\u5f0f\u7684\u306a\u30eb\u30fc\u30eb\u3078\u66f8\u304d\u4e0b\u3059\u4ee3\u308f\u308a\u306b\u3001\u6bd4\u8f03\u3068\u3044\u3046\u6bd4\u8f03\u7684\u5358\u7d14\u306a\u89b3\u6e2c\u304b\u3089\u5b66\u7fd2\u4fe1\u53f7\u3092\u69cb\u6210\u3067\u304d\u308b\u3002\u3053\u306e\u6027\u8cea\u306b\u3088\u3063\u3066\u3001\u6587\u7ae0\u306e\u6709\u7528\u6027\u3001\u8aad\u307f\u3084\u3059\u3055\u3001\u6307\u793a\u3078\u306e\u9069\u5408\u306a\u3069\u3001\u5358\u4e00\u306e\u6b63\u89e3\u30e9\u30d9\u30eb\u3078\u9084\u5143\u3057\u306b\u304f\u3044\u54c1\u8cea\u3082\u6700\u9069\u5316\u5bfe\u8c61\u306b\u542b\u3081\u3089\u308c\u308b\u3002\u540c\u6642\u306b\u3001\u6bd4\u8f03\u306b\u3088\u3063\u3066\u89b3\u6e2c\u3055\u308c\u305f\u4eba\u9593\u9078\u597d\u3068\u3001\u5916\u90e8\u4e16\u754c\u306b\u304a\u3051\u308b\u5ba2\u89b3\u7684\u306a\u6b63\u3057\u3055\u306f\u5225\u306e\u5909\u6570\u3068\u3057\u3066\u6b8b\u308b\u3002\u6b21\u7bc0\u3067\u306f\u3001\u3053\u306e\u4e8c\u3064\u304c\u4e00\u81f4\u3057\u306a\u3044\u5834\u5408\u306b\u3001\u4ee3\u7406\u5831\u916c\u306e\u6700\u9069\u5316\u306b\u3088\u3063\u3066\u4f55\u304c\u8d77\u304d\u308b\u304b\u3092\u6570\u7406\u7684\u306b\u5206\u3051\u3066\u8003\u3048\u308b\u3002<\/p>\n<hr>\n<h2>4. \u4eba\u9593\u304b\u3089\u9ad8\u304f\u8a55\u4fa1\u3055\u308c\u308b\u3053\u3068\u3068\u5ba2\u89b3\u7684\u306b\u6b63\u3057\u3044\u3053\u3068\u3092\u5206\u3051\u308b<\/h2>\n<p>RLHF \u306e\u5831\u916c\u30e2\u30c7\u30eb\u306f\u3001\u4eba\u9593\u306e\u6bd4\u8f03\u5224\u65ad\u3092\u5b66\u7fd2\u53ef\u80fd\u306a\u30b9\u30ab\u30e9\u30fc\u5024\u3078\u5909\u63db\u3059\u308b\u3002\u3053\u306e\u4ed5\u7d44\u307f\u3092\u5ba2\u89b3\u7684\u306a\u6b63\u3057\u3055\u307e\u3067\u542b\u3081\u3066\u8003\u3048\u308b\u306b\u306f\u3001\u300c\u672c\u6765\u6539\u5584\u3057\u305f\u3044\u91cf\u300d\u300c\u4eba\u9593\u304c\u89b3\u6e2c\u3057\u3066\u8a55\u4fa1\u3067\u304d\u308b\u91cf\u300d\u300c\u5831\u916c\u30e2\u30c7\u30eb\u304c\u63a8\u5b9a\u3059\u308b\u91cf\u300d\u3092\u5206\u96e2\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002\u65e2\u7a3f\u3067\u306f\u3001\u5b66\u7fd2\u7528\u8a55\u4fa1\u3001\u4eba\u9593\u8a55\u4fa1\u3001\u5ba2\u89b3\u7684\u306a\u6b63\u3057\u3055\u3092\u5225\u306e\u5c64\u3068\u3057\u3066\u6271\u3046\u3053\u3068\u3067\u3001\u8a55\u4fa1\u5024\u3060\u3051\u304c\u4e0a\u6607\u3059\u308b\u72b6\u6cc1\u3092\u6574\u7406\u3057\u305f<a href=\"#ref10\">[10]<\/a>\u3002<\/p>\n<h3>4.1 \u672c\u6765\u76ee\u7684\u304b\u3089\u5831\u916c\u30e2\u30c7\u30eb\u307e\u3067\u306b\u306f\u4e8c\u3064\u306e\u8fd1\u4f3c\u304c\u5165\u308b<\/h3>\n<p>\u5165\u529b \\(x\\) \u3068\u56de\u7b54 \\(y\\) \u306b\u5bfe\u3057\u3066\u3001\u672c\u6765\u6539\u5584\u3057\u305f\u3044\u91cf\u3092 \\(u(x,y)\\)\u3001\u4eba\u9593\u304c\u5229\u7528\u53ef\u80fd\u306a\u60c5\u5831\u304b\u3089\u4e0e\u3048\u308b\u8a55\u4fa1\u3092 \\(h(x,y)\\)\u3001\u305d\u306e\u4eba\u9593\u8a55\u4fa1\u3092\u8fd1\u4f3c\u3059\u308b\u5831\u916c\u30e2\u30c7\u30eb\u3092 \\(r_\\phi(x,y)\\) \u3068\u7f6e\u304f\u3002\u6982\u5ff5\u7684\u306a\u95a2\u4fc2\u306f\u6b21\u306e\u3088\u3046\u306b\u8868\u305b\u308b\u3002<\/p>\n<p>\\[<br \/>\nu(x,y)<br \/>\n\\longrightarrow<br \/>\nh(x,y)<br \/>\n\\longrightarrow<br \/>\nr_\\phi(x,y)<br \/>\n\\]<\/p>\n<p>\u3053\u306e\u77e2\u5370\u306f\u7b49\u53f7\u3067\u306f\u306a\u304f\u3001\u76ee\u7684\u306b\u95a2\u3059\u308b\u60c5\u5831\u304c\u4e8c\u6bb5\u968e\u306e\u8fd1\u4f3c\u3092\u7d4c\u3066\u5b66\u7fd2\u7528\u306e\u5831\u916c\u3078\u5909\u63db\u3055\u308c\u308b\u3053\u3068\u3092\u8868\u3059\u3002\u7b2c\u4e00\u6bb5\u968e\u3067\u306f\u3001\u672c\u6765\u76ee\u7684 \\(u\\) \u3092\u4eba\u9593\u304c\u9650\u3089\u308c\u305f\u89b3\u6e2c\u60c5\u5831\u304b\u3089\u8a55\u4fa1\u3059\u308b\u3002\u7b2c\u4e8c\u6bb5\u968e\u3067\u306f\u3001\u305d\u306e\u4eba\u9593\u8a55\u4fa1\u3092\u6709\u9650\u500b\u306e\u6bd4\u8f03\u30c7\u30fc\u30bf\u304b\u3089\u5831\u916c\u30e2\u30c7\u30eb\u304c\u5b66\u7fd2\u3059\u308b\u3002<\/p>\n<p>\u4e8c\u3064\u306e\u8fd1\u4f3c\u8aa4\u5dee\u3092\u660e\u793a\u3059\u308b\u3068\u3001\u3053\u306e\u69cb\u9020\u3092\u3088\u308a\u76f4\u63a5\u7684\u306b\u66f8\u3051\u308b\u3002\u4eba\u9593\u8a55\u4fa1\u3068\u672c\u6765\u76ee\u7684\u3068\u306e\u5dee\u3092<\/p>\n<p>\\[<br \/>\n\\delta_H(x,y)<br \/>\n=<br \/>\nh(x,y)-u(x,y)<br \/>\n\\]<\/p>\n<p>\u5831\u916c\u30e2\u30c7\u30eb\u3068\u4eba\u9593\u8a55\u4fa1\u3068\u306e\u5dee\u3092<\/p>\n<p>\\[<br \/>\n\\delta_R(x,y)<br \/>\n=<br \/>\nr_\\phi(x,y)-h(x,y)<br \/>\n\\]<\/p>\n<p>\u3068\u5b9a\u7fa9\u3059\u308b\u3002\u3053\u306e\u3068\u304d\u5831\u916c\u30e2\u30c7\u30eb\u306f\u3001<\/p>\n<p>\\[<br \/>\nr_\\phi(x,y)<br \/>\n=<br \/>\nu(x,y)<br \/>\n+<br \/>\n\\delta_H(x,y)<br \/>\n+<br \/>\n\\delta_R(x,y)<br \/>\n\\]<\/p>\n<p>\u3068\u5206\u89e3\u3067\u304d\u308b\u3002\\(\\delta_H\\) \u306f\u4eba\u9593\u8a55\u4fa1\u306b\u542b\u307e\u308c\u308b\u305a\u308c\u3001\\(\\delta_R\\) \u306f\u5831\u916c\u30e2\u30c7\u30eb\u306b\u3088\u308b\u8fd1\u4f3c\u306e\u305a\u308c\u3067\u3042\u308b\u3002RLHF \u306e\u65b9\u7b56\u304c\u76f4\u63a5\u89b3\u6e2c\u3059\u308b \\(r_\\phi\\) \u306b\u306f\u3001\u672c\u6765\u76ee\u7684 \\(u\\) \u3060\u3051\u3067\u306a\u304f\u3001\u3053\u306e\u4e8c\u7a2e\u985e\u306e\u8aa4\u5dee\u3082\u542b\u307e\u308c\u3066\u3044\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u91cf<\/th>\n<th>\u610f\u5473<\/th>\n<th>\u305a\u308c\u3092\u751f\u3080\u8981\u56e0<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\\(u(x,y)\\)<\/td>\n<td>\u6700\u7d42\u7684\u306b\u6539\u5584\u3057\u305f\u3044\u54c1\u8cea\u3084\u5ba2\u89b3\u7684\u306a\u6b63\u3057\u3055\u3092\u8868\u3059\u3002<\/td>\n<td>\u5bfe\u8c61\u3068\u306a\u308b\u696d\u52d9\u3001\u4e8b\u5b9f\u3001\u4ed5\u69d8\u3001\u6b63\u89e3\u57fa\u6e96\u306b\u3088\u3063\u3066\u5b9a\u7fa9\u3055\u308c\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(h(x,y)\\)<\/td>\n<td>\u4eba\u9593\u304c\u89b3\u6e2c\u53ef\u80fd\u306a\u60c5\u5831\u304b\u3089\u5f62\u6210\u3059\u308b\u8a55\u4fa1\u3092\u8868\u3059\u3002<\/td>\n<td>\u8a55\u4fa1\u6642\u9593\u3001\u5c02\u9580\u77e5\u8b58\u3001\u5229\u7528\u53ef\u80fd\u306a\u8a3c\u62e0\u3001\u8a55\u4fa1\u57fa\u6e96\u3001\u56de\u7b54\u306e\u8aac\u5f97\u529b\u306a\u3069\u306e\u5f71\u97ff\u3092\u53d7\u3051\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(r_\\phi(x,y)\\)<\/td>\n<td>\u4eba\u9593\u306e\u6bd4\u8f03\u30c7\u30fc\u30bf\u304b\u3089\u5b66\u7fd2\u3057\u305f\u4ee3\u7406\u5831\u916c\u3092\u8868\u3059\u3002<\/td>\n<td>\u6bd4\u8f03\u30c7\u30fc\u30bf\u306e\u91cf\u3068\u5206\u5e03\u3001\u5831\u916c\u30e2\u30c7\u30eb\u306e\u5bb9\u91cf\u3001\u4e00\u822c\u5316\u8aa4\u5dee\u306a\u3069\u306e\u5f71\u97ff\u3092\u53d7\u3051\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(\\delta_H\\)<\/td>\n<td>\u4eba\u9593\u8a55\u4fa1\u3068\u672c\u6765\u76ee\u7684\u306e\u5dee\u3092\u8868\u3059\u3002<\/td>\n<td>\u6b63\u3057\u3044\u56de\u7b54\u3092\u8aa4\u3063\u3066\u4f4e\u304f\u8a55\u4fa1\u3059\u308b\u5834\u5408\u3084\u3001\u8aac\u5f97\u7684\u306a\u8aa4\u7b54\u3092\u9ad8\u304f\u8a55\u4fa1\u3059\u308b\u5834\u5408\u306b\u5897\u3048\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(\\delta_R\\)<\/td>\n<td>\u5831\u916c\u30e2\u30c7\u30eb\u3068\u4eba\u9593\u8a55\u4fa1\u306e\u5dee\u3092\u8868\u3059\u3002<\/td>\n<td>\u6709\u9650\u306e\u6bd4\u8f03\u30c7\u30fc\u30bf\u304b\u3089\u672a\u77e5\u306e\u56de\u7b54\u3078\u8a55\u4fa1\u3092\u4e00\u822c\u5316\u3059\u308b\u3068\u304d\u306b\u751f\u3058\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u4eba\u9593\u304c\u672c\u6765\u76ee\u7684\u306b\u5fc5\u8981\u306a\u60c5\u5831\u3092\u5341\u5206\u306b\u89b3\u6e2c\u3067\u304d\u3001\u8a55\u4fa1\u57fa\u6e96\u3082\u76ee\u7684\u3068\u4e00\u81f4\u3057\u3001\u5831\u916c\u30e2\u30c7\u30eb\u304c\u305d\u306e\u8a55\u4fa1\u3092\u5341\u5206\u306a\u7cbe\u5ea6\u3067\u518d\u73fe\u3067\u304d\u308b\u9818\u57df\u3067\u306f\u3001\\(\\delta_H\\) \u3068 \\(\\delta_R\\) \u306f\u5c0f\u3055\u304f\u306a\u308b\u3002\u3053\u306e\u6761\u4ef6\u3067\u306f \\(r_\\phi\\) \u3092\u9ad8\u3081\u308b\u3053\u3068\u304c \\(u\\) \u306e\u6539\u5584\u306b\u3082\u3064\u306a\u304c\u308a\u3084\u3059\u3044\u3002\u9006\u306b\u3001\u3069\u3061\u3089\u304b\u306e\u8aa4\u5dee\u304c\u56de\u7b54\u306e\u7279\u5fb4\u3068\u7cfb\u7d71\u7684\u306b\u76f8\u95a2\u3059\u308b\u3068\u3001\u4ee3\u7406\u5831\u916c\u3092\u9ad8\u3081\u308b\u65b9\u5411\u3068\u672c\u6765\u76ee\u7684\u3092\u9ad8\u3081\u308b\u65b9\u5411\u304c\u305a\u308c\u308b\u3002<\/p>\n<h3>4.2 \u65b9\u7b56\u306f\u672c\u6765\u76ee\u7684\u3067\u306f\u306a\u304f\u4ee3\u7406\u5831\u916c\u3092\u76f4\u63a5\u6700\u9069\u5316\u3059\u308b<\/h3>\n<p>RLHF \u306e\u65b9\u7b56\u6700\u9069\u5316\u304c\u76f4\u63a5\u898b\u308b\u5bfe\u8c61\u306f \\(u\\) \u3067\u306f\u306a\u304f\u3001\u5b66\u7fd2\u6e08\u307f\u306e \\(r_\\phi\\) \u3067\u3042\u308b\u3002\u5358\u7d14\u5316\u3059\u308b\u3068\u3001\u5b9f\u969b\u306b\u9078\u3070\u308c\u308b\u65b9\u7b56\u306f\u6b21\u306e\u5f62\u3067\u8868\u305b\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\pi^*<br \/>\n=<br \/>\n\\arg\\max_\\pi<br \/>\n\\mathbb{E}_{y\\sim\\pi(\\cdot\\mid x)}<br \/>\n\\left[<br \/>\nr_\\phi(x,y)<br \/>\n\\right]<br \/>\n\\]<\/p>\n<p>\u4e00\u65b9\u3001\u672c\u6765\u76ee\u7684\u3060\u3051\u3092\u76f4\u63a5\u89b3\u6e2c\u3057\u3066\u6700\u9069\u5316\u3067\u304d\u308b\u7406\u60f3\u72b6\u614b\u3092\u7f6e\u3051\u3070\u3001\u6c42\u3081\u305f\u3044\u65b9\u7b56\u306f<\/p>\n<p>\\[<br \/>\n\\pi^\\dagger<br \/>\n=<br \/>\n\\arg\\max_\\pi<br \/>\n\\mathbb{E}_{y\\sim\\pi(\\cdot\\mid x)}<br \/>\n\\left[<br \/>\nu(x,y)<br \/>\n\\right]<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u4e21\u8005\u304c\u540c\u3058\u65b9\u7b56\u306b\u306a\u308b\u305f\u3081\u306b\u306f\u3001\u5c11\u306a\u304f\u3068\u3082\u6700\u9069\u5316\u3067\u63a2\u7d22\u3055\u308c\u308b\u9818\u57df\u306b\u304a\u3044\u3066\u3001\\(r_\\phi\\) \u304c \\(u\\) \u306e\u9806\u4f4d\u3092\u5341\u5206\u306b\u4fdd\u5b58\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002\u4e8c\u3064\u306e\u56de\u7b54 \\(y_1\\) \u3068 \\(y_2\\) \u306b\u5bfe\u3057\u3066\u3001<\/p>\n<p>\\[<br \/>\nu(x,y_1)<br \/>\n&gt;<br \/>\nu(x,y_2)<br \/>\n\\]<\/p>\n<p>\u306a\u3089\u3070\u3001<\/p>\n<p>\\[<br \/>\nr_\\phi(x,y_1)<br \/>\n&gt;<br \/>\nr_\\phi(x,y_2)<br \/>\n\\]<\/p>\n<p>\u3082\u6210\u7acb\u3059\u308b\u3068\u3044\u3046\u95a2\u4fc2\u3067\u3042\u308b\u3002\u3053\u306e\u9806\u5e8f\u304c\u5e83\u3044\u9818\u57df\u3067\u7dad\u6301\u3055\u308c\u308c\u3070\u3001\u4ee3\u7406\u5831\u916c\u306e\u6700\u5927\u5316\u306f\u672c\u6765\u76ee\u7684\u306e\u6539\u5584\u65b9\u5411\u3068\u4e00\u81f4\u3059\u308b\u3002<\/p>\n<p>\u4e00\u65b9\u3001\u3042\u308b\u9818\u57df\u3067\u9806\u4f4d\u304c\u53cd\u8ee2\u3057\u3001<\/p>\n<p>\\[<br \/>\nu(x,y_1)<br \/>\n&gt;<br \/>\nu(x,y_2)<br \/>\n\\quad\\text{\u304b\u3064}\\quad<br \/>\nr_\\phi(x,y_1)<br \/>\n&lt;<br \/>\nr_\\phi(x,y_2)<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308c\u3070\u3001\u65b9\u7b56\u6700\u9069\u5316\u306f \\(y_2\\) \u306e\u751f\u6210\u78ba\u7387\u3092\u9ad8\u3081\u308b\u65b9\u5411\u3078\u50cd\u304f\u3002\u672c\u6765\u76ee\u7684\u3067\u306f \\(y_1\\) \u306e\u65b9\u304c\u512a\u308c\u3066\u3044\u3066\u3082\u3001\u5b66\u7fd2\u5668\u304c\u53c2\u7167\u3059\u308b\u4ee3\u7406\u5831\u916c\u3067\u306f \\(y_2\\) \u304c\u9ad8\u304f\u8a55\u4fa1\u3055\u308c\u308b\u304b\u3089\u3067\u3042\u308b\u3002<\/p>\n<h3>4.3 \u6700\u9069\u5316\u306f\u4ee3\u7406\u5831\u916c\u306b\u542b\u307e\u308c\u308b\u8aa4\u5dee\u3082\u5229\u7528\u3059\u308b<\/h3>\n<p>\u5831\u916c\u30e2\u30c7\u30eb\u306e\u5206\u89e3\u5f0f\u3092\u65b9\u7b56\u306e\u671f\u5f85\u5024\u3078\u4ee3\u5165\u3059\u308b\u3068\u3001\u4ee3\u7406\u5831\u916c\u3092\u6700\u5927\u5316\u3059\u308b\u3068\u304d\u306b\u4f55\u304c\u8d77\u304d\u308b\u304b\u3092\u78ba\u8a8d\u3067\u304d\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\mathbb{E}_{y\\sim\\pi}<br \/>\n[r_\\phi(x,y)]<br \/>\n=<br \/>\n\\mathbb{E}_{y\\sim\\pi}<br \/>\n[u(x,y)]<br \/>\n+<br \/>\n\\mathbb{E}_{y\\sim\\pi}<br \/>\n[\\delta_H(x,y)]<br \/>\n+<br \/>\n\\mathbb{E}_{y\\sim\\pi}<br \/>\n[\\delta_R(x,y)]<br \/>\n\\]<\/p>\n<p>\u65b9\u7b56\u6700\u9069\u5316\u306f\u53f3\u8fba\u5168\u4f53\u3092\u5927\u304d\u304f\u3059\u308b\u3002\u6700\u521d\u306e\u9805\u3060\u3051\u3092\u533a\u5225\u3057\u3066\u6700\u9069\u5316\u3059\u308b\u4ed5\u7d44\u307f\u306f\u3001\u3053\u306e\u5f0f\u306b\u306f\u542b\u307e\u308c\u3066\u3044\u306a\u3044\u3002\u305d\u306e\u305f\u3081\u3001\u672c\u6765\u76ee\u7684 \\(u\\) \u3092\u9ad8\u3081\u308b\u65b9\u6cd5\u306b\u52a0\u3048\u3066\u3001\u4eba\u9593\u8a55\u4fa1\u8aa4\u5dee \\(\\delta_H\\) \u3084\u5831\u916c\u30e2\u30c7\u30eb\u8aa4\u5dee \\(\\delta_R\\) \u304c\u6b63\u65b9\u5411\u3078\u5927\u304d\u304f\u306a\u308b\u56de\u7b54\u3082\u3001\u4ee3\u7406\u5831\u916c\u3092\u4e0a\u6607\u3055\u305b\u308b\u5019\u88dc\u306b\u306a\u308b\u3002<\/p>\n<p>\u3053\u306e\u69cb\u9020\u306f\u3001\u8aa4\u5dee\u304c\u5e73\u5747 0 \u3067\u3042\u308b\u3060\u3051\u3067\u306f\u5341\u5206\u3067\u306a\u3044\u3053\u3068\u3082\u793a\u3059\u3002\u5b66\u7fd2\u524d\u306e\u5206\u5e03 \\(D_0\\) \u3067<\/p>\n<p>\\[<br \/>\n\\mathbb{E}_{D_0}<br \/>\n[\\delta_H+\\delta_R]<br \/>\n\\approx<br \/>\n0<br \/>\n\\]<\/p>\n<p>\u3060\u3063\u305f\u3068\u3057\u3066\u3082\u3001\u65b9\u7b56\u6700\u9069\u5316\u5f8c\u306e\u5206\u5e03 \\(D_\\pi\\) \u306f\u540c\u3058\u5206\u5e03\u3067\u306f\u306a\u3044\u3002\u30e2\u30c7\u30eb\u306f\u9ad8\u3044\u5831\u916c\u3092\u5f97\u3089\u308c\u308b\u56de\u7b54\u3092\u9078\u629e\u7684\u306b\u751f\u6210\u3059\u308b\u305f\u3081\u3001\u8aa4\u5dee\u304c\u6b63\u65b9\u5411\u3078\u5927\u304d\u3044\u9818\u57df\u306b\u3082\u78ba\u7387\u8cea\u91cf\u3092\u79fb\u305b\u308b\u3002<\/p>\n<p>\\[<br \/>\nD_0<br \/>\n\\longrightarrow<br \/>\nD_\\pi<br \/>\n\\]<\/p>\n<p>\u3053\u306e\u5206\u5e03\u79fb\u52d5\u306b\u3088\u3063\u3066\u3001<\/p>\n<p>\\[<br \/>\n\\mathbb{E}_{D_\\pi}<br \/>\n[\\delta_H+\\delta_R]<br \/>\n&gt;<br \/>\n\\mathbb{E}_{D_0}<br \/>\n[\\delta_H+\\delta_R]<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308c\u3070\u3001\u4ee3\u7406\u5831\u916c\u306e\u6539\u5584\u91cf\u306e\u4e00\u90e8\u306f\u672c\u6765\u76ee\u7684\u306e\u6539\u5584\u3067\u306f\u306a\u304f\u3001\u8a55\u4fa1\u7cfb\u306b\u5b58\u5728\u3059\u308b\u8aa4\u5dee\u3092\u5229\u7528\u3057\u305f\u7d50\u679c\u306b\u306a\u308b\u3002\u5831\u916c\u30e2\u30c7\u30eb\u306e\u8fd1\u4f3c\u8aa4\u5dee\u304c\u5c0f\u3055\u304f\u898b\u3048\u308b\u5b66\u7fd2\u6642\u5206\u5e03\u3067\u3082\u3001\u5f37\u3044\u6700\u9069\u5316\u306b\u3088\u3063\u3066\u5225\u306e\u9818\u57df\u3078\u79fb\u52d5\u3059\u308b\u3068\u3001\u305d\u306e\u8aa4\u5dee\u304c\u610f\u601d\u6c7a\u5b9a\u3092\u652f\u914d\u3059\u308b\u53ef\u80fd\u6027\u304c\u751f\u3058\u308b\u3002<\/p>\n<h3>4.4 Reward model overoptimization \u306f\u4ee3\u7406\u5831\u916c\u3068\u57fa\u6e96\u5831\u916c\u306e\u4e56\u96e2\u3068\u3057\u3066\u89b3\u6e2c\u3067\u304d\u308b<\/h3>\n<p>Gao\u3001Schulman\u3001Hilton \u306f\u3001\u3053\u306e\u73fe\u8c61\u3092 reward model overoptimization \u3068\u3057\u3066\u5b9a\u91cf\u7684\u306b\u8abf\u3079\u305f<a href=\"#ref11\">[11]<\/a>\u3002\u5f7c\u3089\u306e\u5b9f\u9a13\u3067\u306f\u3001\u56fa\u5b9a\u3057\u305f gold-standard reward model \u304b\u3089\u6bd4\u8f03\u30e9\u30d9\u30eb\u3092\u751f\u6210\u3057\u3001\u305d\u306e\u30e9\u30d9\u30eb\u3092\u4f7f\u3063\u3066\u5225\u306e proxy reward model \u3092\u5b66\u7fd2\u3059\u308b\u3002\u3053\u306e\u69cb\u6210\u306b\u3088\u308a\u3001\u4eba\u9593\u304b\u3089\u8ffd\u52a0\u8a55\u4fa1\u3092\u5927\u91cf\u306b\u96c6\u3081\u308b\u4ee3\u308f\u308a\u306b\u3001\u300c\u57fa\u6e96\u3068\u306a\u308b\u5831\u916c\u300d\u3068\u300c\u5b66\u7fd2\u3055\u308c\u305f\u4ee3\u7406\u5831\u916c\u300d\u306e\u53cc\u65b9\u3092\u89b3\u6e2c\u3067\u304d\u308b\u3002<\/p>\n<p>\u4ee3\u7406\u5831\u916c\u3092 \\(r_{\\mathrm{proxy}}\\)\u3001\u57fa\u6e96\u5831\u916c\u3092 \\(r_{\\mathrm{gold}}\\) \u3068\u3059\u308c\u3070\u3001\u6700\u9069\u5316\u521d\u671f\u306b\u306f\u4e21\u8005\u304c\u540c\u6642\u306b\u6539\u5584\u3059\u308b\u9818\u57df\u304c\u5b58\u5728\u3059\u308b\u3002<\/p>\n<p>\\[<br \/>\nr_{\\mathrm{proxy}}\\uparrow<br \/>\n\\quad\\Longrightarrow\\quad<br \/>\nr_{\\mathrm{gold}}\\uparrow<br \/>\n\\]<\/p>\n<p>\u3057\u304b\u3057\u6700\u9069\u5316\u3092\u3055\u3089\u306b\u5f37\u3081\u308b\u3068\u3001\u4ee3\u7406\u5831\u916c\u306f\u4e0a\u6607\u3057\u7d9a\u3051\u308b\u4e00\u65b9\u3067\u3001\u57fa\u6e96\u5831\u916c\u304c\u4f4e\u4e0b\u3059\u308b\u9818\u57df\u304c\u73fe\u308c\u308b\u3002<\/p>\n<p>\\[<br \/>\nr_{\\mathrm{proxy}}\\uparrow<br \/>\n\\quad\\text{\u304b\u3064}\\quad<br \/>\nr_{\\mathrm{gold}}\\downarrow<br \/>\n\\]<\/p>\n<p>\u3053\u308c\u306f\u3001\u4ee3\u7406\u5831\u916c\u306e\u6700\u5927\u5316\u3068\u672c\u6765\u76ee\u7684\u306e\u6700\u5927\u5316\u304c\u540c\u3058\u6700\u9069\u5316\u554f\u984c\u3067\u306f\u306a\u3044\u3053\u3068\u3092\u5b9f\u9a13\u7684\u306b\u53ef\u8996\u5316\u3057\u305f\u4f8b\u3067\u3042\u308b\u3002Gao \u3089\u306f\u3001\u3053\u306e\u95a2\u4fc2\u304c\u5f37\u5316\u5b66\u7fd2\u3068 best-of-\\(n\\) sampling \u306e\u53cc\u65b9\u3067\u73fe\u308c\u3001\u6700\u9069\u5316\u65b9\u6cd5\u306b\u3088\u3063\u3066\u7570\u306a\u308b\u95a2\u6570\u5f62\u3092\u53d6\u308b\u3053\u3068\u3082\u5831\u544a\u3057\u3066\u3044\u308b<a href=\"#ref11\">[11]<\/a>\u3002<\/p>\n<p>\u6570\u7406\u7684\u306b\u306f\u3001\u6700\u9069\u5316\u306e\u5f37\u3055\u3092 \\(\\lambda\\) \u3068\u3057\u3001\u4ee3\u7406\u5831\u916c\u3068\u57fa\u6e96\u5831\u916c\u3092\u305d\u308c\u305e\u308c<\/p>\n<p>\\[<br \/>\nR_{\\mathrm{proxy}}(\\lambda)<br \/>\n=<br \/>\n\\mathbb{E}_{\\pi_\\lambda}<br \/>\n[r_{\\mathrm{proxy}}]<br \/>\n\\]<\/p>\n<p>\\[<br \/>\nR_{\\mathrm{gold}}(\\lambda)<br \/>\n=<br \/>\n\\mathbb{E}_{\\pi_\\lambda}<br \/>\n[r_{\\mathrm{gold}}]<br \/>\n\\]<\/p>\n<p>\u3068\u7f6e\u3051\u3070\u3001\u904e\u5270\u6700\u9069\u5316\u9818\u57df\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\frac{dR_{\\mathrm{proxy}}}{d\\lambda}<br \/>\n&gt;<br \/>\n0<br \/>\n\\quad\\text{\u304b\u3064}\\quad<br \/>\n\\frac{dR_{\\mathrm{gold}}}{d\\lambda}<br \/>\n&lt;<br \/>\n0<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u9818\u57df\u3068\u3057\u3066\u6982\u5ff5\u7684\u306b\u8868\u305b\u308b\u3002\u6700\u9069\u5316\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u81ea\u4f53\u306f\u6b63\u3057\u304f\u4ee3\u7406\u76ee\u7684\u3092\u6539\u5584\u3057\u3066\u3044\u3066\u3082\u3001\u305d\u306e\u4ee3\u7406\u76ee\u7684\u3068\u672c\u6765\u76ee\u7684\u306e\u5bfe\u5fdc\u304c\u5d29\u308c\u308c\u3070\u3001\u6700\u7d42\u6210\u679c\u306f\u9006\u65b9\u5411\u3078\u9032\u307f\u5f97\u308b\u3002<\/p>\n<h3>4.5 \u4eba\u9593\u8a55\u4fa1\u306e\u6bb5\u968e\u3067\u3082\u5ba2\u89b3\u7684\u306a\u6b63\u3057\u3055\u306b\u95a2\u3059\u308b\u60c5\u5831\u306f\u5931\u308f\u308c\u308b<\/h3>\n<p>\u3053\u3053\u307e\u3067\u306e\u8b70\u8ad6\u3067\u306f\u5831\u916c\u30e2\u30c7\u30eb \\(r_\\phi\\) \u3068\u672c\u6765\u76ee\u7684 \\(u\\) \u306e\u5dee\u3092\u4e2d\u5fc3\u306b\u898b\u3066\u304d\u305f\u304c\u3001\u305d\u306e\u4e00\u3064\u524d\u306e \\(u\\) \u304b\u3089 \\(h\\) \u3078\u306e\u5199\u50cf\u306b\u3082\u60c5\u5831\u640d\u5931\u304c\u3042\u308b\u3002\u4eba\u9593\u306f\u56de\u7b54\u306e\u3059\u3079\u3066\u306e\u6027\u8cea\u3092\u76f4\u63a5\u89b3\u6e2c\u3057\u3066\u8a55\u4fa1\u3057\u3066\u3044\u308b\u3068\u306f\u9650\u3089\u306a\u3044\u3002\u77ed\u6642\u9593\u306e\u8a55\u4fa1\u3067\u306f\u3001\u4e8b\u5b9f\u78ba\u8a8d\u3001\u8a08\u7b97\u306e\u518d\u5b9f\u884c\u3001\u5916\u90e8\u8cc7\u6599\u3068\u306e\u7167\u5408\u3001\u30b3\u30fc\u30c9\u306e\u5b9f\u884c\u306a\u3069\u306b\u4f7f\u3048\u308b\u6642\u9593\u304c\u9650\u3089\u308c\u308b\u3002\u305d\u306e\u72b6\u6cc1\u3067\u306f\u3001\u6b63\u3057\u3055\u3068\u76f8\u95a2\u3059\u308b\u8868\u9762\u7684\u306a\u7279\u5fb4\u3082\u8a55\u4fa1\u3078\u5f71\u97ff\u3059\u308b\u3002<\/p>\n<p>Hosking\u3001Blunsom\u3001Bartolo \u306f\u3001\u4eba\u9593\u306b\u3088\u308b\u5358\u4e00\u306e preference score \u304c\u8907\u6570\u306e\u91cd\u8981\u306a\u8aa4\u308a\u3092\u3069\u306e\u7a0b\u5ea6\u53cd\u6620\u3059\u308b\u304b\u3092\u8abf\u3079\u305f<a href=\"#ref12\">[12]<\/a>\u3002\u305d\u306e\u7d50\u679c\u3001preference score \u306f\u591a\u304f\u306e\u8aa4\u308a\u3092\u3042\u308b\u7a0b\u5ea6\u6349\u3048\u308b\u4e00\u65b9\u3001factuality \u306e\u3088\u3046\u306a\u91cd\u8981\u306a\u5074\u9762\u3092\u76f8\u5bfe\u7684\u306b\u904e\u5c0f\u8a55\u4fa1\u3059\u308b\u3053\u3068\u3092\u5831\u544a\u3057\u3066\u3044\u308b\u3002\u307e\u305f\u3001\u56de\u7b54\u306e assertiveness \u3092\u5909\u5316\u3055\u305b\u308b\u5b9f\u9a13\u3067\u306f\u3001\u65ad\u5b9a\u7684\u306a\u8868\u73fe\u304c\u77e5\u899a\u3055\u308c\u308b factuality error \u306e\u5272\u5408\u3078\u5f71\u97ff\u3057\u305f\u3002<\/p>\n<p>\u3053\u306e\u73fe\u8c61\u3092\u5148\u307b\u3069\u306e\u8aa4\u5dee\u9805\u3067\u8868\u305b\u3070\u3001\u56de\u7b54\u306e\u8868\u73fe\u4e0a\u306e\u7279\u5fb4 \\(s(y)\\) \u304c\u4eba\u9593\u8a55\u4fa1\u306b\u306f\u5f71\u97ff\u3059\u308b\u4e00\u65b9\u3001\u672c\u6765\u306e\u6b63\u3057\u3055\u306b\u306f\u540c\u3058\u610f\u5473\u3092\u6301\u305f\u306a\u3044\u72b6\u6cc1\u3068\u3057\u3066\u66f8\u3051\u308b\u3002<\/p>\n<p>\\[<br \/>\nh(x,y)<br \/>\n=<br \/>\nu(x,y)<br \/>\n+<br \/>\n\\alpha s(y)<br \/>\n+<br \/>\n\\varepsilon<br \/>\n\\]<\/p>\n<p>\\(\\alpha s(y)\\) \u306f\u3001\u65ad\u5b9a\u6027\u3084\u8aac\u5f97\u529b\u306a\u3069\u3001\u4eba\u9593\u8a55\u4fa1\u3078\u7cfb\u7d71\u7684\u306b\u4f5c\u7528\u3059\u308b\u8981\u56e0\u3092\u62bd\u8c61\u5316\u3057\u305f\u9805\u3067\u3042\u308b\u3002\\(\\varepsilon\\) \u306f\u305d\u306e\u4ed6\u306e\u8a55\u4fa1\u8aa4\u5dee\u3092\u8868\u3059\u3002\u3082\u3057 \\(\\alpha&gt;0\\) \u306a\u3089\u3001\u672c\u6765\u76ee\u7684 \\(u\\) \u304c\u540c\u3058\u56de\u7b54\u3067\u3082\u3001\\(s(y)\\) \u306e\u5927\u304d\u306a\u56de\u7b54\u307b\u3069\u9ad8\u304f\u8a55\u4fa1\u3055\u308c\u308b\u3002<\/p>\n<p>\u5831\u916c\u30e2\u30c7\u30eb\u304c\u3053\u306e\u4eba\u9593\u8a55\u4fa1\u3092\u6b63\u78ba\u306b\u5b66\u7fd2\u3057\u305f\u5834\u5408\u3001<\/p>\n<p>\\[<br \/>\nr_\\phi(x,y)<br \/>\n\\approx<br \/>\nu(x,y)<br \/>\n+<br \/>\n\\alpha s(y)<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u3053\u3053\u3067\u306f\u5831\u916c\u30e2\u30c7\u30eb\u304c\u4eba\u9593\u8a55\u4fa1\u3092\u5fe0\u5b9f\u306b\u518d\u73fe\u3059\u308b\u307b\u3069\u3001\u4eba\u9593\u8a55\u4fa1\u306b\u542b\u307e\u308c\u308b\u7cfb\u7d71\u7684\u306a\u305a\u308c\u3082\u5fe0\u5b9f\u306b\u518d\u73fe\u3059\u308b\u3002\u5831\u916c\u30e2\u30c7\u30eb\u306e\u4e88\u6e2c\u6027\u80fd\u3060\u3051\u3092\u6539\u5584\u3057\u3066\u3082\u3001\\(\\delta_H\\) \u306b\u7531\u6765\u3059\u308b\u305a\u308c\u306f\u6b8b\u308b\u3002<\/p>\n<h3>4.6 RLHF \u306b\u3088\u3063\u3066\u4eba\u9593\u3092\u8aac\u5f97\u3059\u308b\u80fd\u529b\u3060\u3051\u304c\u6539\u5584\u3059\u308b\u6761\u4ef6\u3082\u3042\u308b<\/h3>\n<p>Wen \u3089\u306f\u3001\u3053\u306e\u69cb\u9020\u3092\u8cea\u554f\u5fdc\u7b54\u3068\u30d7\u30ed\u30b0\u30e9\u30df\u30f3\u30b0\u8ab2\u984c\u3067\u5b9f\u9a13\u7684\u306b\u8abf\u3079\u305f<a href=\"#ref13\">[13]<\/a>\u3002\u6642\u9593\u5236\u7d04\u306e\u3042\u308b\u4eba\u9593\u8a55\u4fa1\u8005\u306b\u30e2\u30c7\u30eb\u51fa\u529b\u306e\u6b63\u3057\u3055\u3092\u5224\u5b9a\u3055\u305b\u3001\u305d\u306e\u8a55\u4fa1\u3092\u4f7f\u3063\u305f\u6a19\u6e96\u7684\u306a RLHF \u3092\u884c\u3063\u305f\u3068\u3053\u308d\u3001\u30e2\u30c7\u30eb\u306f\u8a55\u4fa1\u8005\u304b\u3089\u6b63\u3057\u3044\u3068\u5224\u65ad\u3055\u308c\u3084\u3059\u304f\u306a\u3063\u305f\u4e00\u65b9\u3001\u8ab2\u984c\u305d\u306e\u3082\u306e\u306e\u5ba2\u89b3\u7684\u306a\u6b63\u7b54\u7387\u306f\u540c\u3058\u3088\u3046\u306b\u306f\u6539\u5584\u3057\u306a\u304b\u3063\u305f\u3002<\/p>\n<p>\u8a55\u4fa1\u8005\u306e false positive rate\u3001\u3059\u306a\u308f\u3061\u8aa4\u3063\u305f\u56de\u7b54\u3092\u6b63\u3057\u3044\u3068\u5224\u65ad\u3059\u308b\u5272\u5408\u306f\u3001\u8cea\u554f\u5fdc\u7b54\u306e QuALITY \u3067 24.1%\u3001\u30d7\u30ed\u30b0\u30e9\u30df\u30f3\u30b0\u306e APPS \u3067 18.3% \u5897\u52a0\u3057\u305f\u3068\u5831\u544a\u3055\u308c\u3066\u3044\u308b<a href=\"#ref13\">[13]<\/a>\u3002\u3053\u308c\u306f\u3001<\/p>\n<p>\\[<br \/>\nh(x,y)\\uparrow<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u6539\u5584\u3068\u3001<\/p>\n<p>\\[<br \/>\nu(x,y)\\uparrow<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u6539\u5584\u304c\u5225\u3005\u306b\u5909\u5316\u3057\u5f97\u308b\u3053\u3068\u3092\u5177\u4f53\u7684\u306b\u793a\u3057\u3066\u3044\u308b\u3002<\/p>\n<p>\u3053\u306e\u7d50\u679c\u3092 RLHF \u306e\u5b66\u7fd2\u7d4c\u8def\u3078\u623b\u3059\u3068\u3001\u56e0\u679c\u95a2\u4fc2\u306f\u660e\u78ba\u306b\u306a\u308b\u3002\u6642\u9593\u5236\u7d04\u306e\u3042\u308b\u4eba\u9593\u8a55\u4fa1\u306b\u4e00\u5b9a\u306e\u898b\u843d\u3068\u3057\u304c\u5b58\u5728\u3059\u308b\u3068\u3001\u305d\u306e\u8a55\u4fa1\u304b\u3089\u5b66\u3076\u5831\u916c\u30e2\u30c7\u30eb\u3082\u300c\u4eba\u9593\u304b\u3089\u6b63\u3057\u3044\u3068\u5224\u65ad\u3055\u308c\u308b\u6027\u8cea\u300d\u3092\u5831\u916c\u3078\u53d6\u308a\u8fbc\u3080\u3002\u6b21\u306b\u65b9\u7b56\u6700\u9069\u5316\u304c\u305d\u306e\u5831\u916c\u3092\u5897\u3084\u3059\u305f\u3081\u3001\u30e2\u30c7\u30eb\u306f\u8ab2\u984c\u3092\u6b63\u3057\u304f\u89e3\u304f\u80fd\u529b\u3068\u3068\u3082\u306b\u3001\u4eba\u9593\u304b\u3089\u6b63\u3057\u3044\u3068\u8a8d\u8b58\u3055\u308c\u3084\u3059\u3044\u56de\u7b54\u3092\u751f\u6210\u3059\u308b\u80fd\u529b\u3082\u6700\u9069\u5316\u3059\u308b\u3002\u4e21\u8005\u306e\u76f8\u95a2\u304c\u5d29\u308c\u308b\u9818\u57df\u3067\u306f\u3001\u5f8c\u8005\u3060\u3051\u304c\u6539\u5584\u3059\u308b\u7d4c\u8def\u304c\u6210\u7acb\u3059\u308b\u3002<\/p>\n<h3>4.7 RLHF \u306e\u6709\u52b9\u6027\u3068\u4ee3\u7406\u76ee\u7684\u306e\u9650\u754c\u306f\u540c\u3058\u6570\u7406\u69cb\u9020\u304b\u3089\u751f\u3058\u308b<\/h3>\n<p>RLHF \u306e\u5229\u70b9\u306f\u3001\u4eba\u9593\u304c\u54c1\u8cea\u95a2\u6570 \\(u(x,y)\\) \u3092\u5b8c\u5168\u306a\u6570\u5f0f\u3068\u3057\u3066\u5b9a\u7fa9\u3067\u304d\u306a\u3044\u8ab2\u984c\u3067\u3082\u3001\u6bd4\u8f03\u5224\u65ad\u3092\u901a\u3058\u3066\u5b66\u7fd2\u4fe1\u53f7\u3092\u69cb\u6210\u3067\u304d\u308b\u70b9\u306b\u3042\u308b\u3002\u6709\u7528\u6027\u3001\u8aad\u307f\u3084\u3059\u3055\u3001\u6307\u793a\u3078\u306e\u9069\u5408\u3001\u4f1a\u8a71\u3068\u3057\u3066\u306e\u81ea\u7136\u3055\u306a\u3069\u3001\u591a\u6570\u306e\u8981\u7d20\u304b\u3089\u306a\u308b\u8a55\u4fa1\u3092\u5358\u4e00\u306e\u624b\u66f8\u304d\u30eb\u30fc\u30eb\u3078\u9084\u5143\u3059\u308b\u4ee3\u308f\u308a\u306b\u3001\u4eba\u9593\u306e\u9078\u629e\u304b\u3089\u4ee3\u7406\u5831\u916c\u3092\u5b66\u7fd2\u3067\u304d\u308b\u3002<\/p>\n<p>\u540c\u3058\u69cb\u9020\u304c\u4ee3\u7406\u8a55\u4fa1\u306e\u9650\u754c\u3082\u751f\u3080\u3002RLHF \u304c\u76f4\u63a5\u6700\u9069\u5316\u3059\u308b\u306e\u306f\u3001<\/p>\n<p>\\[<br \/>\nu(x,y)<br \/>\n\\]<\/p>\n<p>\u305d\u306e\u3082\u306e\u3067\u306f\u306a\u304f\u3001<\/p>\n<p>\\[<br \/>\nr_\\phi(x,y)<br \/>\n=<br \/>\nu(x,y)<br \/>\n+<br \/>\n\\delta_H(x,y)<br \/>\n+<br \/>\n\\delta_R(x,y)<br \/>\n\\]<\/p>\n<p>\u3067\u3042\u308b\u3002\u4eba\u9593\u8a55\u4fa1\u304c\u672c\u6765\u76ee\u7684\u3092\u5341\u5206\u306b\u53cd\u6620\u3057\u3001\u5831\u916c\u30e2\u30c7\u30eb\u3082\u305d\u306e\u8a55\u4fa1\u3092\u9069\u5207\u306b\u4e00\u822c\u5316\u3059\u308b\u7bc4\u56f2\u3067\u306f\u3001\u4ee3\u7406\u5831\u916c\u306f\u6709\u52b9\u306a\u5b66\u7fd2\u4fe1\u53f7\u3068\u3057\u3066\u50cd\u304f\u3002\u6700\u9069\u5316\u304c\u8a55\u4fa1\u8aa4\u5dee\u3084\u30e2\u30c7\u30eb\u8aa4\u5dee\u3068\u76f8\u95a2\u3059\u308b\u9818\u57df\u3078\u9032\u3080\u3068\u3001\u5831\u916c\u306e\u6539\u5584\u3068\u672c\u6765\u76ee\u7684\u306e\u6539\u5584\u3092\u500b\u5225\u306b\u6e2c\u5b9a\u3059\u308b\u5fc5\u8981\u304c\u751f\u3058\u308b\u3002<\/p>\n<p>\u3053\u306e\u69cb\u9020\u306f\u3001RLHF \u306e\u5831\u916c\u5024\u3078\u300c\u5ba2\u89b3\u7684\u306b\u6b63\u3057\u3044\u78ba\u7387\u300d\u3068\u3044\u3046\u610f\u5473\u3092\u305d\u306e\u307e\u307e\u4e0e\u3048\u3089\u308c\u306a\u3044\u7406\u7531\u3067\u3082\u3042\u308b\u3002\u5831\u916c\u306f\u4eba\u9593\u9078\u597d\u3092\u4e88\u6e2c\u3059\u308b\u305f\u3081\u306b\u69cb\u6210\u3055\u308c\u305f\u4ee3\u7406\u5909\u6570\u3067\u3042\u308a\u3001\u6b63\u89e3\u4e8b\u8c61\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u3068\u3057\u3066\u8f03\u6b63\u3055\u308c\u305f\u91cf\u3068\u306f\u76ee\u7684\u304c\u7570\u306a\u308b\u3002\u6b21\u7bc0\u3067\u306f\u3001\u3053\u306e\u5dee\u3092\u8e0f\u307e\u3048\u3066\u3001\u78ba\u7387\u306e\u5024\u305d\u306e\u3082\u306e\u3068\u5b9f\u969b\u306e\u6b63\u89e3\u983b\u5ea6\u3092\u5bfe\u5fdc\u3055\u305b\u308b calibration \u3092\u6570\u7406\u7684\u306b\u5b9a\u7fa9\u3059\u308b\u3002<\/p>\n<hr>\n<h2>5. Calibration \u306f\u78ba\u7387\u306e\u6570\u5024\u3068\u5b9f\u969b\u306e\u983b\u5ea6\u3092\u5bfe\u5fdc\u3055\u305b\u308b<\/h2>\n<p>RLCD \u306e\u516c\u958b\u8aac\u660e\u3092\u6570\u7406\u7684\u306b\u8aad\u3080\u305f\u3081\u306b\u5fc5\u8981\u306b\u306a\u308b\u306e\u304c calibration\u3001\u78ba\u7387\u8f03\u6b63\u3067\u3042\u308b\u3002\u78ba\u7387\u8f03\u6b63\u304c\u5bfe\u8c61\u3068\u3059\u308b\u306e\u306f\u3001\u5206\u985e\u7d50\u679c\u305d\u306e\u3082\u306e\u306e\u6b63\u3057\u3055\u3060\u3051\u3067\u306f\u306a\u304f\u3001\u30e2\u30c7\u30eb\u304c 0.8\u30010.9 \u3068\u3044\u3063\u305f\u6570\u5024\u3092\u51fa\u3057\u305f\u3068\u304d\u3001\u305d\u306e\u6570\u5024\u3068\u5b9f\u969b\u306b\u89b3\u6e2c\u3055\u308c\u308b\u983b\u5ea6\u304c\u5bfe\u5fdc\u3057\u3066\u3044\u308b\u304b\u3068\u3044\u3046\u6027\u8cea\u3067\u3042\u308b\u3002<\/p>\n<p>\u6700\u3082\u5358\u7d14\u306a\u4e8c\u5024\u554f\u984c\u3092\u8003\u3048\u308b\u3002\u771f\u306e\u72b6\u614b\u3092 \\(Y\\in\\{0,1\\}\\)\u3001\u5165\u529b\u3092 \\(X\\)\u3001\u30e2\u30c7\u30eb\u304c \\(Y=1\\) \u3067\u3042\u308b\u78ba\u7387\u3068\u3057\u3066\u8fd4\u3059\u5024\u3092 \\(q(X)\\in[0,1]\\) \u3068\u3059\u308b\u3002\u7406\u60f3\u7684\u306a\u8f03\u6b63\u6761\u4ef6\u306f\u6b21\u306e\u3088\u3046\u306b\u66f8\u3051\u308b\u3002<\/p>\n<p>\\[<br \/>\nP(Y=1\\mid q(X)=p)=p<br \/>\n\\]<\/p>\n<p>\u3053\u306e\u5f0f\u306f\u3001\u30e2\u30c7\u30eb\u304c\u78ba\u7387 \\(p\\) \u3092\u8fd4\u3057\u305f\u4e8b\u4f8b\u3060\u3051\u3092\u96c6\u3081\u305f\u3068\u304d\u3001\u305d\u306e\u4e2d\u3067\u5b9f\u969b\u306b \\(Y=1\\) \u3068\u306a\u308b\u5272\u5408\u3082 \\(p\\) \u306b\u306a\u308b\u3053\u3068\u3092\u8981\u6c42\u3057\u3066\u3044\u308b\u3002\u305f\u3068\u3048\u3070 \\(q(X)=0.8\\) \u3068\u4e88\u6e2c\u3055\u308c\u305f\u4e8b\u4f8b\u3092\u591a\u6570\u96c6\u3081\u3001\u305d\u306e\u7d04 80% \u3067\u5b9f\u969b\u306b \\(Y=1\\) \u304c\u89b3\u6e2c\u3055\u308c\u308b\u306a\u3089\u30010.8 \u3068\u3044\u3046\u4e88\u6e2c\u5024\u306f\u305d\u306e\u96c6\u5408\u306b\u3064\u3044\u3066\u8f03\u6b63\u3055\u308c\u3066\u3044\u308b\u3002<\/p>\n<h3>5.1 \u8f03\u6b63\u306b\u3088\u3063\u3066 0.8 \u3068\u3044\u3046\u6570\u5024\u306b\u89b3\u6e2c\u53ef\u80fd\u306a\u610f\u5473\u304c\u751f\u307e\u308c\u308b<\/h3>\n<p>\u524d\u7bc0\u307e\u3067\u3067\u6271\u3063\u305f RLHF \u306e\u5831\u916c\u5024\u3067\u306f\u30010.8 \u3084 0.9 \u3068\u3044\u3046\u7d76\u5bfe\u5024\u305d\u306e\u3082\u306e\u306b\u300c80% \u6b63\u3057\u3044\u300d\u300c90% \u6b63\u3057\u3044\u300d\u3068\u3044\u3046\u610f\u5473\u306f\u4e0e\u3048\u3089\u308c\u3066\u3044\u306a\u304b\u3063\u305f\u3002\u78ba\u7387\u8f03\u6b63\u3067\u306f\u3001\u3053\u306e\u5bfe\u5fdc\u305d\u306e\u3082\u306e\u3092\u8a55\u4fa1\u5bfe\u8c61\u306b\u3059\u308b\u3002<\/p>\n<p>\u4e8c\u5024\u5909\u6570\u3067\u306f \\(Y\\) \u304c 0 \u307e\u305f\u306f 1 \u3092\u53d6\u308b\u305f\u3081\u3001\u6761\u4ef6\u4ed8\u304d\u671f\u5f85\u5024\u3092\u4f7f\u3063\u3066\u540c\u3058\u6761\u4ef6\u3092\u6b21\u306e\u3088\u3046\u306b\u3082\u8868\u305b\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\mathbb{E}<br \/>\n\\left[<br \/>\nY<br \/>\n\\mid<br \/>\nq(X)<br \/>\n\\right]<br \/>\n=<br \/>\nq(X)<br \/>\n\\]<\/p>\n<p>\u30e2\u30c7\u30eb\u304c\u8fd4\u3057\u305f\u78ba\u7387\u3092\u77e5\u3063\u305f\u3042\u3068\u3067\u898b\u305f\u5b9f\u969b\u306e\u7d50\u679c \\(Y\\) \u306e\u5e73\u5747\u304c\u3001\u305d\u306e\u4e88\u6e2c\u78ba\u7387\u3068\u4e00\u81f4\u3059\u308b\u3068\u3044\u3046\u6761\u4ef6\u3067\u3042\u308b\u3002\\(q(X)=0.8\\) \u306e\u96c6\u5408\u3067\u306f \\(Y\\) \u306e\u5e73\u5747\u304c 0.8\u3001\\(q(X)=0.3\\) \u306e\u96c6\u5408\u3067\u306f\u5e73\u5747\u304c 0.3 \u306b\u306a\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u4e88\u6e2c\u78ba\u7387<\/th>\n<th>1000 \u4ef6\u96c6\u3081\u305f\u5834\u5408\u306e\u7406\u60f3\u7684\u306a\u89b3\u6e2c\u7d50\u679c<\/th>\n<th>\u89e3\u91c8<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>0.1<\/td>\n<td>\u7d04 100 \u4ef6\u3067 \\(Y=1\\) \u304c\u89b3\u6e2c\u3055\u308c\u308b\u3002<\/td>\n<td>\u30e2\u30c7\u30eb\u304c 10% \u3068\u4e88\u6e2c\u3057\u305f\u96c6\u5408\u3067\u3001\u4e8b\u8c61\u304c\u5b9f\u969b\u306b\u3082\u7d04 10% \u767a\u751f\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>0.5<\/td>\n<td>\u7d04 500 \u4ef6\u3067 \\(Y=1\\) \u304c\u89b3\u6e2c\u3055\u308c\u308b\u3002<\/td>\n<td>\u30e2\u30c7\u30eb\u304c\u534a\u3005\u3068\u5224\u65ad\u3057\u305f\u96c6\u5408\u3067\u306f\u3001\u5b9f\u969b\u306e\u7d50\u679c\u3082\u304a\u304a\u3080\u306d\u534a\u3005\u306b\u306a\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>0.8<\/td>\n<td>\u7d04 800 \u4ef6\u3067 \\(Y=1\\) \u304c\u89b3\u6e2c\u3055\u308c\u308b\u3002<\/td>\n<td>0.8 \u3068\u3044\u3046\u51fa\u529b\u5024\u3092\u5b9f\u6e2c\u983b\u5ea6 80% \u3068\u5bfe\u5fdc\u4ed8\u3051\u3066\u89e3\u91c8\u3067\u304d\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>0.95<\/td>\n<td>\u7d04 950 \u4ef6\u3067 \\(Y=1\\) \u304c\u89b3\u6e2c\u3055\u308c\u308b\u3002<\/td>\n<td>\u9ad8\u3044 confidence \u3092\u9ad8\u3044\u5b9f\u6e2c\u6b63\u89e3\u7387\u3068\u3057\u3066\u6271\u3046\u305f\u3081\u306e\u57fa\u790e\u306b\u306a\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u3053\u306e\u5bfe\u5fdc\u304c\u6210\u7acb\u3059\u308c\u3070\u3001\u78ba\u7387\u5024\u3092\u8868\u793a\u4e0a\u306e confidence \u306b\u3068\u3069\u3081\u305a\u3001\u5f8c\u6bb5\u306e\u610f\u601d\u6c7a\u5b9a\u3078\u5229\u7528\u3067\u304d\u308b\u3002\u305f\u3068\u3048\u3070 0.95 \u4ee5\u4e0a\u306a\u3089\u81ea\u52d5\u51e6\u7406\u3057\u30010.7 \u304b\u3089 0.95 \u307e\u3067\u306f\u4eba\u9593\u306b\u3088\u308b\u78ba\u8a8d\u3078\u56de\u3059\u3068\u3044\u3046\u6761\u4ef6\u5206\u5c90\u3092\u8a2d\u8a08\u3059\u308b\u3068\u304d\u3001\u305d\u308c\u305e\u308c\u306e\u95be\u5024\u304c\u5b9f\u969b\u306e\u6b63\u89e3\u983b\u5ea6\u3068\u7d50\u3073\u4ed8\u304f\u3002<\/p>\n<h3>5.2 \u8f03\u6b63\u306f\u500b\u3005\u306e\u4e88\u6e2c\u304c\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u3068\u4e00\u81f4\u3059\u308b\u3053\u3068\u3088\u308a\u5f31\u3044\u6761\u4ef6\u3067\u3042\u308b<\/h3>\n<p>\u524d\u306e\u7bc0\u3067\u306f\u3001\u7406\u60f3\u7684\u306a\u78ba\u7387\u4e88\u6e2c\u3068\u3057\u3066\u6b21\u306e\u95a2\u4fc2\u3092\u7f6e\u3044\u305f\u3002<\/p>\n<p>\\[<br \/>\nq(X)<br \/>\n=<br \/>\nP(Y=1\\mid X)<br \/>\n\\]<\/p>\n<p>\u3053\u306e\u6761\u4ef6\u304c\u6210\u7acb\u3059\u308c\u3070\u3001\u30e2\u30c7\u30eb\u306f\u5404\u5165\u529b \\(X\\) \u306b\u5bfe\u3057\u3066\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u3092\u8fd4\u3057\u3066\u3044\u308b\u3002\u3053\u306e\u72b6\u614b\u304b\u3089\u306f\u78ba\u7387\u8f03\u6b63\u3082\u5c0e\u304b\u308c\u308b\u3002<\/p>\n<p>\u3057\u304b\u3057\u9006\u65b9\u5411\u306f\u4e00\u822c\u306b\u306f\u6210\u7acb\u3057\u306a\u3044\u3002\u78ba\u7387\u8f03\u6b63\u306f\u3001\u540c\u3058\u4e88\u6e2c\u5024\u3092\u6301\u3064\u4e8b\u4f8b\u3092\u96c6\u3081\u305f\u96c6\u5408\u306b\u3064\u3044\u3066\u5b9f\u6e2c\u983b\u5ea6\u304c\u4e00\u81f4\u3059\u308b\u3053\u3068\u3092\u8981\u6c42\u3059\u308b\u4e00\u65b9\u3001\u500b\u3005\u306e\u5165\u529b\u306b\u3064\u3044\u3066\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u3092\u5b8c\u5168\u306b\u63a8\u5b9a\u3059\u308b\u3053\u3068\u307e\u3067\u306f\u8981\u6c42\u3057\u306a\u3044\u3002<\/p>\n<p>\u6975\u7aef\u306a\u4f8b\u3068\u3057\u3066\u3001\u30c7\u30fc\u30bf\u5168\u4f53\u3067 \\(Y=1\\) \u304c 60% \u767a\u751f\u3059\u308b\u72b6\u6cc1\u3092\u8003\u3048\u308b\u3002\u3059\u3079\u3066\u306e\u5165\u529b\u306b\u3064\u3044\u3066\u3001<\/p>\n<p>\\[<br \/>\nq(X)=0.6<br \/>\n\\]<\/p>\n<p>\u3068\u8fd4\u3059\u30e2\u30c7\u30eb\u3067\u3082\u3001\u5168\u4f53\u306e\u5b9f\u6e2c\u767a\u751f\u7387\u304c 60% \u306a\u3089\u8f03\u6b63\u6761\u4ef6\u3092\u6e80\u305f\u3057\u5f97\u308b\u3002\u3057\u304b\u3057\u3001\u3053\u306e\u30e2\u30c7\u30eb\u306f\u5165\u529b \\(X\\) \u306e\u9055\u3044\u3092\u4f7f\u3063\u3066\u500b\u3005\u306e\u4e8b\u4f8b\u3092\u533a\u5225\u3057\u3066\u3044\u306a\u3044\u3002<\/p>\n<p>\u4e00\u65b9\u3001\u5165\u529b\u3054\u3068\u306e\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u304c\u3001<\/p>\n<p>\\[<br \/>\nP(Y=1\\mid X=x_1)=0.1<br \/>\n\\]<\/p>\n<p>\\[<br \/>\nP(Y=1\\mid X=x_2)=0.9<br \/>\n\\]<\/p>\n<p>\u3067\u3042\u308b\u306a\u3089\u3001\u4e21\u65b9\u3078 0.6 \u3092\u8fd4\u3059\u30e2\u30c7\u30eb\u306f\u500b\u3005\u306e\u4e8b\u4f8b\u306b\u3064\u3044\u3066\u771f\u306e\u78ba\u7387\u3092\u63a8\u5b9a\u3067\u304d\u3066\u3044\u306a\u3044\u3002\u305d\u308c\u3067\u3082\u30c7\u30fc\u30bf\u5168\u4f53\u306e\u69cb\u6210\u306b\u3088\u3063\u3066\u306f\u3001\u96c6\u7d04\u3057\u305f calibration \u3060\u3051\u3092\u898b\u308b\u3068\u6574\u5408\u3057\u3066\u3044\u308b\u5834\u5408\u304c\u3042\u308b\u3002<\/p>\n<p>\u3053\u306e\u533a\u5225\u306b\u3088\u308a\u3001<\/p>\n<p>\\[<br \/>\nq(X)=P(Y=1\\mid X)<br \/>\n\\]<\/p>\n<p>\u306f\u3001<\/p>\n<p>\\[<br \/>\nP(Y=1\\mid q(X)=p)=p<br \/>\n\\]<\/p>\n<p>\u3088\u308a\u5f37\u3044\u7406\u60f3\u6761\u4ef6\u3060\u3068\u6574\u7406\u3067\u304d\u308b\u3002RLCD \u306e\u516c\u958b\u8aac\u660e\u304b\u3089\u76f4\u63a5\u78ba\u8a8d\u3067\u304d\u308b\u306e\u306f calibrated decisions \u3092\u76ee\u6a19\u3068\u3057\u3066\u3044\u308b\u3068\u3053\u308d\u307e\u3067\u3067\u3042\u308a\u3001TypeSafe \u304c\u5404\u5165\u529b\u306b\u3064\u3044\u3066\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u305d\u306e\u3082\u306e\u3092\u63a8\u5b9a\u3059\u308b\u3053\u3068\u3092\u3069\u306e\u3088\u3046\u306a\u76ee\u7684\u95a2\u6570\u3067\u5b9f\u73fe\u3057\u3066\u3044\u308b\u304b\u306f\u516c\u958b\u3055\u308c\u3066\u3044\u306a\u3044\u3002<\/p>\n<h3>5.3 \u5b9f\u30c7\u30fc\u30bf\u3067\u306f\u5b8c\u5168\u306b\u540c\u3058\u78ba\u7387\u5024\u3092\u96c6\u3081\u308b\u4ee3\u308f\u308a\u306b\u78ba\u7387\u5e2f\u3067\u8a55\u4fa1\u3059\u308b<\/h3>\n<p>\u7406\u8ad6\u4e0a\u306e\u5b9a\u7fa9\u3067\u306f \\(q(X)=p\\) \u3068\u3044\u3046\u6761\u4ef6\u3092\u7f6e\u3051\u308b\u304c\u3001\u5b9f\u969b\u306e\u30e2\u30c7\u30eb\u304c\u9023\u7d9a\u5024\u3092\u8fd4\u3059\u5834\u5408\u30010.800000 \u306e\u3088\u3046\u306b\u5b8c\u5168\u306b\u540c\u4e00\u306e\u5024\u3092\u6301\u3064\u4e8b\u4f8b\u304c\u5341\u5206\u306a\u6570\u3060\u3051\u96c6\u307e\u308b\u3068\u306f\u9650\u3089\u306a\u3044\u3002\u305d\u306e\u305f\u3081\u5b9f\u8a3c\u8a55\u4fa1\u3067\u306f\u3001\u8fd1\u3044\u4e88\u6e2c\u5024\u3092\u78ba\u7387\u5e2f\u3078\u307e\u3068\u3081\u3001\u5404\u533a\u9593\u306b\u3064\u3044\u3066\u5e73\u5747\u4e88\u6e2c\u78ba\u7387\u3068\u5b9f\u6e2c\u983b\u5ea6\u3092\u6bd4\u8f03\u3059\u308b\u65b9\u6cd5\u304c\u4f7f\u308f\u308c\u308b\u3002<\/p>\n<p>\u305f\u3068\u3048\u3070\u4e88\u6e2c\u78ba\u7387\u3092\u3001<\/p>\n<p>\\[<br \/>\n[0.0,0.1),<br \/>\n[0.1,0.2),<br \/>\n\\ldots,<br \/>\n[0.9,1.0]<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u533a\u9593\u3078\u5206\u5272\u3059\u308b\u30020.8 \u4ee5\u4e0a 0.9 \u672a\u6e80\u306e\u4e88\u6e2c\u304c\u5165\u308b\u96c6\u5408\u3092 \\(B\\) \u3068\u3057\u3001\u305d\u306e\u96c6\u5408\u3067\u306e\u5e73\u5747\u4e88\u6e2c\u78ba\u7387\u3092<\/p>\n<p>\\[<br \/>\n\\operatorname{conf}(B)<br \/>\n=<br \/>\n\\frac{1}{|B|}<br \/>\n\\sum_{i\\in B}<br \/>\nq(x_i)<br \/>\n\\]<\/p>\n<p>\u5b9f\u969b\u306b \\(Y=1\\) \u3060\u3063\u305f\u5272\u5408\u3092<\/p>\n<p>\\[<br \/>\n\\operatorname{acc}(B)<br \/>\n=<br \/>\n\\frac{1}{|B|}<br \/>\n\\sum_{i\\in B}<br \/>\ny_i<br \/>\n\\]<\/p>\n<p>\u3068\u3059\u308c\u3070\u3001\u8f03\u6b63\u3055\u308c\u305f\u30e2\u30c7\u30eb\u3067\u306f\u4e21\u8005\u304c\u8fd1\u3044\u5024\u306b\u306a\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\operatorname{conf}(B)<br \/>\n\\approx<br \/>\n\\operatorname{acc}(B)<br \/>\n\\]<\/p>\n<p>\u305f\u3068\u3048\u3070\u3053\u306e\u533a\u9593\u306e\u5e73\u5747\u4e88\u6e2c\u78ba\u7387\u304c 0.84 \u3067\u3001\u5b9f\u969b\u306e\u767a\u751f\u7387\u3082 0.83 \u306a\u3089\u3001\u5c11\u306a\u304f\u3068\u3082\u305d\u306e\u78ba\u7387\u5e2f\u3067\u306f\u4e88\u6e2c\u5024\u3068\u5b9f\u6e2c\u7d50\u679c\u304c\u8fd1\u3044\u3002\u4e00\u65b9\u3001\u5e73\u5747\u4e88\u6e2c\u78ba\u7387\u304c 0.84 \u306a\u306e\u306b\u5b9f\u6e2c\u767a\u751f\u7387\u304c 0.55 \u306a\u3089\u3001\u30e2\u30c7\u30eb\u306f\u305d\u306e\u9818\u57df\u3067\u5927\u304d\u304f\u904e\u4fe1\u3057\u3066\u3044\u308b\u3002<\/p>\n<p>\u3053\u306e\u3088\u3046\u306a\u78ba\u7387\u5e2f\u3054\u3068\u306e\u95a2\u4fc2\u3092\u56f3\u793a\u3057\u305f\u3082\u306e\u304c reliability diagram \u3067\u3042\u308b\u3002\u7406\u60f3\u7684\u306a\u8f03\u6b63\u3067\u306f\u3001\u4e88\u6e2c\u78ba\u7387\u3092\u6a2a\u8ef8\u3001\u5b9f\u6e2c\u983b\u5ea6\u3092\u7e26\u8ef8\u306b\u53d6\u3063\u305f\u70b9\u304c \\(y=x\\) \u306e\u5bfe\u89d2\u7dda\u4ed8\u8fd1\u306b\u4e26\u3076\u3002\u5bfe\u89d2\u7dda\u3088\u308a\u4e0b\u306b\u4f4d\u7f6e\u3059\u308c\u3070\u4e88\u6e2c\u78ba\u7387\u304c\u5b9f\u6e2c\u983b\u5ea6\u3088\u308a\u9ad8\u304f\u3001\u904e\u4fe1\u3059\u308b\u50be\u5411\u3092\u793a\u3059\u3002\u5bfe\u89d2\u7dda\u3088\u308a\u4e0a\u306a\u3089\u3001\u5b9f\u969b\u306e\u6210\u529f\u983b\u5ea6\u306b\u6bd4\u3079\u3066\u78ba\u7387\u3092\u4f4e\u304f\u898b\u7a4d\u3082\u3063\u3066\u3044\u308b\u3002<\/p>\n<h3>5.4 \u78ba\u7387\u4e88\u6e2c\u306e\u8a55\u4fa1\u3067\u306f calibration \u3068 sharpness \u3092\u5206\u3051\u308b<\/h3>\n<p>\u78ba\u7387\u4e88\u6e2c\u3092\u8a55\u4fa1\u3059\u308b\u8003\u3048\u65b9\u306b\u306f\u9577\u3044\u6b74\u53f2\u304c\u3042\u308b\u3002Brier \u306f 1950 \u5e74\u3001\u5929\u6c17\u4e88\u5831\u306e\u3088\u3046\u306b\u78ba\u7387\u3067\u8868\u73fe\u3055\u308c\u305f\u4e88\u6e2c\u3092\u3001\u5b9f\u969b\u306b\u89b3\u6e2c\u3055\u308c\u305f\u7d50\u679c\u3068\u6bd4\u8f03\u3057\u3066\u8a55\u4fa1\u3059\u308b\u65b9\u6cd5\u3092\u63d0\u793a\u3057\u305f<a href=\"#ref14\">[14]<\/a>\u3002\u5f8c\u306b Brier score \u3068\u547c\u3070\u308c\u308b\u3053\u306e\u8a55\u4fa1\u91cf\u306f\u3001\u4e88\u6e2c\u5024\u304c\u5b9f\u969b\u306e\u7d50\u679c\u304b\u3089\u3069\u308c\u3060\u3051\u96e2\u308c\u305f\u304b\u3092\u6e2c\u308b\u3082\u306e\u3067\u3042\u308a\u3001\u78ba\u7387\u5024\u305d\u306e\u3082\u306e\u3092\u8a55\u4fa1\u5bfe\u8c61\u3078\u542b\u3081\u308b\u3002<\/p>\n<p>Gneiting\u3001Balabdaoui\u3001Raftery \u306f\u3001\u78ba\u7387\u4e88\u6e2c\u306e\u54c1\u8cea\u306b\u3064\u3044\u3066 calibration \u3068 sharpness \u3092\u533a\u5225\u3057\u3001\u300ccalibration \u3092\u6e80\u305f\u3059\u3068\u3044\u3046\u5236\u7d04\u306e\u4e0b\u3067 sharpness \u3092\u6700\u5927\u5316\u3059\u308b\u300d\u3068\u3044\u3046\u8a55\u4fa1\u539f\u7406\u3092\u63d0\u793a\u3057\u3066\u3044\u308b<a href=\"#ref15\">[15]<\/a>\u3002calibration \u306f\u4e88\u6e2c\u5206\u5e03\u3068\u5b9f\u969b\u306e\u89b3\u6e2c\u7d50\u679c\u3068\u306e\u7d71\u8a08\u7684\u4e00\u8cab\u6027\u3092\u8868\u3057\u3001sharpness \u306f\u4e88\u6e2c\u5206\u5e03\u304c\u3069\u306e\u7a0b\u5ea6\u96c6\u4e2d\u3057\u3066\u3044\u308b\u304b\u3092\u8868\u3059\u3002<\/p>\n<p>\u3053\u306e\u4e8c\u3064\u3092\u5206\u3051\u308b\u7406\u7531\u306f\u3001\u5148\u307b\u3069\u306e\u5e38\u306b 0.6 \u3092\u8fd4\u3059\u30e2\u30c7\u30eb\u304b\u3089\u7406\u89e3\u3067\u304d\u308b\u3002\u4e8b\u8c61\u306e\u5168\u4f53\u767a\u751f\u7387\u304c 60% \u306a\u3089\u3001\u305d\u306e\u30e2\u30c7\u30eb\u306f\u8f03\u6b63\u3055\u308c\u5f97\u308b\u3002\u3057\u304b\u3057\u3001\u3069\u306e\u5165\u529b\u306b\u5bfe\u3057\u3066\u3082\u540c\u3058\u5024\u3092\u8fd4\u3059\u305f\u3081\u30010.1 \u3084 0.9 \u306e\u3088\u3046\u306a\u5165\u529b\u56fa\u6709\u306e\u5f37\u3044\u5224\u65ad\u3092\u4e00\u5ea6\u3082\u884c\u308f\u306a\u3044\u3002<\/p>\n<p>\u4e00\u65b9\u3001\u5341\u5206\u306a\u6839\u62e0\u304c\u3042\u308b\u5834\u9762\u3067\u306f 0.01 \u3084 0.99 \u307e\u3067\u78ba\u7387\u3092\u52d5\u304b\u3057\u3001\u305d\u306e\u3046\u3048\u3067 0.99 \u3068\u4e88\u6e2c\u3057\u305f\u96c6\u5408\u304c\u5b9f\u969b\u306b\u7d04 99% \u6b63\u3057\u3044\u30e2\u30c7\u30eb\u306a\u3089\u3001\u8f03\u6b63\u3092\u4fdd\u3061\u306a\u304c\u3089\u3088\u308a\u60c5\u5831\u91cf\u306e\u591a\u3044\u4e88\u6e2c\u3092\u8fd4\u3057\u3066\u3044\u308b\u3002Gneiting \u3089\u304c sharpness \u3092 calibration \u3068\u306f\u5225\u306e\u6027\u8cea\u3068\u3057\u3066\u6271\u3046\u306e\u306f\u3001\u3053\u306e\u5dee\u3092\u8a55\u4fa1\u3059\u308b\u305f\u3081\u3067\u3042\u308b<a href=\"#ref15\">[15]<\/a>\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u6027\u8cea<\/th>\n<th>\u8a55\u4fa1\u3059\u308b\u5bfe\u8c61<\/th>\n<th>\u826f\u3044\u72b6\u614b<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Calibration<\/td>\n<td>\u4e88\u6e2c\u3055\u308c\u305f\u78ba\u7387\u3068\u5b9f\u969b\u306b\u89b3\u6e2c\u3055\u308c\u305f\u983b\u5ea6\u3068\u306e\u5bfe\u5fdc\u3092\u898b\u308b\u3002<\/td>\n<td>0.8 \u3068\u4e88\u6e2c\u3057\u305f\u96c6\u5408\u3067\u3001\u5b9f\u969b\u306b\u3082\u7d04 80% \u306e\u4e8b\u8c61\u304c\u767a\u751f\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>Sharpness<\/td>\n<td>\u4e88\u6e2c\u5206\u5e03\u304c\u3069\u306e\u7a0b\u5ea6\u660e\u78ba\u306b\u96c6\u4e2d\u3057\u3066\u3044\u308b\u304b\u3092\u898b\u308b\u3002<\/td>\n<td>\u6839\u62e0\u304c\u3042\u308b\u4e8b\u4f8b\u3067\u306f\u30010.5 \u4ed8\u8fd1\u3078\u7559\u307e\u308a\u7d9a\u3051\u305a\u30010 \u3084 1 \u306b\u8fd1\u3044\u60c5\u5831\u91cf\u306e\u9ad8\u3044\u4e88\u6e2c\u3092\u8fd4\u3059\u3002<\/td>\n<\/tr>\n<tr>\n<td>Accuracy<\/td>\n<td>\u6700\u7d42\u7684\u306a\u5206\u985e\u7d50\u679c\u304c\u6b63\u89e3\u3057\u305f\u5272\u5408\u3092\u898b\u308b\u3002<\/td>\n<td>\u9078\u629e\u3057\u305f\u30af\u30e9\u30b9\u304c\u5b9f\u969b\u306e\u6b63\u89e3\u3068\u9ad8\u3044\u5272\u5408\u3067\u4e00\u81f4\u3059\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u3053\u306e\u4e09\u3064\u306f\u540c\u3058\u8a55\u4fa1\u91cf\u3067\u306f\u306a\u3044\u3002\u9ad8\u3044 accuracy \u3092\u6301\u3064\u30e2\u30c7\u30eb\u3067\u3082 confidence \u304c\u904e\u5927\u306a\u3089 calibration \u306f\u60aa\u5316\u3059\u308b\u3002\u9006\u306b\u3001\u5e38\u306b\u57fa\u790e\u767a\u751f\u7387\u3060\u3051\u3092\u8fd4\u3059\u30e2\u30c7\u30eb\u306f calibration \u3092\u6e80\u305f\u3057\u5f97\u308b\u304c\u3001\u5165\u529b\u3054\u3068\u306e\u8b58\u5225\u80fd\u529b\u306f\u4f4e\u3044\u3002\u78ba\u7387\u7684\u5224\u65ad\u3092\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u3078\u7d44\u307f\u8fbc\u3080\u5834\u5408\u3001\u3069\u306e\u6027\u8cea\u3092\u4fdd\u8a3c\u3057\u305f\u3044\u306e\u304b\u3092\u5206\u3051\u3066\u8a55\u4fa1\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002<\/p>\n<h3>5.5 \u591a\u30af\u30e9\u30b9\u554f\u984c\u3067\u3082\u5404\u30af\u30e9\u30b9\u306b\u3064\u3044\u3066\u8f03\u6b63\u3092\u5b9a\u7fa9\u3067\u304d\u308b<\/h3>\n<p>\u5224\u65ad\u5019\u88dc\u304c\u4e8c\u3064\u3092\u8d85\u3048\u308b\u5834\u5408\u3001\u771f\u306e\u72b6\u614b\u3092 \\(Y\\in\\{1,\\ldots,K\\}\\) \u3068\u3057\u3001\u30e2\u30c7\u30eb\u304c\u5404\u30af\u30e9\u30b9\u3078\u8fd4\u3059\u78ba\u7387\u3092<\/p>\n<p>\\[<br \/>\nq_1(X),q_2(X),\\ldots,q_K(X)<br \/>\n\\]<\/p>\n<p>\u3068\u3059\u308b\u3002\u901a\u5e38\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\sum_{k=1}^{K}q_k(X)=1<br \/>\n\\]<\/p>\n<p>\u3092\u6e80\u305f\u3059\u78ba\u7387\u5206\u5e03\u3068\u3057\u3066\u6271\u3046\u3002<\/p>\n<p>\u30af\u30e9\u30b9 \\(k\\) \u306b\u3064\u3044\u3066\u4e8c\u5024\u554f\u984c\u3068\u540c\u3058\u8003\u3048\u65b9\u3092\u9069\u7528\u3059\u308b\u3068\u3001classwise calibration \u306f\u6b21\u306e\u3088\u3046\u306b\u66f8\u3051\u308b\u3002<\/p>\n<p>\\[<br \/>\nP(Y=k\\mid q_k(X)=p)=p<br \/>\n\\]<\/p>\n<p>\u305f\u3068\u3048\u3070\u8acb\u6c42\u3001\u6280\u8853\u3001\u55b6\u696d\u3068\u3044\u3046 3 \u30af\u30e9\u30b9\u3092\u6301\u3064\u5206\u985e\u3067\u3001\u8acb\u6c42\u30af\u30e9\u30b9\u3078 0.8 \u3092\u4e0e\u3048\u305f\u4e8b\u4f8b\u3060\u3051\u3092\u96c6\u3081\u305f\u3068\u304d\u3001\u305d\u306e\u7d04 80% \u304c\u5b9f\u969b\u306b\u3082\u8acb\u6c42\u30af\u30e9\u30b9\u306a\u3089\u3001\u8acb\u6c42\u30af\u30e9\u30b9\u306b\u3064\u3044\u3066\u305d\u306e\u78ba\u7387\u5e2f\u306f\u8f03\u6b63\u3055\u308c\u3066\u3044\u308b\u3002<\/p>\n<p>\u591a\u30af\u30e9\u30b9\u3067\u306f\u3001\u6700\u5927\u78ba\u7387\u3060\u3051\u3092\u4f7f\u3063\u3066\u300c\u9078\u629e\u3057\u305f\u30af\u30e9\u30b9\u304c\u6b63\u3057\u3044\u78ba\u7387\u300d\u3092\u8f03\u6b63\u3059\u308b\u65b9\u6cd5\u3068\u3001\u5404\u30af\u30e9\u30b9\u306e\u78ba\u7387\u3092\u500b\u5225\u306b\u8a55\u4fa1\u3059\u308b\u65b9\u6cd5\u306f\u5225\u306e\u6761\u4ef6\u306b\u306a\u308b\u3002Jev \u306e Choice \u304c\u5019\u88dc\u3054\u3068\u306e probabilities \u3068\u3001\u305d\u308c\u3068\u306f\u5225\u306b confidence \u3092\u8fd4\u3057\u3066\u3044\u308b\u3053\u3068\u3092\u8003\u3048\u308b\u3068\u3001\u3053\u306e\u533a\u5225\u306f\u7279\u306b\u91cd\u8981\u306b\u306a\u308b<a href=\"#ref1\">[1]<\/a>\u3002TypeSafe \u304c\u516c\u958b\u3057\u3066\u3044\u308b\u8cc7\u6599\u304b\u3089\u306f\u3001Jev \u306e confidence \u304c\u3053\u308c\u3089\u306e\u3069\u306e calibration \u5b9a\u7fa9\u3078\u53b3\u5bc6\u306b\u5bfe\u5fdc\u3059\u308b\u304b\u307e\u3067\u306f\u78ba\u8a8d\u3067\u304d\u306a\u3044\u3002<\/p>\n<h3>5.6 \u9ad8\u3044\u5206\u985e\u7cbe\u5ea6\u304b\u3089\u6b63\u3057\u3044 confidence \u306f\u81ea\u52d5\u7684\u306b\u306f\u5f97\u3089\u308c\u306a\u3044<\/h3>\n<p>\u6df1\u5c64\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3067\u306f\u3001\u5206\u985e\u7cbe\u5ea6\u304c\u9ad8\u304f\u3066\u3082 confidence \u304c\u5b9f\u969b\u306e\u6b63\u89e3\u7387\u3068\u5bfe\u5fdc\u3057\u306a\u3044\u5834\u5408\u304c\u3042\u308b\u3002Guo \u3089\u306f\u753b\u50cf\u5206\u985e\u3068\u6587\u66f8\u5206\u985e\u306e\u30e2\u30c7\u30eb\u3092\u8abf\u3079\u3001\u73fe\u4ee3\u7684\u306a\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u304c\u9ad8\u3044\u5206\u985e\u6027\u80fd\u3092\u6301\u3061\u306a\u304c\u3089 poorly calibrated \u306b\u306a\u308b\u5834\u5408\u3092\u5831\u544a\u3057\u305f<a href=\"#ref16\">[16]<\/a>\u3002<\/p>\n<p>\u5206\u985e\u5668\u304c\u5404\u30af\u30e9\u30b9\u306b\u3064\u3044\u3066 logit \\(z_k\\) \u3092\u51fa\u3057\u3066\u3044\u308b\u5834\u5408\u3001softmax \u306b\u3088\u308b\u78ba\u7387\u306f\u3001<\/p>\n<p>\\[<br \/>\nq_k<br \/>\n=<br \/>\n\\frac{\\exp(z_k)}<br \/>\n{\\sum_j \\exp(z_j)}<br \/>\n\\]<\/p>\n<p>\u3067\u5f97\u3089\u308c\u308b\u3002Guo \u3089\u304c\u8a55\u4fa1\u3057\u305f temperature scaling \u3067\u306f\u3001\u5b66\u7fd2\u6e08\u307f\u30e2\u30c7\u30eb\u306e logit \u3092\u6e29\u5ea6 \\(T&gt;0\\) \u3067\u5272\u308a\u3001<\/p>\n<p>\\[<br \/>\nq_k^{(T)}<br \/>\n=<br \/>\n\\frac{\\exp(z_k\/T)}<br \/>\n{\\sum_j\\exp(z_j\/T)}<br \/>\n\\]<\/p>\n<p>\u3068\u3057\u3066\u78ba\u7387\u3092\u518d\u8a08\u7b97\u3059\u308b<a href=\"#ref16\">[16]<\/a>\u3002\\(T\\) \u306f\u691c\u8a3c\u30c7\u30fc\u30bf\u4e0a\u3067\u8abf\u6574\u3059\u308b\u5358\u4e00\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u30fc\u3067\u3042\u308a\u3001\u5143\u306e\u30af\u30e9\u30b9\u9806\u4f4d\u3092\u7dad\u6301\u3057\u305f\u307e\u307e\u78ba\u7387\u5206\u5e03\u306e\u96c6\u4e2d\u5ea6\u3092\u5909\u3048\u3089\u308c\u308b\u3002<\/p>\n<p>\u3053\u306e\u4f8b\u306f\u3001\u5206\u985e\u7d50\u679c\u3068\u78ba\u7387\u5024\u304c\u5225\u3005\u306b\u8abf\u6574\u53ef\u80fd\u306a\u6027\u8cea\u3067\u3042\u308b\u3053\u3068\u3092\u793a\u3059\u3002\u6700\u5927 logit \u306e\u30af\u30e9\u30b9\u81ea\u4f53\u3092\u5909\u3048\u305a\u306b confidence \u306e\u5024\u3092\u4fee\u6b63\u3067\u304d\u308b\u305f\u3081\u3001accuracy \u3092\u307b\u307c\u7dad\u6301\u3057\u305f\u307e\u307e calibration \u3092\u6539\u5584\u3067\u304d\u308b\u5834\u5408\u304c\u3042\u308b\u3002<\/p>\n<h3>5.7 Jev \u306e confidence \u3092\u8a55\u4fa1\u3059\u308b\u306b\u306f\u6570\u5024\u3068\u5b9f\u6e2c\u6b63\u89e3\u7387\u306e\u5bfe\u5fdc\u3092\u898b\u308b\u5fc5\u8981\u304c\u3042\u308b<\/h3>\n<p>TypeSafe \u306f Jev \u306b\u3064\u3044\u3066\u3001\u3059\u3079\u3066\u306e\u51fa\u529b\u306b calibrated probabilities \u3068 confidence scores \u304c\u4ed8\u968f\u3057\u3001confidence \u304c\u9ad8\u3044\u307b\u3069 accuracy \u3082\u9ad8\u304f\u306a\u308b\u3068\u8aac\u660e\u3057\u3066\u3044\u308b<a href=\"#ref1\">[1]<\/a>\u3002\u3053\u306e\u4e3b\u5f35\u3092\u78ba\u7387\u8f03\u6b63\u306e\u6587\u8108\u3067\u8aad\u3080\u5834\u5408\u3001\u6ce8\u76ee\u3059\u3079\u304d\u5bfe\u8c61\u306f confidence \u3068\u3044\u3046\u30d5\u30a3\u30fc\u30eb\u30c9\u306e\u5b58\u5728\u305d\u306e\u3082\u306e\u3067\u306f\u306a\u304f\u3001\u305d\u306e\u6570\u5024\u3068\u5b9f\u969b\u306e\u6b63\u89e3\u7387\u3068\u306e\u5bfe\u5fdc\u3067\u3042\u308b\u3002<\/p>\n<p>\u305f\u3068\u3048\u3070 confidence 0.9 \u306e\u5224\u65ad\u3092\u591a\u6570\u96c6\u3081\u305f\u3068\u304d\u3001\u305d\u306e\u7d04 90% \u304c\u6b63\u3057\u3044\u3068\u3044\u3046\u95a2\u4fc2\u307e\u3067\u6210\u7acb\u3059\u308b\u306a\u3089\u3001<\/p>\n<p>\\[<br \/>\nP(\\mathrm{correct}\\mid C=0.9)<br \/>\n\\approx<br \/>\n0.9<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u5f37\u3044\u610f\u5473\u3067 confidence \u3092\u78ba\u7387\u3068\u3057\u3066\u89e3\u91c8\u3067\u304d\u308b\u3002\u4e00\u65b9\u3001\u300cconfidence \u304c\u9ad8\u3044\u7fa4\u307b\u3069 accuracy \u3082\u9ad8\u3044\u300d\u3068\u3044\u3046\u5358\u8abf\u306a\u9806\u4f4d\u95a2\u4fc2\u3060\u3051\u306a\u3089\u3001<\/p>\n<p>\\[<br \/>\nc_1&lt;c_2<br \/>\n\\quad\\Longrightarrow\\quad<br \/>\nP(\\mathrm{correct}\\mid C=c_1)<br \/>\n&lt;<br \/>\nP(\\mathrm{correct}\\mid C=c_2)<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u6027\u8cea\u307e\u3067\u306f\u793a\u305b\u3066\u3082\u3001confidence 0.9 \u304c\u6b63\u89e3\u7387 90% \u306b\u5bfe\u5fdc\u3059\u308b\u3053\u3068\u307e\u3067\u306f\u5c0e\u3051\u306a\u3044\u3002\u9806\u4f4d\u306e\u6574\u5408\u6027\u3068\u78ba\u7387\u8f03\u6b63\u306f\u7570\u306a\u308b\u6761\u4ef6\u3067\u3042\u308b\u3002<\/p>\n<p>2026 \u5e74 9 \u6708 18 \u65e5\u6642\u70b9\u3067\u3001TypeSafe \u306f RLCD \u304c calibrated decisions \u3092\u6700\u9069\u5316\u3059\u308b\u3068\u8aac\u660e\u3057\u3066\u3044\u308b\u304c\u3001\u3069\u306e calibration \u5b9a\u7fa9\u3092\u63a1\u7528\u3057\u3001probability \u3068 confidence \u3092\u3069\u306e\u640d\u5931\u95a2\u6570\u3067\u5b66\u7fd2\u3057\u3001\u3069\u306e\u6307\u6a19\u3067\u8f03\u6b63\u8aa4\u5dee\u3092\u8a55\u4fa1\u3057\u3066\u3044\u308b\u304b\u3068\u3044\u3046\u6280\u8853\u8a73\u7d30\u306f\u516c\u958b\u3057\u3066\u3044\u306a\u3044<a href=\"#ref1\">[1]<\/a>\u3002\u305d\u306e\u305f\u3081\u3001Jev \u306e\u516c\u958b\u8aac\u660e\u3092\u65e2\u5b58\u7406\u8ad6\u3078\u63a5\u7d9a\u3059\u308b\u3068\u304d\u306f\u3001\u300c\u9ad8\u3044 confidence \u3068\u9ad8\u3044 accuracy \u304c\u5bfe\u5fdc\u3059\u308b\u300d\u3068\u3044\u3046\u516c\u958b\u6e08\u307f\u306e\u6027\u8cea\u3068\u3001\u300cconfidence \u306e\u6570\u5024\u305d\u306e\u3082\u306e\u304c\u5b9f\u6e2c\u6b63\u89e3\u7387\u306b\u4e00\u81f4\u3059\u308b\u300d\u3068\u3044\u3046\u53b3\u5bc6\u306a\u78ba\u7387\u8f03\u6b63\u3092\u533a\u5225\u3057\u3066\u6271\u3046\u5fc5\u8981\u304c\u3042\u308b\u3002<\/p>\n<p>\u78ba\u7387\u5024\u3078\u5b9f\u6e2c\u983b\u5ea6\u3068\u3057\u3066\u306e\u610f\u5473\u3092\u6301\u305f\u305b\u308b\u306b\u306f\u3001\u6b63\u89e3\u7387\u3060\u3051\u3092\u898b\u308b\u3088\u308a\u5f37\u3044\u8a55\u4fa1\u304c\u5fc5\u8981\u306b\u306a\u308b\u3002\u6b21\u7bc0\u3067\u306f\u3001\u305d\u306e\u78ba\u7387\u3092\u3069\u306e\u3088\u3046\u306a\u640d\u5931\u95a2\u6570\u3067\u5b66\u7fd2\u3059\u308c\u3070\u3001\u771f\u306e\u5206\u5e03\u3092\u6b63\u76f4\u306b\u7533\u544a\u3059\u308b\u3053\u3068\u304c\u6700\u9069\u306b\u306a\u308b\u306e\u304b\u3092 proper scoring rule \u306e\u6570\u7406\u304b\u3089\u78ba\u8a8d\u3059\u308b\u3002<\/p>\n<hr>\n<h2>6. Proper scoring rule \u306f\u78ba\u7387\u3092\u6b63\u76f4\u306b\u7533\u544a\u3059\u308b\u52d5\u6a5f\u3092\u4f5c\u308b<\/h2>\n<p>\u78ba\u7387\u4e88\u6e2c\u3067\u306f\u3001\u6b63\u89e3\u3057\u305f\u304b\u3069\u3046\u304b\u3060\u3051\u3092\u8a55\u4fa1\u3057\u3066\u3082\u30010.6 \u3068 0.9 \u306e\u3069\u3061\u3089\u304c\u9069\u5207\u306a\u78ba\u7387\u3060\u3063\u305f\u304b\u3092\u5224\u5b9a\u3067\u304d\u306a\u3044\u3002\u305f\u3068\u3048\u3070\u4e8c\u3064\u306e\u30e2\u30c7\u30eb\u304c\u540c\u3058\u30af\u30e9\u30b9\u3092\u9078\u629e\u3057\u3001\u3069\u3061\u3089\u3082\u6b63\u89e3\u3057\u305f\u3068\u3057\u3066\u3082\u3001\u4e00\u65b9\u304c 0.6\u3001\u3082\u3046\u4e00\u65b9\u304c 0.99 \u3092\u51fa\u3057\u3066\u3044\u308c\u3070\u3001\u4e0d\u78ba\u5b9f\u6027\u306e\u8868\u73fe\u306b\u306f\u5927\u304d\u306a\u5dee\u304c\u3042\u308b\u3002\u3053\u306e\u78ba\u7387\u5024\u305d\u306e\u3082\u306e\u3092\u8a55\u4fa1\u3059\u308b\u305f\u3081\u306b\u4f7f\u308f\u308c\u308b\u8003\u3048\u65b9\u306e\u4e00\u3064\u304c proper scoring rule \u3067\u3042\u308b\u3002<\/p>\n<p>Gneiting \u3068 Raftery \u306f\u3001\u4e88\u6e2c\u8005\u304c\u771f\u306e\u78ba\u7387\u5206\u5e03\u3092\u7533\u544a\u3057\u305f\u3068\u304d\u306b\u671f\u5f85\u30b9\u30b3\u30a2\u304c\u6700\u9069\u306b\u306a\u308b scoring rule \u3092 proper\u3001\u305d\u306e\u6700\u9069\u89e3\u304c\u771f\u306e\u5206\u5e03\u306b\u9650\u3089\u308c\u308b\u3082\u306e\u3092 strictly proper \u3068\u5b9a\u7fa9\u3057\u3066\u3044\u308b<a href=\"#ref17\">[17]<\/a>\u3002\u6587\u732e\u306b\u3088\u3063\u3066\u30b9\u30b3\u30a2\u3092\u6700\u5927\u5316\u3059\u308b\u6d41\u5100\u3068\u640d\u5931\u3092\u6700\u5c0f\u5316\u3059\u308b\u6d41\u5100\u304c\u3042\u308b\u304c\u3001\u672c\u7a3f\u3067\u306f\u6a5f\u68b0\u5b66\u7fd2\u3067\u4e00\u822c\u7684\u306a\u640d\u5931\u6700\u5c0f\u5316\u306e\u8a18\u6cd5\u3092\u4f7f\u3046\u3002<\/p>\n<h3>6.1 Strictly proper \u3067\u306f\u771f\u306e\u5206\u5e03\u304c\u671f\u5f85\u640d\u5931\u306e\u4e00\u610f\u306a\u6700\u5c0f\u70b9\u306b\u306a\u308b<\/h3>\n<p>\u591a\u30af\u30e9\u30b9\u5206\u985e\u3092\u8003\u3048\u308b\u3002\u5165\u529b \\(x\\) \u304c\u4e0e\u3048\u3089\u308c\u305f\u3068\u304d\u3001\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u5206\u5e03\u3092<\/p>\n<p>\\[<br \/>\np_k<br \/>\n=<br \/>\nP(Y=k\\mid X=x)<br \/>\n\\]<\/p>\n<p>\u30e2\u30c7\u30eb\u304c\u7533\u544a\u3059\u308b\u4e88\u6e2c\u5206\u5e03\u3092<\/p>\n<p>\\[<br \/>\nq_k<br \/>\n=<br \/>\nq_\\theta(Y=k\\mid X=x)<br \/>\n\\]<\/p>\n<p>\u3068\u3059\u308b\u3002\u30af\u30e9\u30b9\u6570\u3092 \\(K\\) \u3068\u3059\u308c\u3070\u3001\u3069\u3061\u3089\u3082<\/p>\n<p>\\[<br \/>\n\\sum_{k=1}^{K}p_k<br \/>\n=<br \/>\n\\sum_{k=1}^{K}q_k<br \/>\n=<br \/>\n1<br \/>\n\\]<\/p>\n<p>\u3092\u6e80\u305f\u3059\u3002<\/p>\n<p>\u5b9f\u969b\u306b\u30af\u30e9\u30b9 \\(Y=y\\) \u304c\u89b3\u6e2c\u3055\u308c\u305f\u3068\u304d\u3001\u4e88\u6e2c\u5206\u5e03 \\(q\\) \u306b\u640d\u5931 \\(\\mathcal{L}(q,y)\\) \u3092\u4e0e\u3048\u308b\u3068\u3059\u308b\u3002\u771f\u306e\u5206\u5e03\u304c \\(p\\) \u3067\u3042\u308b\u3068\u304d\u306e\u671f\u5f85\u640d\u5931\u306f\u3001<\/p>\n<p>\\[<br \/>\nR_p(q)<br \/>\n=<br \/>\n\\mathbb{E}_{Y\\sim p}<br \/>\n\\left[<br \/>\n\\mathcal{L}(q,Y)<br \/>\n\\right]<br \/>\n=<br \/>\n\\sum_{k=1}^{K}<br \/>\np_k\\mathcal{L}(q,k)<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u640d\u5931\u5f62\u5f0f\u3067\u66f8\u3044\u305f proper scoring rule \u306f\u3001\u3059\u3079\u3066\u306e \\(q\\) \u306b\u3064\u3044\u3066<\/p>\n<p>\\[<br \/>\nR_p(p)<br \/>\n\\le<br \/>\nR_p(q)<br \/>\n\\]<\/p>\n<p>\u3092\u6e80\u305f\u3059\u3002\u3064\u307e\u308a\u771f\u306e\u5206\u5e03 \\(p\\) \u3092\u305d\u306e\u307e\u307e\u4e88\u6e2c\u3057\u305f\u3068\u304d\u3001\u671f\u5f85\u640d\u5931\u304c\u5c11\u306a\u304f\u3068\u3082\u4ed6\u306e\u7533\u544a\u3088\u308a\u60aa\u304f\u306a\u3089\u306a\u3044\u3002strictly proper \u3067\u306f\u3001\u3055\u3089\u306b<\/p>\n<p>\\[<br \/>\nR_p(p)<br \/>\n=<br \/>\nR_p(q)<br \/>\n\\quad\\Longrightarrow\\quad<br \/>\nq=p<br \/>\n\\]<\/p>\n<p>\u304c\u6210\u7acb\u3059\u308b\u3002\u771f\u306e\u5206\u5e03\u3092\u7533\u544a\u3059\u308b\u3053\u3068\u304c\u4e00\u610f\u306a\u6700\u9069\u89e3\u306b\u306a\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u7a2e\u985e<\/th>\n<th>\u671f\u5f85\u640d\u5931\u306b\u8981\u6c42\u3055\u308c\u308b\u6761\u4ef6<\/th>\n<th>\u610f\u5473<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Proper<\/td>\n<td>\\(R_p(p)\\le R_p(q)\\) \u304c\u3059\u3079\u3066\u306e \\(q\\) \u306b\u3064\u3044\u3066\u6210\u7acb\u3059\u308b\u3002<\/td>\n<td>\u771f\u306e\u5206\u5e03\u3092\u7533\u544a\u3059\u308b\u3053\u3068\u3067\u671f\u5f85\u640d\u5931\u3092\u6700\u5c0f\u306b\u3067\u304d\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>Strictly proper<\/td>\n<td>\\(R_p(p)=R_p(q)\\) \u3068\u306a\u308b\u306e\u304c \\(q=p\\) \u306e\u5834\u5408\u306b\u9650\u3089\u308c\u308b\u3002<\/td>\n<td>\u771f\u306e\u5206\u5e03\u304c\u671f\u5f85\u640d\u5931\u306e\u4e00\u610f\u306a\u6700\u9069\u89e3\u306b\u306a\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u3053\u306e\u6027\u8cea\u304c\u300c\u6b63\u76f4\u306a\u78ba\u7387\u7533\u544a\u300d\u3068\u3044\u3046\u8868\u73fe\u306e\u6570\u7406\u7684\u306a\u610f\u5473\u306b\u306a\u308b\u3002\u30e2\u30c7\u30eb\u304c\u5185\u90e8\u7684\u306b 70% \u3068\u8a55\u4fa1\u3059\u3079\u304d\u4e8b\u8c61\u306b\u3064\u3044\u3066\u300190% \u3068\u904e\u4fe1\u3057\u305f\u308a 50% \u3068\u904e\u5c0f\u8a55\u4fa1\u3057\u305f\u308a\u3059\u308b\u3088\u308a\u300170% \u3092\u305d\u306e\u307e\u307e\u51fa\u3059\u65b9\u304c\u671f\u5f85\u640d\u5931\u3092\u5c0f\u3055\u304f\u3067\u304d\u308b\u3088\u3046\u306b\u8a55\u4fa1\u95a2\u6570\u3092\u8a2d\u8a08\u3059\u308b\u3002<\/p>\n<h3>6.2 \u5bfe\u6570\u640d\u5931\u3067\u306f\u771f\u306e\u5206\u5e03\u304b\u3089\u306e\u305a\u308c\u304c KL \u30c0\u30a4\u30d0\u30fc\u30b8\u30a7\u30f3\u30b9\u3068\u3057\u3066\u73fe\u308c\u308b<\/h3>\n<p>\u4ee3\u8868\u7684\u306a strictly proper scoring rule \u306e\u4e00\u3064\u304c\u5bfe\u6570\u30b9\u30b3\u30a2\u3067\u3042\u308b<a href=\"#ref17\">[17]<\/a>\u3002\u640d\u5931\u3068\u3057\u3066\u66f8\u3051\u3070\u3001\u5b9f\u969b\u306b\u89b3\u6e2c\u3055\u308c\u305f\u30af\u30e9\u30b9\u304c \\(y\\) \u306e\u3068\u304d\u3001<\/p>\n<p>\\[<br \/>\n\\mathcal{L}_{\\log}(q,y)<br \/>\n=<br \/>\n-\\log q_y<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u5b9f\u969b\u306b\u8d77\u304d\u305f\u4e8b\u8c61\u3078\u9ad8\u3044\u78ba\u7387\u3092\u4e0e\u3048\u308b\u307b\u3069\u640d\u5931\u306f\u5c0f\u3055\u304f\u306a\u308a\u3001\u4f4e\u3044\u78ba\u7387\u3057\u304b\u4e0e\u3048\u3066\u3044\u306a\u3051\u308c\u3070\u5927\u304d\u306a\u640d\u5931\u3092\u53d7\u3051\u308b\u3002\u7279\u306b \\(q_y\\) \u304c 0 \u306b\u8fd1\u3065\u304f\u3068 \\(-\\log q_y\\) \u306f\u6025\u901f\u306b\u5927\u304d\u304f\u306a\u308b\u305f\u3081\u3001\u8d77\u3053\u308a\u5f97\u308b\u4e8b\u8c61\u3078\u6975\u7aef\u306b\u4f4e\u3044\u78ba\u7387\u3092\u5272\u308a\u5f53\u3066\u308b\u904e\u4fe1\u306b\u306f\u5927\u304d\u306a\u30da\u30ca\u30eb\u30c6\u30a3\u30fc\u304c\u4e0e\u3048\u3089\u308c\u308b\u3002<\/p>\n<p>\u771f\u306e\u5206\u5e03 \\(p\\) \u306e\u4e0b\u3067\u671f\u5f85\u5024\u3092\u53d6\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\nR_p(q)<br \/>\n=<br \/>\n\\mathbb{E}_{Y\\sim p}<br \/>\n\\left[<br \/>\n\\mathcal{L}_{\\log}(q,Y)<br \/>\n\\right]<br \/>\n=<br \/>\n-\\sum_{k=1}^{K}<br \/>\np_k\\log q_k<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u3053\u306e\u91cf\u306f\u3001\u771f\u306e\u5206\u5e03 \\(p\\) \u306e\u30a8\u30f3\u30c8\u30ed\u30d4\u30fc<\/p>\n<p>\\[<br \/>\nH(p)<br \/>\n=<br \/>\n-\\sum_{k=1}^{K}<br \/>\np_k\\log p_k<br \/>\n\\]<\/p>\n<p>\u3068\u3001\\(p\\) \u304b\u3089 \\(q\\) \u3078\u306e KL \u30c0\u30a4\u30d0\u30fc\u30b8\u30a7\u30f3\u30b9<\/p>\n<p>\\[<br \/>\nD_{\\mathrm{KL}}(p\\Vert q)<br \/>\n=<br \/>\n\\sum_{k=1}^{K}<br \/>\np_k<br \/>\n\\log<br \/>\n\\frac{p_k}{q_k}<br \/>\n\\]<\/p>\n<p>\u3092\u4f7f\u3063\u3066\u3001<\/p>\n<p>\\[<br \/>\n-\\sum_k p_k\\log q_k<br \/>\n=<br \/>\nH(p)<br \/>\n+<br \/>\nD_{\\mathrm{KL}}(p\\Vert q)<br \/>\n\\]<\/p>\n<p>\u3068\u5206\u89e3\u3067\u304d\u308b\u3002<\/p>\n<p>\\(H(p)\\) \u306f\u771f\u306e\u5206\u5e03\u3060\u3051\u3067\u6c7a\u307e\u308a\u3001\u30e2\u30c7\u30eb\u304c\u7533\u544a\u3059\u308b \\(q\\) \u306b\u306f\u4f9d\u5b58\u3057\u306a\u3044\u3002\u4e00\u65b9\u3001KL \u30c0\u30a4\u30d0\u30fc\u30b8\u30a7\u30f3\u30b9\u306f\u5e38\u306b<\/p>\n<p>\\[<br \/>\nD_{\\mathrm{KL}}(p\\Vert q)<br \/>\n\\ge<br \/>\n0<br \/>\n\\]<\/p>\n<p>\u3067\u3042\u308a\u3001<\/p>\n<p>\\[<br \/>\nD_{\\mathrm{KL}}(p\\Vert q)=0<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u306e\u306f \\(p=q\\) \u306e\u5834\u5408\u3067\u3042\u308b\u3002\u3057\u305f\u304c\u3063\u3066\u3001\u671f\u5f85\u5bfe\u6570\u640d\u5931\u306f<\/p>\n<p>\\[<br \/>\nq=p<br \/>\n\\]<\/p>\n<p>\u3067\u4e00\u610f\u306b\u6700\u5c0f\u306b\u306a\u308b\u3002<\/p>\n<p>\u3053\u306e\u5206\u89e3\u3067\u306f\u3001\u771f\u306e\u5206\u5e03\u304b\u3089\u5916\u308c\u305f\u78ba\u7387\u3092\u7533\u544a\u3057\u305f\u3053\u3068\u306b\u3088\u308b\u8ffd\u52a0\u640d\u5931\u304c\u3001\u305d\u306e\u307e\u307e \\(D_{\\mathrm{KL}}(p\\Vert q)\\) \u3068\u3057\u3066\u73fe\u308c\u308b\u3002<\/p>\n<p>\\[<br \/>\nR_p(q)-R_p(p)<br \/>\n=<br \/>\nD_{\\mathrm{KL}}(p\\Vert q)<br \/>\n\\]<\/p>\n<p>\u771f\u306e\u78ba\u7387\u5206\u5e03\u3092\u4e88\u6e2c\u3057\u305f\u5834\u5408\u306e\u640d\u5931\u3092\u57fa\u6e96\u306b\u3059\u308b\u3068\u3001\u305d\u308c\u4ee5\u5916\u306e\u5206\u5e03\u3092\u7533\u544a\u3057\u305f\u3053\u3068\u306b\u3088\u308b\u4f59\u5206\u306a\u640d\u5931\u3092\u660e\u793a\u3067\u304d\u308b\u3002<\/p>\n<h3>6.3 \u771f\u306e\u78ba\u7387\u304c 0.7 \u306a\u3089 0.7 \u3092\u7533\u544a\u3059\u308b\u65b9\u304c\u671f\u5f85\u5bfe\u6570\u640d\u5931\u306f\u5c0f\u3055\u3044<\/h3>\n<p>\u4e8c\u5024\u4e8b\u8c61\u3067\u5177\u4f53\u7684\u306b\u78ba\u8a8d\u3059\u308b\u3002\u4e8b\u8c61 \\(Y=1\\) \u306e\u771f\u306e\u78ba\u7387\u3092<\/p>\n<p>\\[<br \/>\np=0.7<br \/>\n\\]<\/p>\n<p>\u3068\u3059\u308b\u3002\u30e2\u30c7\u30eb\u304c \\(Y=1\\) \u306e\u78ba\u7387\u3068\u3057\u3066 \\(q\\) \u3092\u7533\u544a\u3057\u305f\u5834\u5408\u3001\u671f\u5f85\u5bfe\u6570\u640d\u5931\u306f<\/p>\n<p>\\[<br \/>\nR_{0.7}(q)<br \/>\n=<br \/>\n-0.7\\log q<br \/>\n&#8211;<br \/>\n0.3\\log(1-q)<br \/>\n\\]<\/p>\n<p>\u306b\u306a\u308b\u3002<\/p>\n<p>\u771f\u306e\u78ba\u7387\u3068\u540c\u3058 \\(q=0.7\\) \u3092\u7533\u544a\u3059\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\nR_{0.7}(0.7)<br \/>\n\\approx<br \/>\n0.611<br \/>\n\\]<\/p>\n<p>\u3067\u3042\u308b\u3002\u4e94\u5206\u4e94\u5206\u306e \\(q=0.5\\) \u3068\u7533\u544a\u3059\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\nR_{0.7}(0.5)<br \/>\n\\approx<br \/>\n0.693<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308a\u3001\u671f\u5f85\u640d\u5931\u306f\u5927\u304d\u304f\u306a\u308b\u3002\u3055\u3089\u306b 90% \u3068\u904e\u4fe1\u3057\u3066 \\(q=0.9\\) \u3068\u7533\u544a\u3059\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\nR_{0.7}(0.9)<br \/>\n\\approx<br \/>\n0.765<br \/>\n\\]<\/p>\n<p>\u307e\u3067\u5897\u3048\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u7533\u544a\u78ba\u7387 \\(q\\)<\/th>\n<th>\u771f\u306e\u78ba\u7387 \\(p\\)<\/th>\n<th>\u671f\u5f85\u5bfe\u6570\u640d\u5931<\/th>\n<th>\u72b6\u614b<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>0.5<\/td>\n<td>0.7<\/td>\n<td>\u7d04 0.693<\/td>\n<td>\u771f\u306e\u78ba\u7387\u3092\u904e\u5c0f\u8a55\u4fa1\u3057\u3066\u3044\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>0.7<\/td>\n<td>0.7<\/td>\n<td>\u7d04 0.611<\/td>\n<td>\u671f\u5f85\u640d\u5931\u304c\u6700\u5c0f\u306b\u306a\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>0.9<\/td>\n<td>0.7<\/td>\n<td>\u7d04 0.765<\/td>\n<td>\u771f\u306e\u78ba\u7387\u3092\u904e\u5927\u8a55\u4fa1\u3057\u3066\u3044\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u3053\u306e\u4f8b\u3067\u306f\u6b63\u89e3\u30af\u30e9\u30b9\u3060\u3051\u3092\u5f53\u3066\u308b\u306a\u3089\u30010.7 \u3082 0.9 \u3082\u540c\u3058 \\(Y=1\\) \u3092\u9078\u629e\u3059\u308b\u3002\u3057\u304b\u3057\u78ba\u7387\u4e88\u6e2c\u3068\u3057\u3066\u8a55\u4fa1\u3059\u308b\u3068\u4e21\u8005\u306f\u540c\u3058\u3067\u306f\u306a\u3044\u3002\u771f\u306e\u767a\u751f\u78ba\u7387\u304c 70% \u3067\u3042\u308b\u4ee5\u4e0a\u300190% \u3068\u65ad\u5b9a\u3059\u308b\u30e2\u30c7\u30eb\u306b\u306f\u3001\u305d\u306e\u904e\u4fe1\u306b\u5fdc\u3058\u305f\u8ffd\u52a0\u640d\u5931\u304c\u767a\u751f\u3059\u308b\u3002<\/p>\n<h3>6.4 Brier score \u3067\u306f\u771f\u306e\u5206\u5e03\u304b\u3089\u306e\u4e8c\u4e57\u8ddd\u96e2\u304c\u8ffd\u52a0\u640d\u5931\u306b\u306a\u308b<\/h3>\n<p>\u5225\u306e\u4ee3\u8868\u7684\u306a strictly proper scoring rule \u304c Brier score \u3067\u3042\u308b\u3002\u591a\u30af\u30e9\u30b9\u5206\u985e\u3067\u3001\u89b3\u6e2c\u3055\u308c\u305f\u30af\u30e9\u30b9\u3092 one-hot \u30d9\u30af\u30c8\u30eb\u3068\u3057\u3066\u8868\u3059\u3068\u3001\u640d\u5931\u306f<\/p>\n<p>\\[<br \/>\n\\mathcal{L}_{\\mathrm{Brier}}(q,Y)<br \/>\n=<br \/>\n\\sum_{k=1}^{K}<br \/>\n\\left(<br \/>\nq_k-\\mathbf{1}[Y=k]<br \/>\n\\right)^2<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\\(\\mathbf{1}[Y=k]\\) \u306f\u3001\u5b9f\u969b\u306e\u30af\u30e9\u30b9\u304c \\(k\\) \u306a\u3089 1\u3001\u305d\u308c\u4ee5\u5916\u306a\u3089 0 \u3092\u53d6\u308b\u6307\u793a\u95a2\u6570\u3067\u3042\u308b\u3002<\/p>\n<p>\u771f\u306e\u5206\u5e03 \\(p\\) \u306e\u4e0b\u3067\u671f\u5f85\u5024\u3092\u53d6\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\nR_p(q)<br \/>\n=<br \/>\n\\mathbb{E}_{Y\\sim p}<br \/>\n\\left[<br \/>\n\\mathcal{L}_{\\mathrm{Brier}}(q,Y)<br \/>\n\\right]<br \/>\n\\]<\/p>\n<p>\u306f\u3001<\/p>\n<p>\\[<br \/>\nR_p(q)<br \/>\n=<br \/>\n\\sum_{k=1}^{K}<br \/>\n(q_k-p_k)^2<br \/>\n+<br \/>\n1<br \/>\n&#8211;<br \/>\n\\sum_{k=1}^{K}<br \/>\np_k^2<br \/>\n\\]<\/p>\n<p>\u3068\u5206\u89e3\u3067\u304d\u308b\u3002\u7b2c 2 \u9805<\/p>\n<p>\\[<br \/>\n1-\\sum_k p_k^2<br \/>\n\\]<\/p>\n<p>\u306f\u771f\u306e\u5206\u5e03 \\(p\\) \u3060\u3051\u3067\u6c7a\u307e\u308a\u3001\u30e2\u30c7\u30eb\u306e\u4e88\u6e2c \\(q\\) \u306b\u306f\u4f9d\u5b58\u3057\u306a\u3044\u3002\\(q\\) \u306b\u3088\u3063\u3066\u5909\u5316\u3059\u308b\u306e\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\sum_k(q_k-p_k)^2<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u771f\u306e\u5206\u5e03\u3068\u306e\u4e8c\u4e57\u8ddd\u96e2\u3060\u3051\u3067\u3042\u308b\u3002\u305d\u306e\u305f\u3081\u3001\u671f\u5f85 Brier score \u3082<\/p>\n<p>\\[<br \/>\nq=p<br \/>\n\\]<\/p>\n<p>\u3067\u4e00\u610f\u306b\u6700\u5c0f\u306b\u306a\u308b\u3002<\/p>\n<p>\u771f\u306e\u5206\u5e03\u3092\u7533\u544a\u3057\u305f\u3068\u304d\u3068\u306e\u5dee\u3092\u53d6\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\nR_p(q)-R_p(p)<br \/>\n=<br \/>\n\\sum_{k=1}^{K}<br \/>\n(q_k-p_k)^2<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u5bfe\u6570\u640d\u5931\u3067\u306f\u771f\u306e\u5206\u5e03\u304b\u3089\u306e\u305a\u308c\u304c KL \u30c0\u30a4\u30d0\u30fc\u30b8\u30a7\u30f3\u30b9\u3068\u3057\u3066\u73fe\u308c\u3001Brier score \u3067\u306f\u4e8c\u4e57\u8ddd\u96e2\u3068\u3057\u3066\u73fe\u308c\u308b\u3002\u5f62\u5f0f\u306f\u7570\u306a\u308b\u304c\u3001\u3069\u3061\u3089\u3082\u771f\u306e\u5206\u5e03\u304b\u3089\u96e2\u308c\u305f\u78ba\u7387\u7533\u544a\u3078\u8ffd\u52a0\u640d\u5931\u3092\u4e0e\u3048\u308b\u3002<\/p>\n<h3>6.5 \u6b63\u89e3\u3057\u305f\u304b\u3060\u3051\u3092\u898b\u308b\u640d\u5931\u3067\u306f\u78ba\u7387\u3092\u6b63\u76f4\u306b\u7533\u544a\u3059\u308b\u7406\u7531\u304c\u751f\u307e\u308c\u306a\u3044<\/h3>\n<p>proper scoring rule \u306e\u5f79\u5272\u306f\u30010.7 \u3068 0.9 \u306e\u9055\u3044\u3092\u5b66\u7fd2\u4fe1\u53f7\u3078\u53cd\u6620\u3067\u304d\u308b\u70b9\u306b\u3042\u308b\u3002\u5bfe\u7167\u7684\u306b\u3001\u6700\u7d42\u7684\u306a\u5206\u985e\u7d50\u679c\u3060\u3051\u3092\u898b\u308b 0-1 loss \u3092\u8003\u3048\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\mathcal{L}_{0\/1}<br \/>\n=<br \/>\n\\mathbf{1}<br \/>\n[<br \/>\n\\arg\\max_k q_k<br \/>\n\\ne<br \/>\nY<br \/>\n]<br \/>\n\\]<\/p>\n<p>\u3053\u306e\u640d\u5931\u3067\u306f\u3001\u6700\u3082\u78ba\u7387\u306e\u9ad8\u3044\u30af\u30e9\u30b9\u304c\u540c\u3058\u306a\u3089\u3001<\/p>\n<p>\\[<br \/>\nq=(0.51,0.49)<br \/>\n\\]<\/p>\n<p>\u3068<\/p>\n<p>\\[<br \/>\nq=(0.99,0.01)<br \/>\n\\]<\/p>\n<p>\u306f\u540c\u3058\u4e88\u6e2c\u30af\u30e9\u30b9\u3092\u8fd4\u3059\u3002\u6b63\u89e3\u3057\u305f\u5834\u5408\u306f\u3069\u3061\u3089\u3082\u640d\u5931 0\u3001\u8aa4\u3063\u305f\u5834\u5408\u306f\u3069\u3061\u3089\u3082\u640d\u5931 1 \u306b\u306a\u308b\u3002\u4e88\u6e2c\u78ba\u7387\u306e\u904e\u4fe1\u3084\u904e\u5c0f\u8a55\u4fa1\u306f\u76f4\u63a5\u8a55\u4fa1\u3055\u308c\u306a\u3044\u3002<\/p>\n<p>\u78ba\u7387\u3092\u5f8c\u6bb5\u306e\u610f\u601d\u6c7a\u5b9a\u306b\u4f7f\u3046\u5834\u5408\u3001\u3053\u306e\u9055\u3044\u306f\u5927\u304d\u3044\u30020.51 \u3068 0.99 \u3092\u540c\u3058\u5224\u65ad\u3068\u3057\u3066\u6271\u3046\u5206\u985e\u640d\u5931\u3060\u3051\u3067\u306f\u3001\u300c\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u3078\u9001\u308b\u304b\u300d\u300c\u81ea\u52d5\u51e6\u7406\u3059\u308b\u304b\u300d\u3068\u3044\u3063\u305f\u78ba\u7387\u95be\u5024\u3092\u4fe1\u983c\u3067\u304d\u308b\u5f62\u3067\u5b66\u7fd2\u3055\u305b\u308b\u60c5\u5831\u304c\u4e0d\u8db3\u3059\u308b\u3002proper scoring rule \u306f\u3001\u30af\u30e9\u30b9\u9078\u629e\u3060\u3051\u3067\u306a\u304f\u5206\u5e03\u5168\u4f53\u3092\u8a55\u4fa1\u3059\u308b\u3053\u3068\u3067\u3001\u78ba\u7387\u5024\u305d\u306e\u3082\u306e\u3092\u5b66\u7fd2\u5bfe\u8c61\u3078\u542b\u3081\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u8a55\u4fa1\u65b9\u6cd5<\/th>\n<th>\u8a55\u4fa1\u3059\u308b\u5bfe\u8c61<\/th>\n<th>0.7 \u3068 0.9 \u306e\u9055\u3044<\/th>\n<th>\u771f\u306e\u78ba\u7387\u3092\u7533\u544a\u3059\u308b\u8a98\u56e0<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>0-1 loss<\/td>\n<td>\u6700\u7d42\u7684\u306a\u4e88\u6e2c\u30af\u30e9\u30b9\u304c\u6b63\u89e3\u3057\u305f\u304b\u3092\u8a55\u4fa1\u3059\u308b\u3002<\/td>\n<td>\u540c\u3058\u30af\u30e9\u30b9\u3092\u9078\u3076\u9650\u308a\u533a\u5225\u3057\u306a\u3044\u3002<\/td>\n<td>\u78ba\u7387\u5024\u305d\u306e\u3082\u306e\u306b\u3064\u3044\u3066\u306f\u4e0e\u3048\u306a\u3044\u3002<\/td>\n<\/tr>\n<tr>\n<td>Log loss<\/td>\n<td>\u5b9f\u969b\u306b\u8d77\u304d\u305f\u4e8b\u8c61\u3078\u5272\u308a\u5f53\u3066\u305f\u78ba\u7387\u3092\u8a55\u4fa1\u3059\u308b\u3002<\/td>\n<td>\u771f\u306e\u78ba\u7387\u304b\u3089\u306e\u305a\u308c\u3092 KL \u30c0\u30a4\u30d0\u30fc\u30b8\u30a7\u30f3\u30b9\u3068\u3057\u3066\u8a55\u4fa1\u3059\u308b\u3002<\/td>\n<td>\u771f\u306e\u5206\u5e03\u3067\u671f\u5f85\u640d\u5931\u304c\u4e00\u610f\u306b\u6700\u5c0f\u306b\u306a\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>Brier score<\/td>\n<td>\u4e88\u6e2c\u5206\u5e03\u3068\u89b3\u6e2c\u7d50\u679c\u306e\u4e8c\u4e57\u8aa4\u5dee\u3092\u8a55\u4fa1\u3059\u308b\u3002<\/td>\n<td>\u771f\u306e\u78ba\u7387\u304b\u3089\u306e\u305a\u308c\u3092\u4e8c\u4e57\u8ddd\u96e2\u3068\u3057\u3066\u8a55\u4fa1\u3059\u308b\u3002<\/td>\n<td>\u771f\u306e\u5206\u5e03\u3067\u671f\u5f85\u640d\u5931\u304c\u4e00\u610f\u306b\u6700\u5c0f\u306b\u306a\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h3>6.6 Strictly proper \u3067\u3042\u308b\u3053\u3068\u3068\u5b9f\u969b\u306b\u8f03\u6b63\u3055\u308c\u308b\u3053\u3068\u306f\u540c\u3058\u6761\u4ef6\u3067\u306f\u306a\u3044<\/h3>\n<p>\u3053\u3053\u307e\u3067\u306e\u6570\u5f0f\u306b\u306f\u3001\u4e00\u3064\u91cd\u8981\u306a\u9069\u7528\u6761\u4ef6\u304c\u3042\u308b\u3002strictly proper scoring rule \u304c\u4fdd\u8a3c\u3059\u308b\u306e\u306f\u3001\u771f\u306e\u5206\u5e03 \\(p\\) \u304c\u4e0e\u3048\u3089\u308c\u3001\u305d\u306e\u671f\u5f85\u640d\u5931\u3092\u6b63\u78ba\u306b\u6700\u5c0f\u5316\u3067\u304d\u308b\u7406\u60f3\u6761\u4ef6\u306e\u4e0b\u3067\u3001\\(q=p\\) \u304c\u6700\u9069\u89e3\u306b\u306a\u308b\u3068\u3044\u3046\u6027\u8cea\u3067\u3042\u308b\u3002<\/p>\n<p>\u5b9f\u969b\u306e\u6a5f\u68b0\u5b66\u7fd2\u3067\u306f\u3001\u6709\u9650\u500b\u306e\u8a13\u7df4\u30c7\u30fc\u30bf\u304b\u3089\u671f\u5f85\u640d\u5931\u3092\u63a8\u5b9a\u3057\u3001\u6709\u9650\u306e\u30e2\u30c7\u30eb\u5bb9\u91cf\u3068\u6700\u9069\u5316\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u3092\u4f7f\u3063\u3066\u30d1\u30e9\u30e1\u30fc\u30bf\u30fc\u3092\u5b66\u7fd2\u3059\u308b\u3002\u305d\u306e\u305f\u3081\u3001<\/p>\n<p>\\[<br \/>\n\\mathcal{L}<br \/>\n\\text{ \u304c strictly proper}<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u6027\u8cea\u3060\u3051\u304b\u3089\u3001\u5b66\u7fd2\u6e08\u307f\u30e2\u30c7\u30eb\u304c\u672a\u77e5\u30c7\u30fc\u30bf\u4e0a\u3067\u5b8c\u5168\u306b\u8f03\u6b63\u3055\u308c\u308b\u3053\u3068\u307e\u3067\u306f\u5c0e\u3051\u306a\u3044\u3002<\/p>\n<p>\u6982\u5ff5\u7684\u306b\u306f\u3001\u7406\u60f3\u6761\u4ef6\u3067\u306f<\/p>\n<p>\\[<br \/>\nq^*<br \/>\n=<br \/>\n\\arg\\min_q<br \/>\n\\mathbb{E}_{Y\\sim p}<br \/>\n[\\mathcal{L}(q,Y)]<br \/>\n=<br \/>\np<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u4e00\u65b9\u3001\u5b9f\u969b\u306e\u5b66\u7fd2\u3067\u306f\u30e2\u30c7\u30eb\u65cf\u3092 \\(q_\\theta\\) \u306b\u5236\u9650\u3057\u3001\u6709\u9650\u30c7\u30fc\u30bf \\(\\{(x_i,y_i)\\}_{i=1}^{n}\\) \u306b\u5bfe\u3057\u3066\u3001<\/p>\n<p>\\[<br \/>\n\\hat{\\theta}<br \/>\n=<br \/>\n\\arg\\min_\\theta<br \/>\n\\frac{1}{n}<br \/>\n\\sum_{i=1}^{n}<br \/>\n\\mathcal{L}<br \/>\n\\left(<br \/>\nq_\\theta(\\cdot\\mid x_i),<br \/>\ny_i<br \/>\n\\right)<br \/>\n\\]<\/p>\n<p>\u3092\u89e3\u304f\u3002\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u5206\u5e03\u3092\u30e2\u30c7\u30eb\u65cf\u304c\u8868\u73fe\u3067\u304d\u308b\u304b\u3001\u8a13\u7df4\u30c7\u30fc\u30bf\u304c\u672c\u756a\u74b0\u5883\u3068\u540c\u3058\u5206\u5e03\u304b\u3089\u5f97\u3089\u308c\u3066\u3044\u308b\u304b\u3001\u6709\u9650\u6a19\u672c\u306b\u3088\u308b\u8aa4\u5dee\u304c\u3069\u306e\u7a0b\u5ea6\u3042\u308b\u304b\u3001\u6700\u9069\u5316\u304c\u5341\u5206\u306b\u9032\u3080\u304b\u306b\u3088\u3063\u3066\u3001\u5b66\u7fd2\u5f8c\u306e calibration \u306f\u5909\u308f\u308b\u3002<\/p>\n<p>\u3064\u307e\u308a proper scoring rule \u306f\u300c\u771f\u306e\u78ba\u7387\u3092\u51fa\u3059\u3053\u3068\u304c\u640d\u3092\u3059\u308b\u300d\u3068\u3044\u3046\u8aa4\u3063\u305f\u5831\u916c\u69cb\u9020\u3092\u907f\u3051\u308b\u305f\u3081\u306e\u57fa\u790e\u6761\u4ef6\u306b\u306a\u308b\u304c\u3001\u305d\u308c\u3060\u3051\u3067\u5b9f\u904b\u7528\u6642\u306e\u5b8c\u5168\u306a calibration \u3092\u4fdd\u8a3c\u3059\u308b\u3082\u306e\u3067\u306f\u306a\u3044\u3002\u5b66\u7fd2\u5f8c\u306b\u306f\u3001\u524d\u7bc0\u3067\u6271\u3063\u305f reliability diagram \u3084 calibration error \u306a\u3069\u3092\u4f7f\u3044\u3001\u4e88\u6e2c\u78ba\u7387\u3068\u5b9f\u6e2c\u983b\u5ea6\u306e\u5bfe\u5fdc\u3092\u5225\u9014\u691c\u8a3c\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002<\/p>\n<h3>6.7 RLCD \u306b\u3064\u3044\u3066\u8a00\u3048\u308b\u306e\u306f calibrated decisions \u3068\u65e2\u5b58\u7406\u8ad6\u306e\u63a5\u7d9a\u307e\u3067\u3067\u3042\u308b<\/h3>\n<p>TypeSafe \u306f RLCD \u3092\u3001calibrated decisions\u3001\u3059\u306a\u308f\u3061 System One \u306e\u5224\u65ad\u306b\u5bfe\u3057\u3066\u8a8d\u8b58\u8ad6\u7684\u306b\u8aa0\u5b9f\u306a\u78ba\u7387\u3092\u8fd4\u3059\u3053\u3068\u3092\u6700\u9069\u5316\u3059\u308b\u5b66\u7fd2\u65b9\u6cd5\u3068\u3057\u3066\u8aac\u660e\u3057\u3066\u3044\u308b<a href=\"#ref1\">[1]<\/a>\u3002\u3053\u306e\u76ee\u7684\u306f\u3001\u771f\u306e\u5206\u5e03\u3092\u7533\u544a\u3057\u305f\u3068\u304d\u671f\u5f85\u8a55\u4fa1\u304c\u6700\u9069\u306b\u306a\u308b proper scoring rule \u306e\u8003\u3048\u65b9\u3068\u6570\u7406\u7684\u306b\u63a5\u7d9a\u3067\u304d\u308b\u3002<\/p>\n<p>\u305f\u3068\u3048\u3070 Jev \u304c\u3042\u308b\u4e8c\u5024\u5224\u65ad\u306b\u3064\u3044\u3066\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387 \\(p=0.7\\) \u3092\u5185\u90e8\u7684\u306b\u8868\u73fe\u3059\u3079\u304d\u72b6\u6cc1\u3067\u3001\u5b66\u7fd2\u76ee\u7684\u304c strictly proper \u306a\u78ba\u7387\u640d\u5931\u306b\u5bfe\u5fdc\u3057\u3066\u3044\u308b\u306a\u3089\u30010.9 \u3084 0.5 \u3088\u308a 0.7 \u3092\u8fd4\u3059\u3053\u3068\u304c\u671f\u5f85\u640d\u5931\u4e0a\u6709\u5229\u306b\u306a\u308b\u3002\u3053\u306e\u6027\u8cea\u306f\u3001\u300c0.9 \u3068\u51fa\u3057\u305f\u5224\u65ad\u306f\u5b9f\u969b\u306b\u3082\u7d04 90% \u6b63\u3057\u3044\u300d\u3068\u3044\u3046\u8f03\u6b63\u3078\u5411\u304b\u3046\u305f\u3081\u306e\u7406\u8ad6\u7684\u57fa\u76e4\u306b\u306a\u308a\u5f97\u308b\u3002<\/p>\n<p>\u4e00\u65b9\u30012026 \u5e74 9 \u6708 18 \u65e5\u6642\u70b9\u3067\u3001TypeSafe \u306f RLCD \u306e\u5177\u4f53\u7684\u306a\u5831\u916c\u95a2\u6570\u3001\u640d\u5931\u95a2\u6570\u3001probability \u3068 confidence \u306e\u5b66\u7fd2\u65b9\u6cd5\u3001\u5bfe\u6570\u640d\u5931\u3084 Brier score \u3092\u5229\u7528\u3057\u3066\u3044\u308b\u304b\u3069\u3046\u304b\u3092\u516c\u958b\u3057\u3066\u3044\u306a\u3044<a href=\"#ref1\">[1]<\/a>\u3002RLCD \u3068\u3044\u3046\u540d\u79f0\u306b Reinforcement Learning \u304c\u542b\u307e\u308c\u3066\u3044\u3066\u3082\u3001\u516c\u958b\u60c5\u5831\u3060\u3051\u304b\u3089\u3001\u305d\u306e\u5f37\u5316\u5b66\u7fd2\u5831\u916c\u3092 proper scoring rule \u3067\u69cb\u6210\u3057\u3066\u3044\u308b\u3068\u63a8\u5b9a\u3059\u308b\u3053\u3068\u306f\u3067\u304d\u306a\u3044\u3002<\/p>\n<p>\u672c\u7bc0\u304b\u3089\u78ba\u5b9a\u7684\u306b\u5c0e\u3051\u308b\u306e\u306f\u3001\u3088\u308a\u9650\u5b9a\u3055\u308c\u305f\u95a2\u4fc2\u3067\u3042\u308b\u3002TypeSafe \u304c\u63b2\u3052\u308b calibrated decisions \u3092\u78ba\u7387\u8ad6\u306e\u554f\u984c\u3068\u3057\u3066\u5b9f\u73fe\u3059\u308b\u5834\u5408\u3001\u30e2\u30c7\u30eb\u304c\u5831\u544a\u3059\u308b\u78ba\u7387\u3092\u8a55\u4fa1\u5bfe\u8c61\u305d\u306e\u3082\u306e\u3078\u542b\u3081\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002\u65e2\u5b58\u306e\u7d71\u8a08\u7406\u8ad6\u306b\u306f\u3001\u305d\u306e\u305f\u3081\u306b\u771f\u306e\u5206\u5e03\u3092\u7533\u544a\u3059\u308b\u3053\u3068\u3092\u671f\u5f85\u5024\u4e0a\u306e\u6700\u9069\u89e3\u306b\u3059\u308b proper scoring rule \u304c\u5b58\u5728\u3059\u308b\u3002RLCD \u304c\u305d\u306e\u8981\u4ef6\u3092\u5185\u90e8\u3067\u3069\u306e\u3088\u3046\u306b\u5b9f\u73fe\u3057\u3066\u3044\u308b\u304b\u306f\u3001TypeSafe \u304c\u5b66\u7fd2\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u3092\u516c\u958b\u3057\u305f\u6bb5\u968e\u3067\u521d\u3081\u3066\u76f4\u63a5\u6bd4\u8f03\u3067\u304d\u308b\u3002<\/p>\n<p>\u3053\u306e\u533a\u5225\u3092\u4fdd\u3064\u3068\u3001\u300c\u78ba\u7387\u3092\u6b63\u76f4\u306b\u7533\u544a\u3059\u308b\u305f\u3081\u306e\u6570\u7406\u539f\u7406\u300d\u3068\u300cRLCD \u306e\u672a\u516c\u958b\u5b9f\u88c5\u300d\u3092\u6df7\u540c\u305b\u305a\u306b\u6e08\u3080\u3002\u6b21\u306b\u78ba\u8a8d\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u306e\u306f\u3001\u771f\u306e\u5206\u5e03\u3092\u7533\u544a\u3059\u308b\u8a98\u56e0\u304c\u3042\u3063\u3066\u3082\u3001\u305d\u308c\u3060\u3051\u3067\u9ad8\u6027\u80fd\u306a\u5224\u65ad\u30e2\u30c7\u30eb\u306b\u306a\u308b\u3068\u306f\u9650\u3089\u306a\u3044\u3068\u3044\u3046\u70b9\u3067\u3042\u308b\u3002\u78ba\u7387\u4e88\u6e2c\u3067\u306f calibration \u306b\u52a0\u3048\u3066\u3001\u5165\u529b\u3054\u3068\u306e\u5dee\u3092\u8b58\u5225\u3059\u308b\u80fd\u529b\u3084 sharpness \u3082\u5225\u306e\u8a55\u4fa1\u8ef8\u306b\u306a\u308b\u3002<\/p>\n<hr>\n<h2>7. \u6b63\u89e3\u7387\u3068 calibration \u3068 sharpness \u306f\u5225\u3005\u306b\u8a55\u4fa1\u3059\u308b<\/h2>\n<p>\u78ba\u7387\u8f03\u6b63\u304c\u826f\u597d\u3067\u3042\u308b\u3053\u3068\u306f\u3001\u78ba\u7387\u5024\u3092\u610f\u601d\u6c7a\u5b9a\u3078\u5229\u7528\u3059\u308b\u305f\u3081\u306e\u91cd\u8981\u306a\u6761\u4ef6\u306b\u306a\u308b\u3002\u3057\u304b\u3057\u3001\u305d\u308c\u3060\u3051\u3067\u500b\u3005\u306e\u5165\u529b\u3092\u9ad8\u7cbe\u5ea6\u306b\u8b58\u5225\u3067\u304d\u308b\u5224\u65ad\u30e2\u30c7\u30eb\u306b\u306a\u308b\u3068\u306f\u9650\u3089\u306a\u3044\u3002\u78ba\u7387\u4e88\u6e2c\u3092\u8a55\u4fa1\u3059\u308b\u3068\u304d\u306f\u3001\u5c11\u306a\u304f\u3068\u3082 accuracy\u3001\u8b58\u5225\u80fd\u529b\u3001calibration\u3001sharpness \u3092\u5206\u3051\u3066\u8003\u3048\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002\u305d\u308c\u305e\u308c\u304c\u6e2c\u3063\u3066\u3044\u308b\u6027\u8cea\u304c\u7570\u306a\u308b\u305f\u3081\u3001\u4e00\u3064\u306e\u6307\u6a19\u3060\u3051\u3092\u6539\u5584\u3057\u3066\u3082\u3001\u4ed6\u306e\u6027\u8cea\u304c\u81ea\u52d5\u7684\u306b\u6539\u5584\u3059\u308b\u3068\u306f\u9650\u3089\u306a\u3044\u3002<\/p>\n<h3>7.1 \u5e38\u306b 0.6 \u3092\u8fd4\u3059\u30e2\u30c7\u30eb\u3067\u3082\u8f03\u6b63\u3055\u308c\u308b\u5834\u5408\u304c\u3042\u308b<\/h3>\n<p>\u4e8c\u5024\u4e8b\u8c61 \\(Y\\in\\{0,1\\}\\) \u304c\u5168\u4f53\u306e 60% \u3067\u767a\u751f\u3059\u308b\u30c7\u30fc\u30bf\u3092\u8003\u3048\u308b\u3002\u3053\u306e\u3068\u304d\u3001\u5165\u529b \\(X\\) \u306e\u5185\u5bb9\u3092\u4e00\u5207\u898b\u305a\u3001\u3059\u3079\u3066\u306e\u4e8b\u4f8b\u306b\u3064\u3044\u3066<\/p>\n<p>\\[<br \/>\nq(X)=0.6<br \/>\n\\quad<br \/>\n\\forall X<br \/>\n\\]<\/p>\n<p>\u3068\u8fd4\u3059\u30e2\u30c7\u30eb\u3092\u4f5c\u308b\u3053\u3068\u304c\u3067\u304d\u308b\u3002<\/p>\n<p>\u5341\u5206\u306a\u6a19\u672c\u3067\u5b9f\u969b\u306e\u767a\u751f\u7387\u3082 60% \u306a\u3089\u3001\u3053\u306e\u30e2\u30c7\u30eb\u306b\u3064\u3044\u3066<\/p>\n<p>\\[<br \/>\nP(Y=1\\mid q(X)=0.6)=0.6<br \/>\n\\]<\/p>\n<p>\u304c\u6210\u7acb\u3059\u308b\u3002\u4e88\u6e2c\u5024 0.6 \u3068\u5b9f\u6e2c\u983b\u5ea6 0.6 \u304c\u4e00\u81f4\u3059\u308b\u305f\u3081\u3001\u524d\u7bc0\u3067\u5b9a\u7fa9\u3057\u305f calibration \u306e\u6761\u4ef6\u3092\u6e80\u305f\u3057\u3066\u3044\u308b\u3002<\/p>\n<p>\u3057\u304b\u3057\u3001\u3053\u306e\u30e2\u30c7\u30eb\u306f\u3059\u3079\u3066\u306e\u5165\u529b\u3078\u540c\u3058\u5024\u3092\u8fd4\u3057\u3066\u3044\u308b\u3002\u3042\u308b\u4e8b\u4f8b\u306b\u3064\u3044\u3066\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u304c 0.05\u3001\u5225\u306e\u4e8b\u4f8b\u306b\u3064\u3044\u3066 0.95 \u3067\u3042\u3063\u3066\u3082\u3001\u305d\u306e\u9055\u3044\u3092\u5229\u7528\u3057\u306a\u3044\u3002<\/p>\n<p>\\[<br \/>\nP(Y=1\\mid X=x_1)=0.05<br \/>\n\\]<\/p>\n<p>\\[<br \/>\nP(Y=1\\mid X=x_2)=0.95<br \/>\n\\]<\/p>\n<p>\u3067\u3042\u3063\u3066\u3082\u3001<\/p>\n<p>\\[<br \/>\nq(x_1)=q(x_2)=0.6<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u3053\u306e\u30e2\u30c7\u30eb\u306f\u96c6\u56e3\u5168\u4f53\u306e\u57fa\u790e\u767a\u751f\u7387\u3092\u6b63\u3057\u304f\u8868\u73fe\u3057\u3066\u3044\u308b\u4e00\u65b9\u3001\u500b\u5225\u4e8b\u4f8b\u3092\u533a\u5225\u3059\u308b\u305f\u3081\u306e\u60c5\u5831\u3092\u4e88\u6e2c\u5024\u3078\u53cd\u6620\u3057\u3066\u3044\u306a\u3044\u3002<\/p>\n<p>\u3053\u306e\u4f8b\u304b\u3089\u3001calibration \u304c\u5358\u72ec\u3067\u306f\u30e2\u30c7\u30eb\u306e\u8b58\u5225\u80fd\u529b\u3092\u4fdd\u8a3c\u3057\u306a\u3044\u3053\u3068\u304c\u5206\u304b\u308b\u3002\u4e88\u6e2c\u78ba\u7387\u3068\u5b9f\u6e2c\u983b\u5ea6\u304c\u6574\u5408\u3057\u3066\u3044\u3066\u3082\u3001\u305d\u306e\u30e2\u30c7\u30eb\u304c\u5165\u529b\u304b\u3089\u3069\u306e\u7a0b\u5ea6\u6709\u7528\u306a\u60c5\u5831\u3092\u53d6\u308a\u51fa\u3057\u3066\u3044\u308b\u304b\u306f\u5225\u306b\u8a55\u4fa1\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002<\/p>\n<h3>7.2 Accuracy \u306f\u6700\u7d42\u7684\u306a\u30af\u30e9\u30b9\u9078\u629e\u304c\u6b63\u3057\u304b\u3063\u305f\u5272\u5408\u3092\u898b\u308b<\/h3>\n<p>accuracy \u306f\u3001\u30e2\u30c7\u30eb\u304c\u6700\u7d42\u7684\u306b\u9078\u3093\u3060\u30af\u30e9\u30b9\u304c\u6b63\u89e3\u3057\u305f\u5272\u5408\u3067\u3042\u308b\u3002\u4e8c\u5024\u5206\u985e\u3067\u95be\u5024\u3092 0.5 \u3068\u3059\u308b\u306a\u3089\u3001<\/p>\n<p>\\[<br \/>\n\\hat{Y}<br \/>\n=<br \/>\n\\mathbf{1}<br \/>\n[q(X)\\ge0.5]<br \/>\n\\]<\/p>\n<p>\u3068\u3057\u3066\u4e88\u6e2c\u30af\u30e9\u30b9 \\(\\hat{Y}\\) \u3092\u5b9a\u3081\u3001\u6a19\u672c\u6570\u3092 \\(N\\) \u3068\u3059\u308b\u3068\u3001accuracy \u306f<\/p>\n<p>\\[<br \/>\n\\mathrm{Accuracy}<br \/>\n=<br \/>\n\\frac{1}{N}<br \/>\n\\sum_{i=1}^{N}<br \/>\n\\mathbf{1}<br \/>\n[\\hat{y}_i=y_i]<br \/>\n\\]<\/p>\n<p>\u3067\u8868\u305b\u308b\u3002<\/p>\n<p>\u3053\u306e\u8a55\u4fa1\u91cf\u304c\u898b\u308b\u306e\u306f\u3001\u6700\u7d42\u7684\u306a 0 \u307e\u305f\u306f 1 \u306e\u9078\u629e\u304c\u6b63\u3057\u304b\u3063\u305f\u304b\u3069\u3046\u304b\u3067\u3042\u308b\u30020.51 \u3068\u4e88\u6e2c\u3057\u305f\u5834\u5408\u3082 0.999 \u3068\u4e88\u6e2c\u3057\u305f\u5834\u5408\u3082\u3001\u95be\u5024\u304c 0.5 \u306a\u3089\u540c\u3058\u30af\u30e9\u30b9 1 \u3092\u9078\u629e\u3059\u308b\u3002<\/p>\n<p>\u305d\u306e\u305f\u3081\u3001<\/p>\n<p>\\[<br \/>\nq_1=0.51<br \/>\n\\]<\/p>\n<p>\u3068<\/p>\n<p>\\[<br \/>\nq_2=0.999<br \/>\n\\]<\/p>\n<p>\u306f accuracy \u306e\u8a08\u7b97\u4e0a\u3001\u540c\u3058\u4e88\u6e2c\u3068\u3057\u3066\u6271\u308f\u308c\u308b\u3002\u78ba\u7387\u5024\u304c\u73fe\u5b9f\u306e\u4e0d\u78ba\u5b9f\u6027\u3092\u9069\u5207\u306b\u8868\u3057\u3066\u3044\u308b\u304b\u306f accuracy \u304b\u3089\u8aad\u307f\u53d6\u308c\u306a\u3044\u3002<\/p>\n<p>\u305f\u3068\u3048\u3070 1000 \u4ef6\u3059\u3079\u3066\u306b\u3064\u3044\u3066\u30e2\u30c7\u30eb\u304c 0.999 \u306e confidence \u3067\u30af\u30e9\u30b9\u3092\u4e88\u6e2c\u3057\u3001\u305d\u306e\u3046\u3061 950 \u4ef6\u304c\u6b63\u3057\u304b\u3063\u305f\u3068\u3059\u308b\u3002accuracy \u306f<\/p>\n<p>\\[<br \/>\n\\frac{950}{1000}=0.95<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u5206\u985e\u5668\u3068\u3057\u3066 95% \u6b63\u89e3\u3057\u3066\u3044\u308b\u4e00\u65b9\u30010.999 \u3068\u4e88\u6e2c\u3057\u305f\u96c6\u5408\u306e\u5b9f\u6e2c\u6b63\u89e3\u7387\u306f 0.95 \u3067\u3042\u308b\u3002<\/p>\n<p>\\[<br \/>\n0.999<br \/>\n\\not\\approx<br \/>\n0.95<br \/>\n\\]<\/p>\n<p>\u3053\u306e\u30e2\u30c7\u30eb\u306f\u5206\u985e\u7d50\u679c\u3060\u3051\u3092\u898b\u308c\u3070\u9ad8\u3044 accuracy \u3092\u6301\u3064\u304c\u3001\u78ba\u7387\u5024\u306b\u3064\u3044\u3066\u306f\u904e\u4fe1\u3057\u3066\u3044\u308b\u30020.999 \u3068\u3044\u3046\u6570\u5024\u3092\u300c\u307b\u307c\u78ba\u5b9f\u300d\u3068\u3057\u3066\u81ea\u52d5\u51e6\u7406\u306e\u95be\u5024\u306b\u4f7f\u3048\u3070\u3001\u5b9f\u969b\u306e\u8aa4\u308a\u7387 5% \u3092\u5927\u5e45\u306b\u904e\u5c0f\u8a55\u4fa1\u3059\u308b\u3053\u3068\u306b\u306a\u308b\u3002<\/p>\n<h3>7.3 \u8b58\u5225\u80fd\u529b\u306f\u6b63\u4f8b\u3068\u8ca0\u4f8b\u3078\u7570\u306a\u308b\u30b9\u30b3\u30a2\u3092\u4e0e\u3048\u3089\u308c\u308b\u304b\u3092\u898b\u308b<\/h3>\n<p>\u8b58\u5225\u80fd\u529b\u306f\u3001\u5165\u529b\u3054\u3068\u306e\u5dee\u3092\u4f7f\u3063\u3066\u3001\u6b63\u4f8b\u3068\u8ca0\u4f8b\u3078\u7570\u306a\u308b\u30b9\u30b3\u30a2\u3092\u5272\u308a\u5f53\u3066\u3089\u308c\u308b\u304b\u3068\u3044\u3046\u6027\u8cea\u3067\u3042\u308b\u3002\u4e8c\u5024\u5206\u985e\u306a\u3089\u3001\u7406\u60f3\u7684\u306b\u306f \\(Y=1\\) \u306e\u4e8b\u4f8b\u3078\u9ad8\u3044 \\(q(X)\\)\u3001\\(Y=0\\) \u306e\u4e8b\u4f8b\u3078\u4f4e\u3044 \\(q(X)\\) \u3092\u4e0e\u3048\u308b\u3002<\/p>\n<p>\u6b63\u4f8b \\(X^+\\) \u3068\u8ca0\u4f8b \\(X^-\\) \u3092\u7121\u4f5c\u70ba\u306b\u4e00\u3064\u305a\u3064\u53d6\u3063\u305f\u3068\u304d\u3001<\/p>\n<p>\\[<br \/>\nP<br \/>\n\\left(<br \/>\nq(X^+)<br \/>\n&gt;<br \/>\nq(X^-)<br \/>\n\\right)<br \/>\n\\]<\/p>\n<p>\u304c\u9ad8\u3051\u308c\u3070\u3001\u30e2\u30c7\u30eb\u306f\u6b63\u4f8b\u3068\u8ca0\u4f8b\u3092\u9806\u4f4d\u3068\u3057\u3066\u533a\u5225\u3059\u308b\u80fd\u529b\u3092\u6301\u3064\u3002\u3053\u306e\u91cf\u306f ROC AUC \u306e\u57fa\u672c\u7684\u306a\u89e3\u91c8\u306b\u3082\u5bfe\u5fdc\u3059\u308b\u3002<\/p>\n<p>\u3059\u3079\u3066\u306e\u5165\u529b\u3078 0.6 \u3092\u8fd4\u3059\u30e2\u30c7\u30eb\u3067\u306f\u3001<\/p>\n<p>\\[<br \/>\nq(X^+)=q(X^-)=0.6<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u305f\u3081\u3001\u9806\u4f4d\u60c5\u5831\u304c\u751f\u307e\u308c\u306a\u3044\u3002\u5168\u4f53\u3068\u3057\u3066 calibration \u304c\u6210\u7acb\u3057\u3066\u3044\u3066\u3082\u3001\u500b\u5225\u4e8b\u4f8b\u306e\u8b58\u5225\u306b\u306f\u5229\u7528\u3067\u304d\u306a\u3044\u3002<\/p>\n<p>\u9006\u306b\u3001\u6b63\u4f8b\u3078 0.9\u3001\u8ca0\u4f8b\u3078 0.8 \u3092\u4e00\u8cab\u3057\u3066\u8fd4\u3059\u30e2\u30c7\u30eb\u306a\u3089\u3001\u9806\u4f4d\u3068\u3057\u3066\u306f\u4e21\u8005\u3092\u5b8c\u5168\u306b\u8b58\u5225\u3067\u304d\u308b\u5834\u5408\u304c\u3042\u308b\u3002\u3057\u304b\u3057\u5b9f\u969b\u306e\u6b63\u89e3\u983b\u5ea6\u304c\u305d\u308c\u305e\u308c 0.7 \u3068 0.3 \u306a\u3089\u3001\u78ba\u7387\u5024\u305d\u306e\u3082\u306e\u306f\u8f03\u6b63\u3055\u308c\u3066\u3044\u306a\u3044\u3002\u8b58\u5225\u80fd\u529b\u3068 calibration \u306f\u3053\u306e\u3088\u3046\u306b\u72ec\u7acb\u3057\u3066\u5909\u5316\u3057\u5f97\u308b\u3002<\/p>\n<h3>7.4 Sharpness \u306f\u4e88\u6e2c\u304c\u3069\u306e\u7a0b\u5ea6\u96c6\u4e2d\u3057\u3066\u3044\u308b\u304b\u3092\u898b\u308b<\/h3>\n<p>Gneiting\u3001Balabdaoui\u3001Raftery \u306f\u3001\u78ba\u7387\u4e88\u6e2c\u3092\u8a55\u4fa1\u3059\u308b\u539f\u5247\u3068\u3057\u3066\u300ccalibration \u3092\u6e80\u305f\u3059\u3068\u3044\u3046\u5236\u7d04\u306e\u4e0b\u3067 sharpness \u3092\u6700\u5927\u5316\u3059\u308b\u300d\u3068\u3044\u3046\u8003\u3048\u65b9\u3092\u63d0\u793a\u3057\u3066\u3044\u308b<a href=\"#ref15\">[15]<\/a>\u3002\u5f7c\u3089\u306e\u5b9a\u7fa9\u3067\u306f\u3001calibration \u306f\u4e88\u6e2c\u5206\u5e03\u3068\u5b9f\u969b\u306e\u89b3\u6e2c\u7d50\u679c\u3068\u306e\u7d71\u8a08\u7684\u4e00\u8cab\u6027\u3068\u3044\u3046\u3001\u4e88\u6e2c\u3068\u7d50\u679c\u306e\u53cc\u65b9\u306b\u95a2\u4fc2\u3059\u308b\u6027\u8cea\u3067\u3042\u308b\u3002\u4e00\u65b9\u3001sharpness \u306f\u4e88\u6e2c\u5206\u5e03\u304c\u3069\u306e\u7a0b\u5ea6\u96c6\u4e2d\u3057\u3066\u3044\u308b\u304b\u3068\u3044\u3046\u3001\u4e88\u6e2c\u305d\u306e\u3082\u306e\u306e\u6027\u8cea\u3067\u3042\u308b\u3002<\/p>\n<p>\u4e8c\u5024\u5206\u985e\u306e\u78ba\u7387 \\(q(X)\\) \u3067\u76f4\u611f\u7684\u306b\u8003\u3048\u308b\u3068\u3001\u3059\u3079\u3066\u306e\u4e8b\u4f8b\u306b\u3064\u3044\u3066 0.5 \u524d\u5f8c\u3057\u304b\u8fd4\u3055\u306a\u3044\u30e2\u30c7\u30eb\u3088\u308a\u3001\u5341\u5206\u306a\u60c5\u5831\u304c\u3042\u308b\u4e8b\u4f8b\u306b\u3064\u3044\u3066 0.05 \u3084 0.95 \u3068\u3044\u3063\u305f\u5024\u307e\u3067\u78ba\u7387\u3092\u52d5\u304b\u305b\u308b\u30e2\u30c7\u30eb\u306e\u65b9\u304c\u3001\u3088\u308a\u660e\u78ba\u306a\u4e88\u6e2c\u3092\u884c\u3063\u3066\u3044\u308b\u3002<\/p>\n<p>\u305f\u3060\u3057\u30010 \u307e\u305f\u306f 1 \u306b\u8fd1\u3044\u5024\u3092\u8fd4\u3059\u3053\u3068\u81ea\u4f53\u304c\u826f\u3044\u308f\u3051\u3067\u306f\u306a\u3044\u30020.95 \u3068\u4e88\u6e2c\u3057\u305f\u4e8b\u4f8b\u304c\u5b9f\u969b\u306b\u3082\u7d04 95% \u6b63\u3057\u3044\u3068\u3044\u3046 calibration \u3092\u4fdd\u3063\u305f\u3046\u3048\u3067\u3001\u5165\u529b\u306b\u5fdc\u3058\u3066\u78ba\u7387\u5206\u5e03\u3092\u96c6\u4e2d\u3055\u305b\u308b\u3053\u3068\u306b\u610f\u5473\u304c\u3042\u308b\u3002<\/p>\n<p>\u3053\u306e\u95a2\u4fc2\u3092\u7c21\u7565\u5316\u3059\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\n\\text{calibration \u3092\u7dad\u6301}<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u6761\u4ef6\u306e\u4e0b\u3067\u3001<\/p>\n<p>\\[<br \/>\nq(X)<br \/>\n\\]<\/p>\n<p>\u304c\u5165\u529b\u304b\u3089\u5f97\u3089\u308c\u308b\u60c5\u5831\u306b\u5fdc\u3058\u3066 0 \u3084 1 \u306b\u8fd1\u3044\u5024\u307e\u3067\u5206\u6563\u3067\u304d\u308b\u3053\u3068\u304c\u671b\u307e\u3057\u3044\u3002<\/p>\n<p>\u5168\u5165\u529b\u3078 0.6 \u3092\u8fd4\u3059\u30e2\u30c7\u30eb\u306f calibration \u3092\u6e80\u305f\u3057\u5f97\u308b\u304c\u3001\u4e88\u6e2c\u3068\u3057\u3066\u306f\u307b\u3068\u3093\u3069\u60c5\u5831\u3092\u8ffd\u52a0\u3057\u3066\u3044\u306a\u3044\u3002\u5165\u529b\u3054\u3068\u306b 0.1\u30010.4\u30010.8\u30010.98 \u3068\u7570\u306a\u308b\u78ba\u7387\u3092\u8fd4\u3057\u3001\u305d\u308c\u305e\u308c\u306e\u78ba\u7387\u5e2f\u3067\u5b9f\u6e2c\u983b\u5ea6\u3082\u5bfe\u5fdc\u3057\u3066\u3044\u308b\u30e2\u30c7\u30eb\u306a\u3089\u3001calibration \u3068\u60c5\u5831\u91cf\u306e\u9ad8\u3044\u4e88\u6e2c\u3092\u4e21\u7acb\u3057\u3066\u3044\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u8a55\u4fa1\u8ef8<\/th>\n<th>\u8a55\u4fa1\u3059\u308b\u5bfe\u8c61<\/th>\n<th>\u9ad8\u3044\u6027\u80fd\u304c\u610f\u5473\u3059\u308b\u3053\u3068<\/th>\n<th>\u5358\u72ec\u3067\u306f\u4fdd\u8a3c\u3057\u306a\u3044\u3053\u3068<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Accuracy<\/td>\n<td>\u6700\u7d42\u7684\u306b\u9078\u629e\u3057\u305f\u30af\u30e9\u30b9\u3068\u6b63\u89e3\u30e9\u30d9\u30eb\u3092\u6bd4\u8f03\u3059\u308b\u3002<\/td>\n<td>\u591a\u304f\u306e\u4e8b\u4f8b\u3067\u6b63\u3057\u3044\u30af\u30e9\u30b9\u3092\u9078\u629e\u3057\u3066\u3044\u308b\u3002<\/td>\n<td>0.9 \u3068\u3044\u3046 confidence \u304c\u5b9f\u969b\u306e\u6b63\u89e3\u7387 90% \u306b\u5bfe\u5fdc\u3059\u308b\u3053\u3068\u306f\u4fdd\u8a3c\u3057\u306a\u3044\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u8b58\u5225\u80fd\u529b<\/td>\n<td>\u6b63\u4f8b\u3068\u8ca0\u4f8b\u3078\u7570\u306a\u308b\u30b9\u30b3\u30a2\u3092\u5272\u308a\u5f53\u3066\u3089\u308c\u308b\u304b\u3092\u898b\u308b\u3002<\/td>\n<td>\u6b63\u4f8b\u3092\u8ca0\u4f8b\u3088\u308a\u9ad8\u304f\u9806\u4f4d\u4ed8\u3051\u3067\u304d\u308b\u3002<\/td>\n<td>\u30b9\u30b3\u30a2\u306e\u7d76\u5bfe\u5024\u304c\u6b63\u3057\u3044\u78ba\u7387\u3068\u3057\u3066\u89e3\u91c8\u3067\u304d\u308b\u3053\u3068\u306f\u4fdd\u8a3c\u3057\u306a\u3044\u3002<\/td>\n<\/tr>\n<tr>\n<td>Calibration<\/td>\n<td>\u4e88\u6e2c\u78ba\u7387\u3068\u5b9f\u6e2c\u983b\u5ea6\u3068\u306e\u5bfe\u5fdc\u3092\u898b\u308b\u3002<\/td>\n<td>0.8 \u3068\u4e88\u6e2c\u3057\u305f\u96c6\u5408\u3067\u5b9f\u969b\u306b\u3082\u7d04 80% \u306e\u4e8b\u8c61\u304c\u767a\u751f\u3059\u308b\u3002<\/td>\n<td>\u5165\u529b\u3054\u3068\u306e\u5dee\u3092\u5341\u5206\u306b\u8b58\u5225\u3057\u3066\u3044\u308b\u3053\u3068\u306f\u4fdd\u8a3c\u3057\u306a\u3044\u3002<\/td>\n<\/tr>\n<tr>\n<td>Sharpness<\/td>\n<td>\u4e88\u6e2c\u5206\u5e03\u304c\u3069\u306e\u7a0b\u5ea6\u96c6\u4e2d\u3057\u305f\u5224\u65ad\u3092\u8fd4\u3057\u3066\u3044\u308b\u304b\u3092\u898b\u308b\u3002<\/td>\n<td>\u60c5\u5831\u304c\u3042\u308b\u5165\u529b\u3067\u306f\u66d6\u6627\u306a\u57fa\u790e\u767a\u751f\u7387\u304b\u3089\u96e2\u308c\u305f\u4e88\u6e2c\u3092\u8fd4\u305b\u308b\u3002<\/td>\n<td>\u96c6\u4e2d\u3057\u305f\u4e88\u6e2c\u304c\u5b9f\u969b\u306e\u983b\u5ea6\u3068\u6574\u5408\u3057\u3066\u3044\u308b\u3053\u3068\u306f\u4fdd\u8a3c\u3057\u306a\u3044\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h3>7.5 ECE \u306f calibration \u3092\u4e00\u3064\u306e\u6570\u5024\u3078\u8981\u7d04\u3059\u308b<\/h3>\n<p>\u5b9f\u969b\u306e\u30e2\u30c7\u30eb\u3067\u306f\u9023\u7d9a\u7684\u306a\u78ba\u7387\u304c\u51fa\u529b\u3055\u308c\u308b\u305f\u3081\u3001calibration \u3092\u8a55\u4fa1\u3059\u308b\u3068\u304d\u306b\u306f\u4e88\u6e2c\u5024\u3092\u8907\u6570\u306e\u533a\u9593\u3078\u5206\u5272\u3059\u308b\u65b9\u6cd5\u304c\u5e83\u304f\u4f7f\u308f\u308c\u308b\u3002\u305d\u306e\u4ee3\u8868\u7684\u306a\u8981\u7d04\u6307\u6a19\u304c Expected Calibration Error\u3001ECE \u3067\u3042\u308b\u3002<\/p>\n<p>\u4e88\u6e2c\u3092 \\(M\\) \u500b\u306e\u30d3\u30f3 \\(B_1,\\ldots,B_M\\) \u306b\u5206\u3051\u308b\u3002\u30d3\u30f3 \\(B_m\\) \u306b\u542b\u307e\u308c\u308b\u4e8b\u4f8b\u6570\u3092 \\(|B_m|\\)\u3001\u5168\u4f53\u306e\u4e8b\u4f8b\u6570\u3092 \\(N\\) \u3068\u3059\u308b\u3002\u5404\u30d3\u30f3\u3067\u3001\u5b9f\u969b\u306b\u6b63\u89e3\u3057\u305f\u5272\u5408\u3092<\/p>\n<p>\\[<br \/>\n\\operatorname{acc}(B_m)<br \/>\n\\]<\/p>\n<p>\u5e73\u5747 confidence \u3092<\/p>\n<p>\\[<br \/>\n\\operatorname{conf}(B_m)<br \/>\n\\]<\/p>\n<p>\u3068\u3059\u308b\u3068\u3001\u5178\u578b\u7684\u306a ECE \u306f<\/p>\n<p>\\[<br \/>\n\\mathrm{ECE}<br \/>\n=<br \/>\n\\sum_{m=1}^{M}<br \/>\n\\frac{|B_m|}{N}<br \/>\n\\left|<br \/>\n\\operatorname{acc}(B_m)<br \/>\n&#8211;<br \/>\n\\operatorname{conf}(B_m)<br \/>\n\\right|<br \/>\n\\]<\/p>\n<p>\u3068\u66f8\u3051\u308b\u3002\u5404\u78ba\u7387\u5e2f\u3067\u306e confidence \u3068\u5b9f\u6e2c accuracy \u306e\u5dee\u3092\u8a08\u7b97\u3057\u3001\u305d\u3053\u306b\u305d\u306e\u30d3\u30f3\u3078\u5c5e\u3059\u308b\u4e8b\u4f8b\u6570\u306e\u6bd4\u7387\u3092\u639b\u3051\u3066\u5168\u4f53\u3078\u96c6\u7d04\u3059\u308b\u3002<\/p>\n<p>\u305f\u3068\u3048\u3070 0.8 \u304b\u3089 0.9 \u306e\u30d3\u30f3\u3067\u5e73\u5747 confidence \u304c 0.85\u3001\u5b9f\u6e2c accuracy \u304c 0.75 \u306a\u3089\u3001\u305d\u306e\u30d3\u30f3\u306e calibration gap \u306f<\/p>\n<p>\\[<br \/>\n|0.75-0.85|<br \/>\n=<br \/>\n0.10<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002ECE \u306f\u3053\u306e\u3088\u3046\u306a\u8aa4\u5dee\u3092\u8907\u6570\u306e\u78ba\u7387\u5e2f\u306b\u3064\u3044\u3066\u52a0\u91cd\u5e73\u5747\u3059\u308b\u3002<\/p>\n<h3>7.6 ECE \u306e\u5024\u306f\u30d3\u30f3\u306e\u8a2d\u8a08\u3068\u8a55\u4fa1\u5bfe\u8c61\u306b\u3088\u3063\u3066\u5909\u308f\u308b<\/h3>\n<p>ECE \u306f calibration \u3092\u4e00\u3064\u306e\u6570\u5024\u3078\u5727\u7e2e\u3067\u304d\u308b\u4e00\u65b9\u3001\u305d\u306e\u5024\u81ea\u4f53\u3082\u6e2c\u5b9a\u65b9\u6cd5\u306b\u4f9d\u5b58\u3059\u308b\u3002Nixon \u3089\u306f\u3001\u65e2\u5b58\u306e calibration metric \u304c\u3059\u3079\u3066\u306e\u30e2\u30c7\u30eb\u51fa\u529b\u3092\u5341\u5206\u306b\u8a55\u4fa1\u3057\u3066\u304a\u3089\u305a\u3001calibration error \u306e\u63a8\u5b9a\u306b\u3082\u975e\u52b9\u7387\u6027\u304c\u3042\u308b\u3068\u3057\u3066\u3001Adaptive Calibration Error\u3001ACE \u3092\u63d0\u6848\u3057\u305f<a href=\"#ref18\">[18]<\/a>\u3002<\/p>\n<p>\u5178\u578b\u7684\u306a ECE \u3067\u306f\u30010 \u304b\u3089 1 \u307e\u3067\u3092\u56fa\u5b9a\u5e45\u306e\u30d3\u30f3\u3078\u5206\u5272\u3059\u308b\u3002\u3057\u304b\u3057\u30e2\u30c7\u30eb\u306e\u4e88\u6e2c\u5024\u304c\u7279\u5b9a\u7bc4\u56f2\u3078\u96c6\u4e2d\u3057\u3066\u3044\u308b\u5834\u5408\u3001\u4e00\u90e8\u306e\u30d3\u30f3\u306b\u306f\u5927\u91cf\u306e\u4e8b\u4f8b\u304c\u5165\u308a\u3001\u5225\u306e\u30d3\u30f3\u306b\u306f\u307b\u3068\u3093\u3069\u4e8b\u4f8b\u304c\u5165\u3089\u306a\u3044\u3002\u305d\u306e\u7d50\u679c\u3001\u30d3\u30f3\u6570\u3084\u5883\u754c\u3092\u5909\u3048\u308b\u3060\u3051\u3067\u63a8\u5b9a\u3055\u308c\u308b calibration error \u3082\u5909\u5316\u3059\u308b\u3002<\/p>\n<p>\u3055\u3089\u306b\u591a\u30af\u30e9\u30b9\u5206\u985e\u3067\u306f\u3001\u6700\u5927\u78ba\u7387\u306e\u30af\u30e9\u30b9\u306b\u3064\u3044\u3066\u306e\u307f confidence \u3068 accuracy \u3092\u6bd4\u8f03\u3059\u308b\u5b9f\u88c5\u304c\u591a\u3044\u3002\u305f\u3068\u3048\u3070 3 \u30af\u30e9\u30b9\u306b\u3064\u3044\u3066\u3001<\/p>\n<p>\\[<br \/>\nq=(0.51,0.48,0.01)<br \/>\n\\]<\/p>\n<p>\u3068<\/p>\n<p>\\[<br \/>\nq=(0.51,0.25,0.24)<br \/>\n\\]<\/p>\n<p>\u306f\u3001\u6700\u5927 confidence \u3060\u3051\u3092\u898b\u308b ECE \u3067\u306f\u3069\u3061\u3089\u3082 0.51 \u3068\u3057\u3066\u6271\u308f\u308c\u308b\u3002\u3057\u304b\u3057\u6b8b\u308a 49% \u306e\u78ba\u7387\u8cea\u91cf\u304c\u3069\u306e\u3088\u3046\u306b\u5206\u914d\u3055\u308c\u3066\u3044\u308b\u304b\u306f\u5927\u304d\u304f\u7570\u306a\u308b\u3002\u5f8c\u6bb5\u306e\u610f\u601d\u6c7a\u5b9a\u3067\u5168\u5019\u88dc\u306e probabilities \u3092\u4f7f\u3046\u5834\u5408\u3001\u3053\u306e\u9055\u3044\u3092\u7121\u8996\u3067\u304d\u306a\u3044\u3002<\/p>\n<p>Nixon \u3089\u306f\u3001\u3053\u306e\u3088\u3046\u306a\u6700\u5927\u4e88\u6e2c\u3060\u3051\u3092\u898b\u308b\u8a55\u4fa1\u3084\u56fa\u5b9a\u30d3\u30f3\u5316\u306e\u554f\u984c\u3092\u6307\u6458\u3057\u3001\u30af\u30e9\u30b9\u3054\u3068\u306e\u78ba\u7387\u3092\u3088\u308a\u5e83\u304f\u8a55\u4fa1\u3059\u308b\u65b9\u6cd5\u3092\u691c\u8a0e\u3057\u3066\u3044\u308b<a href=\"#ref18\">[18]<\/a>\u3002\u305d\u306e\u305f\u3081\u3001\u3042\u308b\u30e2\u30c7\u30eb\u306b\u3064\u3044\u3066\u300cECE \u304c\u4f4e\u3044\u300d\u3068\u5831\u544a\u3055\u308c\u3066\u3082\u3001\u30d3\u30f3\u6570\u3001\u30d3\u30f3\u5883\u754c\u3001\u6700\u5927\u30af\u30e9\u30b9\u3060\u3051\u3092\u8a55\u4fa1\u3057\u305f\u306e\u304b\u5168\u30af\u30e9\u30b9\u3092\u8a55\u4fa1\u3057\u305f\u306e\u304b\u3092\u78ba\u8a8d\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>ECE \u306e\u8a2d\u8a08\u8981\u7d20<\/th>\n<th>\u8a55\u4fa1\u7d50\u679c\u3078\u4e0e\u3048\u308b\u5f71\u97ff<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u30d3\u30f3\u6570<\/td>\n<td>\u5c11\u306a\u3059\u304e\u308b\u3068\u7570\u306a\u308b\u78ba\u7387\u5e2f\u306e\u8aa4\u5dee\u3092\u5e73\u5747\u5316\u3057\u3001\u591a\u3059\u304e\u308b\u3068\u5404\u30d3\u30f3\u306e\u6a19\u672c\u6570\u304c\u6e1b\u3063\u3066\u63a8\u5b9a\u304c\u4e0d\u5b89\u5b9a\u306b\u306a\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u30d3\u30f3\u5883\u754c<\/td>\n<td>\u56fa\u5b9a\u5e45\u3068\u7b49\u983b\u5ea6\u306a\u3069\u306e\u5206\u5272\u65b9\u6cd5\u306b\u3088\u3063\u3066\u3001\u5404\u533a\u9593\u306b\u542b\u307e\u308c\u308b\u4e8b\u4f8b\u6570\u3068\u63a8\u5b9a\u8aa4\u5dee\u304c\u5909\u308f\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u8a55\u4fa1\u3059\u308b\u78ba\u7387<\/td>\n<td>\u6700\u5927\u30af\u30e9\u30b9\u306e confidence \u3060\u3051\u3092\u898b\u308b\u65b9\u6cd5\u3068\u3001\u3059\u3079\u3066\u306e\u30af\u30e9\u30b9\u78ba\u7387\u3092\u898b\u308b\u65b9\u6cd5\u3067\u306f\u691c\u51fa\u3067\u304d\u308b\u8aa4\u8f03\u6b63\u304c\u7570\u306a\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u96c6\u7d04\u65b9\u6cd5<\/td>\n<td>\u7d76\u5bfe\u8aa4\u5dee\u3001\u4e8c\u4e57\u8aa4\u5dee\u3001\u30af\u30e9\u30b9\u5358\u4f4d\u306e\u5e73\u5747\u306a\u3069\u306b\u3088\u3063\u3066\u3001\u540c\u3058\u30e2\u30c7\u30eb\u3067\u3082\u8981\u7d04\u5024\u304c\u5909\u308f\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>calibration \u306f\u6570\u5b66\u7684\u306a\u5b9a\u7fa9\u3092\u6301\u3064\u6027\u8cea\u3060\u304c\u3001\u6709\u9650\u6a19\u672c\u304b\u3089\u305d\u306e\u6027\u8cea\u3092\u6e2c\u308b\u6307\u6a19\u306b\u306f\u63a8\u5b9a\u4e0a\u306e\u8a2d\u8a08\u304c\u5165\u308b\u3002TypeSafe \u304c Jev \u306e probabilities \u3084 confidence \u3092\u3069\u306e calibration metric \u3067\u8a55\u4fa1\u3057\u3066\u3044\u308b\u304b\u304c\u516c\u958b\u3055\u308c\u308c\u3070\u3001\u305d\u306e\u6570\u5024\u304c\u3069\u306e\u5b9a\u7fa9\u306b\u57fa\u3065\u304f\u304b\u3082\u78ba\u8a8d\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002<\/p>\n<h3>7.7 \u901a\u5e38\u306e\u8a00\u8a9e\u30e2\u30c7\u30eb\u3067\u3082\u78ba\u7387\u8f03\u6b63\u306f\u5b9f\u73fe\u3067\u304d\u308b<\/h3>\n<p>RLCD \u306e\u7279\u5fb4\u3092\u660e\u78ba\u306b\u3059\u308b\u305f\u3081\u306b\u306f\u3001\u65e2\u5b58\u306e LLM \u3067\u3082 calibration \u3092\u5b9f\u73fe\u3067\u304d\u308b\u3068\u3044\u3046\u7814\u7a76\u7d50\u679c\u3092\u540c\u6642\u306b\u898b\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002RLHF \u3068 RLCD \u306e\u5dee\u3092\u300cLLM \u306f\u78ba\u7387\u8f03\u6b63\u3067\u304d\u305a\u3001RLCD \u3060\u3051\u304c\u3067\u304d\u308b\u300d\u3068\u7f6e\u304f\u3068\u3001\u65e2\u5b58\u7814\u7a76\u3068\u6574\u5408\u3057\u306a\u304f\u306a\u308b\u3002<\/p>\n<p>Lin\u3001Hilton\u3001Evans \u306f GPT-3 \u306b\u5bfe\u3057\u3066\u3001\u8cea\u554f\u3078\u306e\u56de\u7b54\u3068\u3068\u3082\u306b\u300c90% confidence\u300d\u300chigh confidence\u300d\u306e\u3088\u3046\u306a\u81ea\u7136\u8a00\u8a9e\u306b\u3088\u308b\u4e0d\u78ba\u5b9f\u6027\u8868\u73fe\u3092\u751f\u6210\u3055\u305b\u308b\u65b9\u6cd5\u3092\u8abf\u3079\u305f<a href=\"#ref19\">[19]<\/a>\u3002\u30e2\u30c7\u30eb\u306f logits \u3092\u76f4\u63a5\u8aad\u307f\u51fa\u3055\u306a\u304f\u3066\u3082\u3001\u56de\u7b54\u3068 confidence \u3092\u81ea\u7136\u8a00\u8a9e\u3068\u3057\u3066\u751f\u6210\u3059\u308b\u3088\u3046\u5b66\u7fd2\u3067\u304d\u3001\u305d\u306e verbalized probability \u304c\u5b9f\u6e2c\u6b63\u89e3\u7387\u3068\u826f\u597d\u306b\u8f03\u6b63\u3055\u308c\u308b\u6761\u4ef6\u3092\u793a\u3057\u305f\u3002\u307e\u305f\u3001\u5206\u5e03\u5909\u5316\u306e\u4e0b\u3067\u3082\u4e00\u5b9a\u7a0b\u5ea6 calibration \u304c\u7dad\u6301\u3055\u308c\u308b\u3053\u3068\u3092\u5831\u544a\u3057\u3066\u3044\u308b\u3002<\/p>\n<p>\u3053\u306e\u69cb\u9020\u3067\u306f\u3001\u901a\u5e38\u306e\u751f\u6210\u30e2\u30c7\u30eb\u306b<\/p>\n<p>\\[<br \/>\n\\text{answer}<br \/>\n+<br \/>\n\\text{confidence}<br \/>\n\\]<\/p>\n<p>\u3092\u51fa\u529b\u3055\u305b\u3001confidence \u3068\u5b9f\u969b\u306e\u6b63\u89e3\u7d50\u679c\u3068\u306e\u5bfe\u5fdc\u3092\u5b66\u7fd2\u3059\u308b\u3002\u3064\u307e\u308a\u81ea\u5df1\u56de\u5e30\u578b LLM \u3068\u3044\u3046\u30e2\u30c7\u30eb\u5f62\u5f0f\u305d\u306e\u3082\u306e\u304c\u3001\u8f03\u6b63\u3055\u308c\u305f\u4e0d\u78ba\u5b9f\u6027\u306e\u8868\u73fe\u3092\u539f\u7406\u7684\u306b\u59a8\u3052\u3066\u3044\u308b\u308f\u3051\u3067\u306f\u306a\u3044\u3002<\/p>\n<p>Kadavath \u3089\u3082\u3001\u5927\u898f\u6a21\u8a00\u8a9e\u30e2\u30c7\u30eb\u304c\u81ea\u5206\u306e\u56de\u7b54\u306e\u6b63\u3057\u3055\u3092\u8a55\u4fa1\u3067\u304d\u308b\u304b\u3092\u8abf\u3079\u305f<a href=\"#ref20\">[20]<\/a>\u3002\u591a\u80a2\u9078\u629e\u3084\u771f\u507d\u554f\u984c\u3067\u306f\u3001\u9069\u5207\u306a\u5f62\u5f0f\u3067\u8cea\u554f\u3059\u308b\u3068\u3001\u5927\u898f\u6a21\u306a\u30e2\u30c7\u30eb\u307b\u3069\u826f\u597d\u306a calibration \u3092\u793a\u3057\u305f\u3002\u307e\u305f\u3001\u81ea\u7531\u56de\u7b54\u3092\u4e00\u5ea6\u751f\u6210\u3057\u305f\u5f8c\u3001\u305d\u306e\u56de\u7b54\u304c\u6b63\u3057\u3044\u78ba\u7387\u3092 P(True) \u3068\u3057\u3066\u5225\u9014\u8a55\u4fa1\u3055\u305b\u308b\u65b9\u6cd5\u3067\u3082\u3001\u30e2\u30c7\u30eb\u898f\u6a21\u3068\u3068\u3082\u306b\u81ea\u5df1\u8a55\u4fa1\u6027\u80fd\u3068 calibration \u304c\u6539\u5584\u3059\u308b\u50be\u5411\u3092\u5831\u544a\u3057\u3066\u3044\u308b\u3002<\/p>\n<p>\u4e00\u65b9\u3001\u8cea\u554f\u305d\u306e\u3082\u306e\u306b\u3064\u3044\u3066\u300c\u81ea\u5206\u304c\u7b54\u3048\u3092\u77e5\u3063\u3066\u3044\u308b\u78ba\u7387\u300d\u3092\u8868\u3059 P(IK) \u3067\u306f\u3001\u65b0\u3057\u3044\u8ab2\u984c\u3078\u306e calibration \u306b\u96e3\u3057\u3055\u304c\u6b8b\u308b\u3053\u3068\u3082\u5831\u544a\u3055\u308c\u305f<a href=\"#ref20\">[20]<\/a>\u3002\u3053\u3053\u3067\u3082\u3001calibration \u306f\u30e2\u30c7\u30eb\u5168\u4f53\u306b\u4e00\u5ea6\u4ed8\u4e0e\u3059\u308c\u3070\u7d42\u308f\u308b\u5358\u4e00\u306e\u6027\u8cea\u3067\u306f\u306a\u304f\u3001\u3069\u306e\u78ba\u7387\u5909\u6570\u3092\u4e88\u6e2c\u3055\u305b\u308b\u304b\u3001\u3069\u306e\u5206\u5e03\u3067\u8a55\u4fa1\u3059\u308b\u304b\u306b\u3088\u3063\u3066\u5909\u5316\u3059\u308b\u3002<\/p>\n<h3>7.8 RLHF \u3068 RLCD \u306e\u5dee\u306f\u300c\u8f03\u6b63\u53ef\u80fd\u304b\u300d\u3067\u306f\u306a\u304f\u300c\u4f55\u3092\u5b66\u7fd2\u76ee\u7684\u306e\u4e2d\u5fc3\u306b\u7f6e\u304f\u304b\u300d\u306b\u3042\u308b<\/h3>\n<p>\u65e2\u5b58\u7814\u7a76\u3092\u8e0f\u307e\u3048\u308b\u3068\u3001RLHF \u3068 RLCD \u306e\u6bd4\u8f03\u7bc4\u56f2\u3092\u9650\u5b9a\u3067\u304d\u308b\u3002\u901a\u5e38\u306e LLM \u3067\u3082\u3001\u8ffd\u52a0\u5b66\u7fd2\u3084\u9069\u5207\u306a\u8cea\u554f\u5f62\u5f0f\u306b\u3088\u3063\u3066\u3001\u81ea\u5206\u306e\u56de\u7b54\u306e\u6b63\u3057\u3055\u3092\u8f03\u6b63\u3055\u308c\u305f\u78ba\u7387\u3068\u3057\u3066\u8868\u73fe\u3067\u304d\u308b<a href=\"#ref19\">[19]<\/a><a href=\"#ref20\">[20]<\/a>\u3002\u305d\u306e\u305f\u3081\u3001\u30e2\u30c7\u30eb\u5f62\u5f0f\u3060\u3051\u3092\u6839\u62e0\u306b\u300cRLHF \u578b LLM \u306b\u306f calibration \u304c\u5b58\u5728\u305b\u305a\u3001RLCD \u3060\u3051\u304c probability \u3092\u6271\u3048\u308b\u300d\u3068\u7d50\u8ad6\u3059\u308b\u3053\u3068\u306f\u3067\u304d\u306a\u3044\u3002<\/p>\n<p>\u3088\u308a\u6b63\u78ba\u306a\u5dee\u306f\u3001\u6a19\u6e96\u7684\u306a RLHF \u3068 TypeSafe \u304c\u516c\u958b\u3057\u3066\u3044\u308b RLCD \u3067\u3001\u5b66\u7fd2\u4e0a\u306e\u4e2d\u5fc3\u306b\u7f6e\u304b\u308c\u3066\u3044\u308b\u5bfe\u8c61\u304c\u7570\u306a\u308b\u3053\u3068\u306b\u3042\u308b\u3002RLHF \u3067\u306f\u3001\u4eba\u9593\u306e\u6bd4\u8f03\u304b\u3089\u5b66\u7fd2\u3057\u305f\u5831\u916c\u3092\u9ad8\u3081\u308b\u3053\u3068\u304c\u65b9\u7b56\u6700\u9069\u5316\u306e\u4e2d\u5fc3\u306b\u306a\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\max_\\pi<br \/>\n\\mathbb{E}<br \/>\n[r_\\phi(x,y)]<br \/>\n\\]<\/p>\n<p>\u4e00\u65b9\u3001TypeSafe \u306f RLCD \u306b\u3064\u3044\u3066\u3001calibrated decisions\u3001\u3059\u306a\u308f\u3061\u5224\u65ad\u3068\u3068\u3082\u306b\u8a8d\u8b58\u8ad6\u7684\u306b\u8aa0\u5b9f\u306a probability \u3092\u8fd4\u3059\u3053\u3068\u3092\u8a2d\u8a08\u76ee\u6a19\u3068\u3057\u3066\u660e\u793a\u3057\u3066\u3044\u308b<a href=\"#ref1\">[1]<\/a>\u3002\u3053\u306e\u8a2d\u8a08\u601d\u60f3\u3067\u306f\u3001\u78ba\u7387\u5024\u306e\u54c1\u8cea\u304c\u88dc\u52a9\u7684\u306a\u8868\u793a\u9805\u76ee\u3067\u306f\u306a\u304f\u3001\u30e2\u30c7\u30eb\u3092\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u3078\u7d44\u307f\u8fbc\u3080\u305f\u3081\u306e\u4e2d\u5fc3\u7684\u306a\u51fa\u529b\u306b\u306a\u308b\u3002<\/p>\n<p>\u3057\u305f\u304c\u3063\u3066\u6bd4\u8f03\u3059\u3079\u304d\u306a\u306e\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\text{calibration \u304c\u53ef\u80fd\u304b}<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u4e8c\u629e\u3067\u306f\u306a\u304f\u3001<\/p>\n<p>\\[<br \/>\n\\text{calibration \u3092\u3069\u306e\u6bb5\u968e\u3067\u3001\u3069\u306e\u76ee\u7684\u95a2\u6570\u306e\u4e0b\u3067\u3001\u3069\u306e\u51fa\u529b\u306b\u5bfe\u3057\u3066\u8981\u6c42\u3059\u308b\u304b}<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u8a2d\u8a08\u4e0a\u306e\u9055\u3044\u3067\u3042\u308b\u3002<\/p>\n<p>\u3053\u306e\u533a\u5225\u306f Jev \u3092\u8a55\u4fa1\u3059\u308b\u3068\u304d\u306b\u3082\u5fc5\u8981\u306b\u306a\u308b\u3002\u9ad8\u3044 accuracy \u3060\u3051\u3067\u306f probability \u306e\u610f\u5473\u3092\u4fdd\u8a3c\u3067\u304d\u305a\u3001\u4f4e\u3044 calibration error \u3060\u3051\u3067\u3082\u5165\u529b\u3054\u3068\u306e\u8b58\u5225\u80fd\u529b\u3092\u4fdd\u8a3c\u3067\u304d\u306a\u3044\u3002\u3055\u3089\u306b sharpness \u304c\u9ad8\u304f\u3066\u3082\u3001\u305d\u306e\u78ba\u7387\u304c\u5b9f\u6e2c\u7d50\u679c\u3068\u5bfe\u5fdc\u3057\u3066\u3044\u306a\u3051\u308c\u3070\u904e\u4fe1\u306b\u306a\u308b\u3002Jev \u306e\u3088\u3046\u306b probability \u3084 confidence \u3092\u5f8c\u6bb5\u306e\u6761\u4ef6\u5206\u5c90\u3078\u76f4\u63a5\u6e21\u3059\u30e2\u30c7\u30eb\u3067\u306f\u3001\u3053\u308c\u3089\u3092\u5225\u3005\u306e\u8a55\u4fa1\u8ef8\u3068\u3057\u3066\u78ba\u8a8d\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002<\/p>\n<p>\u6b21\u7bc0\u3067\u306f\u3001\u3053\u306e\u8a55\u4fa1\u306e\u8b70\u8ad6\u3092 Jev \u306e\u5b9f\u969b\u306e\u51fa\u529b\u578b\u3078\u623b\u3059\u3002Noul\u3001Choice\u3001Score \u304c\u8fd4\u3059\u5024\u3092\u78ba\u7387\u5909\u6570\u3068\u3057\u3066\u8868\u73fe\u3059\u308b\u3068\u3001TypeSafe \u304c\u3044\u3046 typed probabilistic decisions \u304c\u3001\u65e2\u5b58\u306e\u78ba\u7387\u30e2\u30c7\u30eb\u306e\u3069\u3053\u3078\u5bfe\u5fdc\u3059\u308b\u304b\u3092\u5177\u4f53\u7684\u306b\u6574\u7406\u3067\u304d\u308b\u3002<\/p>\n<hr>\n<h2>8. Jev \u306e Noul\u3001Choice\u3001Score \u3092\u78ba\u7387\u5909\u6570\u3068\u3057\u3066\u8aad\u3080<\/h2>\n<p>\u3053\u3053\u307e\u3067\u6271\u3063\u3066\u304d\u305f\u78ba\u7387\u8f03\u6b63\u306e\u8b70\u8ad6\u3092\u3001Jev \u304c\u5b9f\u969b\u306b\u8fd4\u3059\u5024\u3078\u5bfe\u5fdc\u3055\u305b\u308b\u3002Cloudflare Workers AI \u3067\u516c\u958b\u3055\u308c\u3066\u3044\u308b Jev \u306f\u3001\u4e00\u3064\u306e state \u306b\u5bfe\u3057\u3066\u8907\u6570\u306e\u8cea\u554f\u3092\u4e0e\u3048\u3001\u305d\u308c\u305e\u308c\u3092 Noul\u3001Choice\u3001Score \u306e\u3044\u305a\u308c\u304b\u306e\u578b\u3068\u3057\u3066\u6307\u5b9a\u3059\u308b\u3002Cloudflare \u306e\u8aac\u660e\u3067\u306f\u3001Noul \u306f yes \/ no \u306e\u5224\u65ad\u306b probability \u3092\u8fd4\u3057\u3001Choice \u306f\u5b9a\u7fa9\u6e08\u307f\u306e\u9078\u629e\u80a2\u4e0a\u306e distribution \u3068 confidence \u3092\u8fd4\u3057\u3001Score \u306f scale \u4e0a\u306e score\u3001\u5404 level \u306e distribution\u3001confidence \u3092\u8fd4\u3059<a href=\"#ref2\">[2]<\/a>\u3002<\/p>\n<p>\u3053\u306e API \u306f\u3001\u524d\u7bc0\u307e\u3067\u306e\u6570\u7406\u30e2\u30c7\u30eb\u3068\u5bfe\u5fdc\u3055\u305b\u3084\u3059\u3044\u3002\u305f\u3060\u3057\u3001\u3053\u3053\u3067\u884c\u3046 Bernoulli \u5206\u5e03\u3001\u30ab\u30c6\u30b4\u30ea\u30ab\u30eb\u5206\u5e03\u3001\u671f\u5f85\u5024\u3068\u3044\u3046\u8868\u73fe\u306f\u3001\u516c\u958b\u3055\u308c\u305f\u5165\u51fa\u529b\u3092\u65e2\u5b58\u306e\u78ba\u7387\u8ad6\u3067\u8a18\u8ff0\u3059\u308b\u305f\u3081\u306e\u5f62\u5f0f\u5316\u3067\u3042\u308b\u3002Jev \u306e\u5185\u90e8\u3067\u540c\u3058\u5206\u5e03\u65cf\u3092\u660e\u793a\u7684\u306b\u30d1\u30e9\u30e1\u30fc\u30bf\u30fc\u5316\u3057\u3066\u3044\u308b\u3053\u3068\u3084\u3001\u305d\u308c\u3089\u306b\u5bfe\u5fdc\u3057\u305f\u7279\u5b9a\u306e\u640d\u5931\u95a2\u6570\u3092\u4f7f\u3063\u3066\u5b66\u7fd2\u3057\u3066\u3044\u308b\u3053\u3068\u307e\u3067\u3092\u610f\u5473\u3057\u306a\u3044\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u578b<\/th>\n<th>\u516c\u958b API \u3067\u78ba\u8a8d\u3067\u304d\u308b\u5024<\/th>\n<th>\u78ba\u7387\u8ad6\u4e0a\u306e\u5f62\u5f0f\u5316<\/th>\n<th>\u516c\u958b\u60c5\u5831\u304b\u3089\u78ba\u5b9a\u3067\u304d\u308b\u7bc4\u56f2<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Noul<\/td>\n<td>0 \u304b\u3089 1 \u306e\u5358\u4e00\u5024 noul \u3092\u8fd4\u3059\u3002<\/td>\n<td>\u4e8c\u5024\u78ba\u7387\u5909\u6570\u306e Bernoulli \u30d1\u30e9\u30e1\u30fc\u30bf\u30fc \\(q=P(Y=1\\mid x)\\) \u3068\u3057\u3066\u8868\u73fe\u3067\u304d\u308b\u3002<\/td>\n<td>TypeSafe \u306f Noul \u3092 yes \/ no \u306e\u5224\u65ad\u306b probability \u3092\u8fd4\u3059\u578b\u3068\u8aac\u660e\u3057\u3066\u3044\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>Choice<\/td>\n<td>choice\u3001\u5019\u88dc\u3054\u3068\u306e probabilities\u3001confidence \u3092\u8fd4\u3059\u3002<\/td>\n<td>\u6709\u9650\u96c6\u5408\u4e0a\u306e\u30ab\u30c6\u30b4\u30ea\u30ab\u30eb\u5206\u5e03 \\(q_1,\\ldots,q_K\\) \u3068\u3057\u3066\u8868\u73fe\u3067\u304d\u308b\u3002<\/td>\n<td>\u5019\u88dc\u3054\u3068\u306e probability \u3068 confidence \u304c\u5225\u30d5\u30a3\u30fc\u30eb\u30c9\u3068\u3057\u3066\u516c\u958b\u3055\u308c\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>Score<\/td>\n<td>score\u3001\u5404 level \u306e probabilities\u3001confidence\u3001legend \u3092\u8fd4\u3059\u3002<\/td>\n<td>\u9806\u5e8f\u4ed8\u304d\u96e2\u6563\u5909\u6570\u4e0a\u306e\u78ba\u7387\u5206\u5e03\u3068\u3001\u305d\u306e\u5206\u5e03\u304b\u3089\u5f97\u3089\u308c\u308b\u4ee3\u8868\u5024\u3068\u3057\u3066\u8868\u73fe\u3067\u304d\u308b\u3002<\/td>\n<td>\u516c\u958b\u4f8b\u3067\u306f score \u304c probability \u306e\u52a0\u91cd\u5e73\u5747\u3068\u4e00\u81f4\u3059\u308b\u304c\u3001\u305d\u306e\u8a08\u7b97\u5f0f\u81ea\u4f53\u306f API \u4ed5\u69d8\u3068\u3057\u3066\u660e\u8a18\u3055\u308c\u3066\u3044\u306a\u3044\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h3>8.1 Noul \u306f\u4e00\u3064\u306e\u78ba\u7387\u3067\u4e8c\u5024\u5224\u65ad\u3092\u8868\u73fe\u3059\u308b<\/h3>\n<p>Noul \u306e\u516c\u958b\u4f8b\u3067\u306f\u3001\u300c\u3053\u306e\u554f\u3044\u5408\u308f\u305b\u306f\u7dca\u6025\u6027\u3092\u8868\u3057\u3066\u3044\u308b\u304b\u300d\u3068\u3044\u3046\u8cea\u554f\u306b\u5bfe\u3057\u3066\u3001<\/p>\n<p>\\[<br \/>\n\\text{noul}=0.95<br \/>\n\\]<\/p>\n<p>\u304c\u8fd4\u3055\u308c\u3066\u3044\u308b<a href=\"#ref2\">[2]<\/a>\u3002\u307e\u305f\u3001\u5225\u306e\u4f8b\u3067\u306f\u300c\u8fd4\u91d1\u304c\u8981\u6c42\u3055\u308c\u3066\u3044\u308b\u304b\u300d\u300c\u898f\u7d04\u4e0a\u305d\u306e\u8fd4\u91d1\u304c\u8a8d\u3081\u3089\u308c\u308b\u304b\u300d\u3068\u3044\u3046\u4e8c\u3064\u306e\u8cea\u554f\u306b\u3001\u305d\u308c\u305e\u308c 0.99 \u3068 0.98 \u304c\u8fd4\u3055\u308c\u308b\u3002TypeSafe \u306e workflow \u306e\u8aac\u660e\u3067\u3082\u3001Noul \u306f yes or no \u306e\u554f\u3044\u306b probability \u3092\u8fd4\u3059\u578b\u3068\u3057\u3066\u8aac\u660e\u3055\u308c\u3066\u3044\u308b\u3002<\/p>\n<p>\u3053\u306e\u5165\u51fa\u529b\u3092\u78ba\u7387\u5909\u6570\u3068\u3057\u3066\u8868\u3059\u306a\u3089\u3001\u5224\u65ad\u5bfe\u8c61\u3092<\/p>\n<p>\\[<br \/>\nY\\in\\{0,1\\}<br \/>\n\\]<\/p>\n<p>\u3068\u3057\u3001<\/p>\n<p>\\[<br \/>\nq_\\theta(x)<br \/>\n=<br \/>\nP_\\theta(Y=1\\mid X=x)<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u4e00\u3064\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u30fc\u3067\u8868\u73fe\u3067\u304d\u308b\u3002Bernoulli \u5206\u5e03\u306a\u3089\u3001<\/p>\n<p>\\[<br \/>\nP_\\theta(Y=y\\mid X=x)<br \/>\n=<br \/>\nq_\\theta(x)^y<br \/>\n\\left(<br \/>\n1-q_\\theta(x)<br \/>\n\\right)^{1-y}<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\\(Y=1\\) \u306e\u78ba\u7387\u3092 \\(q_\\theta(x)\\) \u3068\u3059\u308c\u3070\u3001\u53cd\u5bfe\u5074\u306e \\(Y=0\\) \u306f\u81ea\u52d5\u7684\u306b<\/p>\n<p>\\[<br \/>\nP_\\theta(Y=0\\mid X=x)<br \/>\n=<br \/>\n1-q_\\theta(x)<br \/>\n\\]<\/p>\n<p>\u3067\u6c7a\u307e\u308b\u3002\u305d\u306e\u305f\u3081\u4e8c\u5024\u5224\u65ad\u3067\u306f\u3001\u4e8c\u3064\u306e probability \u3092\u5225\u3005\u306b\u8fd4\u3055\u306a\u304f\u3066\u3082\u4e00\u3064\u306e\u5024\u3060\u3051\u3067\u5206\u5e03\u5168\u4f53\u3092\u8868\u73fe\u3067\u304d\u308b\u3002<\/p>\n<p>\u305f\u3068\u3048\u3070 Noul \u304c 0.95 \u306a\u3089\u3001\u3053\u306e\u5f62\u5f0f\u5316\u3067\u306f<\/p>\n<p>\\[<br \/>\nP(Y=1\\mid x)=0.95<br \/>\n\\]<\/p>\n<p>\\[<br \/>\nP(Y=0\\mid x)=0.05<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u4e8c\u5024\u5206\u5e03\u3068\u3057\u3066\u8aad\u3081\u308b\u3002\u305f\u3060\u3057\u3001\u524d\u7bc0\u3067\u78ba\u8a8d\u3057\u305f\u3088\u3046\u306b\u3001\u3053\u306e 0.95 \u3092\u300c\u5b9f\u969b\u306b\u3082 95% \u6b63\u3057\u3044\u300d\u3068\u89e3\u91c8\u3059\u308b\u306b\u306f calibration \u306e\u691c\u8a3c\u304c\u5225\u9014\u5fc5\u8981\u306b\u306a\u308b\u3002API \u304c 0 \u304b\u3089 1 \u306e\u5024\u3092\u8fd4\u3059\u3053\u3068\u3068\u3001\u305d\u306e\u5024\u304c\u5b9f\u6e2c\u983b\u5ea6\u3078\u6b63\u78ba\u306b\u5bfe\u5fdc\u3059\u308b\u3053\u3068\u306f\u5225\u306e\u6027\u8cea\u3067\u3042\u308b\u3002<\/p>\n<h3>8.2 Choice \u306f\u6709\u9650\u500b\u306e\u5019\u88dc\u4e0a\u306e\u78ba\u7387\u5206\u5e03\u3068\u3057\u3066\u8aad\u3081\u308b<\/h3>\n<p>Choice \u306f\u4e8c\u5024\u5224\u65ad\u3092\u6709\u9650\u500b\u306e\u9078\u629e\u80a2\u3078\u62e1\u5f35\u3057\u305f\u5f62\u3068\u3057\u3066\u8aad\u3081\u308b\u3002Cloudflare \u306e\u4f8b\u3067\u306f\u3001\u554f\u3044\u5408\u308f\u305b\u306e\u62c5\u5f53\u90e8\u7f72\u3092 billing\u3001technical\u3001sales \u306e 3 \u5019\u88dc\u304b\u3089\u9078\u3076\u554f\u3044\u306b\u5bfe\u3057\u3001\u6b21\u306e probabilities \u304c\u8fd4\u3055\u308c\u3066\u3044\u308b<a href=\"#ref2\">[2]<\/a>\u3002<\/p>\n<p>\\[<br \/>\nq_{\\mathrm{billing}}=0.87<br \/>\n\\]<\/p>\n<p>\\[<br \/>\nq_{\\mathrm{technical}}=0.13<br \/>\n\\]<\/p>\n<p>\\[<br \/>\nq_{\\mathrm{sales}}=0<br \/>\n\\]<\/p>\n<p>\u5408\u8a08\u306f\u3001<\/p>\n<p>\\[<br \/>\n0.87+0.13+0=1<br \/>\n\\]<\/p>\n<p>\u306b\u306a\u308b\u3002\u5019\u88dc\u96c6\u5408\u3092<\/p>\n<p>\\[<br \/>\n\\mathcal{Y}<br \/>\n=<br \/>\n\\{1,\\ldots,K\\}<br \/>\n\\]<\/p>\n<p>\u3068\u3059\u308c\u3070\u3001\u3053\u306e\u5f62\u5f0f\u306f\u30ab\u30c6\u30b4\u30ea\u30ab\u30eb\u5206\u5e03\u3068\u3057\u3066<\/p>\n<p>\\[<br \/>\nq_k<br \/>\n=<br \/>\nP_\\theta(Y=k\\mid X=x)<br \/>\n\\]<\/p>\n<p>\\[<br \/>\n\\sum_{k=1}^{K}q_k=1<br \/>\n\\]<\/p>\n<p>\u3068\u8868\u73fe\u3067\u304d\u308b\u3002<\/p>\n<p>\u6700\u7d42\u7684\u306b\u8fd4\u3055\u308c\u308b choice \u306f\u3001\u3053\u306e\u5206\u5e03\u3067\u6700\u3082\u5927\u304d\u3044 probability \u3092\u6301\u3064\u5019\u88dc\u3068\u3057\u3066\u3001\u6982\u5ff5\u7684\u306b\u306f<\/p>\n<p>\\[<br \/>\n\\hat{y}<br \/>\n=<br \/>\n\\arg\\max_k q_k<br \/>\n\\]<\/p>\n<p>\u3068\u5bfe\u5fdc\u3055\u305b\u3089\u308c\u308b\u3002\u516c\u958b\u4f8b\u3067\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\arg\\max<br \/>\n\\{0.87,0.13,0\\}<br \/>\n=<br \/>\n\\mathrm{billing}<br \/>\n\\]<\/p>\n<p>\u3067\u3042\u308a\u3001API \u306e choice \u3082 billing \u306b\u306a\u3063\u3066\u3044\u308b<a href=\"#ref2\">[2]<\/a>\u3002<\/p>\n<p>\u3053\u306e\u69cb\u9020\u3067\u306f\u3001\u6700\u7d42\u7684\u306a choice \u3060\u3051\u3092\u898b\u308b\u5834\u5408\u3068 probabilities \u5168\u4f53\u3092\u898b\u308b\u5834\u5408\u3067\u5f97\u3089\u308c\u308b\u60c5\u5831\u91cf\u304c\u7570\u306a\u308b\u3002\u305f\u3068\u3048\u3070\u3001<\/p>\n<p>\\[<br \/>\n(0.87,0.13,0)<br \/>\n\\]<\/p>\n<p>\u3068<\/p>\n<p>\\[<br \/>\n(0.34,0.33,0.33)<br \/>\n\\]<\/p>\n<p>\u306f\u3001\u6700\u5927\u5024\u306e\u5019\u88dc\u304c\u540c\u3058\u306a\u3089\u3069\u3061\u3089\u3082\u540c\u3058 choice \u3092\u8fd4\u3057\u5f97\u308b\u3002\u3057\u304b\u3057\u524d\u8005\u3067\u306f\u4e00\u3064\u306e\u5019\u88dc\u3078\u5927\u304d\u304f\u78ba\u7387\u304c\u96c6\u4e2d\u3057\u3001\u5f8c\u8005\u3067\u306f 3 \u5019\u88dc\u304c\u307b\u307c\u62ee\u6297\u3057\u3066\u3044\u308b\u3002\u5f8c\u6bb5\u306e\u30d7\u30ed\u30b0\u30e9\u30e0\u304c\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u306e\u8981\u5426\u3092\u5224\u65ad\u3059\u308b\u306a\u3089\u3001choice \u3060\u3051\u3067\u306a\u304f\u5206\u5e03\u5168\u4f53\u3092\u5229\u7528\u3059\u308b\u610f\u5473\u304c\u751f\u307e\u308c\u308b\u3002<\/p>\n<h3>8.3 Choice \u306e confidence \u306f\u6700\u5927 probability \u3068\u540c\u3058\u5024\u3067\u306f\u306a\u3044<\/h3>\n<p>Choice \u306b\u306f probabilities \u306b\u52a0\u3048\u3066 confidence \u3082\u5b58\u5728\u3059\u308b\u3002\u5148\u307b\u3069\u306e\u62c5\u5f53\u90e8\u7f72\u306e\u4f8b\u3067\u306f\u3001\u6700\u5927 probability \u306f billing \u306e 0.87 \u3060\u304c\u3001confidence \u306f 0.8 \u3067\u3042\u308b<a href=\"#ref2\">[2]<\/a>\u3002<\/p>\n<p>\\[<br \/>\n\\max_k q_k<br \/>\n=<br \/>\n0.87<br \/>\n\\]<\/p>\n<p>\\[<br \/>\n\\mathrm{confidence}<br \/>\n=<br \/>\n0.8<br \/>\n\\]<\/p>\n<p>\u3057\u305f\u304c\u3063\u3066\u3001\u5c11\u306a\u304f\u3068\u3082\u3053\u306e\u516c\u958b\u4f8b\u3067\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\mathrm{confidence}<br \/>\n\\ne<br \/>\n\\max_k q_k<br \/>\n\\]<\/p>\n<p>\u3067\u3042\u308b\u3002<\/p>\n<p>\u3053\u306e\u5dee\u306f\u3001probability \u3068 confidence \u3092\u5225\u306e\u78ba\u7387\u91cf\u3068\u3057\u3066\u6271\u3046\u5fc5\u8981\u304c\u3042\u308b\u3053\u3068\u3092\u793a\u3059\u3002\u305f\u3060\u3057\u3001confidence \u304c\u4f55\u3092\u6761\u4ef6\u3068\u3057\u305f\u3069\u306e\u78ba\u7387\u306a\u306e\u304b\u3001\u305d\u306e\u8a08\u7b97\u5f0f\u304c entropy\u3001margin\u3001\u5225\u30e2\u30c7\u30eb\u306b\u3088\u308b\u4e88\u6e2c\u3001\u3042\u308b\u3044\u306f\u5225\u306e\u5185\u90e8\u91cf\u304b\u3089\u69cb\u6210\u3055\u308c\u308b\u306e\u304b\u306f\u3001\u516c\u958b\u8cc7\u6599\u304b\u3089\u78ba\u5b9a\u3067\u304d\u306a\u3044\u3002<\/p>\n<p>\u5225\u306e Choice \u4f8b\u3067\u306f\u3001account\u3001billing\u3001technical\u3001other \u306e 4 \u5019\u88dc\u306b\u5bfe\u3057\u3066 account \u306e probability \u304c 1 \u3068\u306a\u308a\u3001confidence \u3082 1 \u306b\u306a\u3063\u3066\u3044\u308b<a href=\"#ref2\">[2]<\/a>\u3002\u3053\u306e\u4f8b\u3060\u3051\u3092\u898b\u308b\u3068\u4e21\u8005\u306f\u4e00\u81f4\u3059\u308b\u304c\u30010.87 \u3068 0.8 \u306e\u4f8b\u304c\u5b58\u5728\u3059\u308b\u305f\u3081\u3001\u4e00\u822c\u5f0f\u3068\u3057\u3066<\/p>\n<p>\\[<br \/>\nC=\\max_k q_k<br \/>\n\\]<\/p>\n<p>\u3092\u7f6e\u304f\u3053\u3068\u306f\u3067\u304d\u306a\u3044\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u91cf<\/th>\n<th>\u62c5\u5f53\u90e8\u7f72\u306e\u516c\u958b\u4f8b<\/th>\n<th>\u78ba\u5b9a\u3067\u304d\u308b\u610f\u5473<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>choice<\/td>\n<td>billing<\/td>\n<td>Jev \u304c\u6700\u7d42\u7684\u306b\u9078\u629e\u3057\u305f\u5019\u88dc\u3092\u8868\u3059\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u6700\u5927 probability<\/td>\n<td>billing = 0.87<\/td>\n<td>\u516c\u958b\u3055\u308c\u305f\u5019\u88dc\u5206\u5e03\u306e\u4e2d\u3067 billing \u306b\u5272\u308a\u5f53\u3066\u3089\u308c\u305f\u78ba\u7387\u3092\u8868\u3059\u3002<\/td>\n<\/tr>\n<tr>\n<td>confidence<\/td>\n<td>0.8<\/td>\n<td>probabilities \u3068\u306f\u5225\u30d5\u30a3\u30fc\u30eb\u30c9\u3067\u8fd4\u3055\u308c\u308b\u304c\u3001\u305d\u306e\u53b3\u5bc6\u306a\u5b9a\u7fa9\u5f0f\u306f\u516c\u958b\u8cc7\u6599\u304b\u3089\u78ba\u5b9a\u3067\u304d\u306a\u3044\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h3>8.4 Score \u306f\u9806\u5e8f\u4ed8\u304d level \u4e0a\u306e\u5206\u5e03\u3092\u6301\u3064<\/h3>\n<p>Score \u306f Choice \u3088\u308a\u4e00\u6bb5\u69cb\u9020\u304c\u5897\u3048\u308b\u3002Cloudflare \u306e\u4f8b\u3067\u306f\u3001\u9867\u5ba2\u306e frustration \u3092 Calm\u3001Frustrated\u3001Very angry \u306e 3 \u6bb5\u968e\u3067\u8a55\u4fa1\u3059\u308b\u3002\u3053\u306e\u3068\u304d API \u306f legend \u3068\u3057\u3066\u3001<\/p>\n<p>\\[<br \/>\n0\\mapsto\\mathrm{Calm}<br \/>\n\\]<\/p>\n<p>\\[<br \/>\n1\\mapsto\\mathrm{Frustrated}<br \/>\n\\]<\/p>\n<p>\\[<br \/>\n2\\mapsto\\mathrm{Very\\ angry}<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u5bfe\u5fdc\u3092\u8fd4\u3057\u3001\u5404 level \u306e probabilities \u3092<\/p>\n<p>\\[<br \/>\n(q_0,q_1,q_2)<br \/>\n=<br \/>\n(0,0.96,0.04)<br \/>\n\\]<\/p>\n<p>\u3068\u3057\u3066\u8fd4\u3059<a href=\"#ref2\">[2]<\/a>\u3002<\/p>\n<p>Choice \u3067\u306f\u5019\u88dc\u540d\u306e\u9593\u306b\u5fc5\u305a\u3057\u3082\u9806\u5e8f\u95a2\u4fc2\u3092\u4eee\u5b9a\u3059\u308b\u5fc5\u8981\u306f\u306a\u3044\u3002billing \u3068 technical \u306e\u3069\u3061\u3089\u304c\u300c\u5927\u304d\u3044\u300d\u3068\u3044\u3046\u95a2\u4fc2\u306f\u901a\u5e38\u5b9a\u7fa9\u3055\u308c\u306a\u3044\u3002\u4e00\u65b9\u3001Score \u306e 0\u30011\u30012 \u306b\u306f\u5c3a\u5ea6\u4e0a\u306e\u9806\u5e8f\u304c\u3042\u308a\u3001<\/p>\n<p>\\[<br \/>\n0&lt;1&lt;2<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u95a2\u4fc2\u3092\u6301\u3064\u3002\u3053\u306e\u305f\u3081 Score \u306f\u3001\u6709\u9650\u500b\u306e\u9806\u5e8f\u4ed8\u304d level \u3092\u53d6\u308b\u78ba\u7387\u5909\u6570 \\(S\\) \u3068\u3057\u3066\u3001<\/p>\n<p>\\[<br \/>\nP(S=j\\mid X=x)<br \/>\n=<br \/>\nq_j<br \/>\n\\]<\/p>\n<p>\u3068\u5f62\u5f0f\u5316\u3067\u304d\u308b\u3002<\/p>\n<p>\u3053\u306e\u3068\u304d\u5206\u5e03\u5168\u4f53\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\sum_{j=0}^{J}q_j=1<br \/>\n\\]<\/p>\n<p>\u3092\u6e80\u305f\u3059\u3002\u516c\u958b\u4f8b\u3067\u306f\u3001<\/p>\n<p>\\[<br \/>\n0+0.96+0.04=1<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002<\/p>\n<h3>8.5 \u516c\u958b\u3055\u308c\u3066\u3044\u308b Score \u306e\u4f8b\u3067\u306f score \u304c\u78ba\u7387\u52a0\u91cd\u5e73\u5747\u3068\u4e00\u81f4\u3059\u308b<\/h3>\n<p>frustration \u306e\u4f8b\u3067\u8fd4\u3055\u308c\u308b score \u306f 1.04 \u3067\u3042\u308b<a href=\"#ref2\">[2]<\/a>\u3002\u5404 level \u306e\u6570\u5024\u3068 probability \u3092\u639b\u3051\u3066\u5408\u8a08\u3059\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\n0\\times0<br \/>\n+<br \/>\n1\\times0.96<br \/>\n+<br \/>\n2\\times0.04<br \/>\n=<br \/>\n1.04<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308a\u3001API \u306e score \u3068\u4e00\u81f4\u3059\u308b\u3002<\/p>\n<p>\u9806\u5e8f\u4ed8\u304d\u96e2\u6563\u78ba\u7387\u5909\u6570 \\(S\\) \u306e\u671f\u5f85\u5024\u306f\u3001\u4e00\u822c\u306b<\/p>\n<p>\\[<br \/>\n\\mathbb{E}[S\\mid X=x]<br \/>\n=<br \/>\n\\sum_j<br \/>\nj\\,P(S=j\\mid X=x)<br \/>\n\\]<\/p>\n<p>\u3067\u5b9a\u7fa9\u3055\u308c\u308b\u3002\u3053\u306e\u4f8b\u306b probability \u3092\u4ee3\u5165\u3059\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\n\\mathbb{E}[S\\mid X=x]<br \/>\n=<br \/>\n1.04<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u305f\u3081\u3001\u5c11\u306a\u304f\u3068\u3082\u3053\u306e\u516c\u958b\u4f8b\u306e score \u306f level \u5206\u5e03\u306e\u671f\u5f85\u5024\u3068\u3057\u3066\u89e3\u91c8\u3067\u304d\u308b\u3002<\/p>\n<p>Cloudflare \u304c\u516c\u958b\u3057\u3066\u3044\u308b account risk \u306e\u5225\u306e Score \u4f8b\u3067\u3082\u540c\u3058\u95a2\u4fc2\u3092\u78ba\u8a8d\u3067\u304d\u308b\u3002Low\u3001Moderate\u3001High \u3092\u305d\u308c\u305e\u308c 0\u30011\u30012 \u3068\u3057\u3001probabilities \u304c<\/p>\n<p>\\[<br \/>\n(0,0.16,0.84)<br \/>\n\\]<\/p>\n<p>\u306e\u3068\u304d\u3001API \u304c\u8fd4\u3059 score \u306f 1.84 \u3067\u3042\u308b<a href=\"#ref2\">[2]<\/a>\u3002\u78ba\u7387\u52a0\u91cd\u5e73\u5747\u3092\u8a08\u7b97\u3059\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\n0\\times0<br \/>\n+<br \/>\n1\\times0.16<br \/>\n+<br \/>\n2\\times0.84<br \/>\n=<br \/>\n1.84<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308a\u3001\u3053\u306e\u4f8b\u3067\u3082\u4e00\u81f4\u3059\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u516c\u958b\u4f8b<\/th>\n<th>Level probabilities<\/th>\n<th>\u52a0\u91cd\u5e73\u5747<\/th>\n<th>API \u306e score<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Customer frustration<\/td>\n<td>\\((0,0.96,0.04)\\)<\/td>\n<td>\\(0\\times0+1\\times0.96+2\\times0.04=1.04\\)<\/td>\n<td>1.04<\/td>\n<\/tr>\n<tr>\n<td>Account risk<\/td>\n<td>\\((0,0.16,0.84)\\)<\/td>\n<td>\\(0\\times0+1\\times0.16+2\\times0.84=1.84\\)<\/td>\n<td>1.84<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u4e8c\u3064\u306e\u516c\u958b\u4f8b\u304c\u3068\u3082\u306b<\/p>\n<p>\\[<br \/>\n\\mathrm{score}<br \/>\n=<br \/>\n\\sum_j j q_j<br \/>\n\\]<\/p>\n<p>\u3092\u6e80\u305f\u3057\u3066\u3044\u308b\u305f\u3081\u3001Score \u3092 level \u5206\u5e03\u306e\u671f\u5f85\u5024\u3068\u3057\u3066\u8aad\u3080\u3053\u3068\u306b\u306f\u5f37\u3044\u6574\u5408\u6027\u304c\u3042\u308b\u3002\u305f\u3060\u3057\u3001Cloudflare \u306e\u516c\u958b\u4ed5\u69d8\u306f Score \u306b\u3064\u3044\u3066\u300ccontinuous rating on a scale\u300d\u3068\u8aac\u660e\u3057\u3001score \u3068 level probabilities \u3092\u8fd4\u3059\u3053\u3068\u3092\u793a\u3057\u3066\u3044\u308b\u4e00\u65b9\u3001score \u306e\u4e00\u822c\u7684\u306a\u8a08\u7b97\u5f0f\u3092\u671f\u5f85\u5024\u3068\u3057\u3066\u660e\u6587\u5316\u3057\u3066\u3044\u306a\u3044\u3002\u305d\u306e\u305f\u3081\u3001\u4e0a\u5f0f\u306f\u516c\u958b\u4f8b\u304b\u3089\u78ba\u8a8d\u3067\u304d\u308b\u95a2\u4fc2\u3068\u3057\u3066\u6271\u3044\u3001Jev \u306e API \u4ed5\u69d8\u5168\u4f53\u306b\u3064\u3044\u3066\u4fdd\u8a3c\u3055\u308c\u305f\u5185\u90e8\u8a08\u7b97\u5f0f\u3068\u3057\u3066\u65ad\u5b9a\u3059\u308b\u7bc4\u56f2\u307e\u3067\u306f\u5e83\u3052\u306a\u3044\u3002<\/p>\n<h3>8.6 Score \u306e\u671f\u5f85\u5024\u3060\u3051\u3092\u898b\u308b\u3068\u5206\u5e03\u5f62\u72b6\u306e\u60c5\u5831\u304c\u5931\u308f\u308c\u308b<\/h3>\n<p>Score \u3092\u671f\u5f85\u5024\u3068\u3057\u3066\u8aad\u3080\u5834\u5408\u3001score \u304c\u540c\u3058\u3067\u3082\u80cc\u5f8c\u306e probability distribution \u304c\u7570\u306a\u308b\u53ef\u80fd\u6027\u304c\u3042\u308b\u3002\u305f\u3068\u3048\u3070 0\u30011\u30012 \u306e 3 level \u306b\u3064\u3044\u3066\u3001<\/p>\n<p>\\[<br \/>\nq^{(A)}<br \/>\n=<br \/>\n(0,1,0)<br \/>\n\\]<\/p>\n<p>\u306a\u3089\u3001<\/p>\n<p>\\[<br \/>\n\\mathbb{E}[S]=1<br \/>\n\\]<\/p>\n<p>\u3067\u3042\u308b\u3002\u4e00\u65b9\u3001<\/p>\n<p>\\[<br \/>\nq^{(B)}<br \/>\n=<br \/>\n(0.5,0,0.5)<br \/>\n\\]<\/p>\n<p>\u3067\u3082\u3001<\/p>\n<p>\\[<br \/>\n\\mathbb{E}[S]<br \/>\n=<br \/>\n0\\times0.5<br \/>\n+<br \/>\n2\\times0.5<br \/>\n=<br \/>\n1<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002<\/p>\n<p>\u4e8c\u3064\u3068\u3082 score \u306f 1 \u3060\u304c\u3001\u610f\u5473\u306f\u5927\u304d\u304f\u7570\u306a\u308b\u3002\u524d\u8005\u306f level 1 \u306b\u78ba\u7387\u304c\u96c6\u4e2d\u3057\u3066\u304a\u308a\u3001\u5f8c\u8005\u306f level 0 \u3068 level 2 \u306b\u4e8c\u5206\u3055\u308c\u3066\u3044\u308b\u3002\u671f\u5f85\u5024\u3060\u3051\u3092\u5f8c\u6bb5\u3078\u6e21\u3059\u3068\u3001\u3053\u306e\u4e0d\u78ba\u5b9f\u6027\u306e\u69cb\u9020\u3092\u533a\u5225\u3067\u304d\u306a\u3044\u3002<\/p>\n<p>Jev \u304c Score \u3067 score \u3060\u3051\u3067\u306a\u304f probabilities \u3082\u8fd4\u3059\u8a2d\u8a08\u306b\u306f\u3001\u3053\u306e\u70b9\u3067\u5b9f\u7528\u4e0a\u306e\u610f\u5473\u304c\u3042\u308b\u3002\u5f8c\u6bb5\u306e\u30b3\u30fc\u30c9\u306f\u5e73\u5747\u7684\u306a score \u3092\u4f7f\u3046\u3060\u3051\u3067\u306a\u304f\u3001\u6975\u7aef\u306a level \u306b\u3069\u306e\u7a0b\u5ea6 probability \u304c\u5272\u308a\u5f53\u3066\u3089\u308c\u3066\u3044\u308b\u304b\u3092\u898b\u3066\u5225\u306e\u5224\u65ad\u3092\u884c\u3048\u308b\u3002<\/p>\n<p>\u305f\u3068\u3048\u3070\u3001\u671f\u5f85\u5024\u3060\u3051\u3092\u4f7f\u3046\u306a\u3089\u3001<\/p>\n<p>\\[<br \/>\n\\mathrm{review}<br \/>\n\\quad\\text{if}\\quad<br \/>\n\\mathbb{E}[S]&gt;1.5<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u30eb\u30fc\u30eb\u3092\u4f5c\u308c\u308b\u3002\u4e00\u65b9\u3001\u9ad8\u30ea\u30b9\u30af level 2 \u306e probability \u3092\u76f4\u63a5\u4f7f\u3046\u306a\u3089\u3001<\/p>\n<p>\\[<br \/>\n\\mathrm{review}<br \/>\n\\quad\\text{if}\\quad<br \/>\nP(S=2\\mid x)&gt;0.3<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u5225\u306e\u30eb\u30fc\u30eb\u3082\u4f5c\u308c\u308b\u3002\u540c\u3058 score \u3092\u6301\u3064\u5206\u5e03\u3067\u3082\u3001\u5f8c\u8005\u3067\u306f tail probability \u306e\u9055\u3044\u3092\u5224\u65ad\u3078\u53cd\u6620\u3067\u304d\u308b\u3002<\/p>\n<h3>8.7 Score \u306e confidence \u3082 probability distribution \u3068\u306f\u5225\u306e\u91cf\u3067\u3042\u308b<\/h3>\n<p>Score \u306b\u3082 Choice \u3068\u540c\u69d8\u306b confidence \u304c\u8fd4\u3055\u308c\u308b\u3002frustration \u306e\u4f8b\u3067\u306f\u3001\u6700\u5927 probability \u306f 0.96 \u3060\u304c confidence \u306f 0.94 \u3067\u3042\u308b<a href=\"#ref2\">[2]<\/a>\u3002<\/p>\n<p>\\[<br \/>\n\\max_j q_j<br \/>\n=<br \/>\n0.96<br \/>\n\\]<\/p>\n<p>\\[<br \/>\n\\mathrm{confidence}<br \/>\n=<br \/>\n0.94<br \/>\n\\]<\/p>\n<p>account risk \u306e\u4f8b\u3067\u306f\u3001\u6700\u5927 probability \u304c 0.84\u3001confidence \u304c 0.77 \u3068\u306a\u3063\u3066\u3044\u308b<a href=\"#ref2\">[2]<\/a>\u3002<\/p>\n<p>\\[<br \/>\n\\max_j q_j<br \/>\n=<br \/>\n0.84<br \/>\n\\]<\/p>\n<p>\\[<br \/>\n\\mathrm{confidence}<br \/>\n=<br \/>\n0.77<br \/>\n\\]<\/p>\n<p>Choice \u3068 Score \u306e\u53cc\u65b9\u3067\u3053\u306e\u5dee\u304c\u78ba\u8a8d\u3067\u304d\u308b\u305f\u3081\u3001Jev \u306e confidence \u306f\u5c11\u306a\u304f\u3068\u3082\u516c\u958b API \u4e0a\u3001\u5358\u7d14\u306a\u6700\u5927 probability \u306e\u5225\u540d\u3067\u306f\u306a\u3044\u3002<\/p>\n<p>\u4e00\u65b9\u3001confidence \u304c\u5206\u5e03\u306e entropy\u3001\u6700\u5927\u5024\u3068\u7b2c 2 \u5019\u88dc\u3068\u306e\u5dee\u3001\u5b66\u7fd2\u6642\u306e epistemic uncertainty\u3001\u8907\u6570\u63a8\u8ad6\u306e\u4e00\u81f4\u7387\u3001\u3042\u308b\u3044\u306f\u5225\u306e\u5185\u90e8\u30e2\u30c7\u30eb\u304b\u3089\u8a08\u7b97\u3055\u308c\u3066\u3044\u308b\u304b\u306f\u516c\u958b\u8cc7\u6599\u304b\u3089\u78ba\u5b9a\u3067\u304d\u306a\u3044\u3002\u305d\u306e\u305f\u3081\u3001<\/p>\n<p>\\[<br \/>\nC=f(q_1,\\ldots,q_K)<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u5177\u4f53\u7684\u306a\u95a2\u6570 \\(f\\) \u3092\u5916\u90e8\u304b\u3089\u4eee\u5b9a\u3059\u308b\u6839\u62e0\u3082\u73fe\u5728\u306f\u306a\u3044\u3002<\/p>\n<h3>8.8 API \u304b\u3089\u89b3\u6e2c\u3067\u304d\u308b\u78ba\u7387\u69cb\u9020\u3068\u5b66\u7fd2\u5185\u90e8\u306e\u6570\u7406\u69cb\u9020\u3092\u5206\u96e2\u3059\u308b<\/h3>\n<p>Jev \u306e\u516c\u958b API \u3092\u65e2\u5b58\u306e\u78ba\u7387\u8ad6\u3078\u5bfe\u5fdc\u3055\u305b\u308b\u3068\u3001Noul\u3001Choice\u3001Score \u306f\u6b21\u306e\u3088\u3046\u306a\u7d71\u4e00\u5f62\u3067\u6574\u7406\u3067\u304d\u308b\u3002<\/p>\n<p>Noul \u306f\u4e8c\u5024\u5909\u6570\u3001<\/p>\n<p>\\[<br \/>\nY\\in\\{0,1\\}<br \/>\n\\]<\/p>\n<p>Choice \u306f\u6709\u9650\u30ab\u30c6\u30b4\u30ea\u5909\u6570\u3001<\/p>\n<p>\\[<br \/>\nY\\in\\{1,\\ldots,K\\}<br \/>\n\\]<\/p>\n<p>Score \u306f\u9806\u5e8f\u4ed8\u304d level \u3092\u6301\u3064\u5909\u6570\u3001<\/p>\n<p>\\[<br \/>\nS\\in\\{0,\\ldots,J\\}<br \/>\n\\]<\/p>\n<p>\u3068\u3057\u3066\u8868\u73fe\u3067\u304d\u308b\u3002\u305d\u3057\u3066\u3001\u305d\u308c\u305e\u308c\u306b\u3064\u3044\u3066 Jev \u306f\u4e00\u70b9\u306e\u30e9\u30d9\u30eb\u3060\u3051\u3067\u306a\u304f\u3001\u5224\u65ad\u306e\u4e0d\u78ba\u5b9f\u6027\u3092\u8868\u3059 probability \u3092\u516c\u958b\u3059\u308b\u3002Choice \u3068 Score \u3067\u306f\u3001\u305d\u308c\u3068\u306f\u5225\u306b confidence \u3082\u8fd4\u3059\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u516c\u958b API \u304b\u3089\u89b3\u6e2c\u3067\u304d\u308b\u69cb\u9020<\/th>\n<th>\u65e2\u5b58\u78ba\u7387\u8ad6\u3067\u306e\u5f62\u5f0f\u5316<\/th>\n<th>\u3053\u3053\u304b\u3089\u306f\u78ba\u5b9a\u3067\u304d\u306a\u3044\u5185\u90e8\u69cb\u9020<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Noul \u304c 0 \u304b\u3089 1 \u306e probability \u3092\u8fd4\u3059<\/td>\n<td>Bernoulli \u5206\u5e03\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u30fc\u3068\u3057\u3066\u8868\u73fe\u3067\u304d\u308b\u3002<\/td>\n<td>\u5185\u90e8\u3067 Bernoulli \u5c24\u5ea6\u3084 binary cross entropy \u3092\u4f7f\u3063\u3066\u5b66\u7fd2\u3057\u3066\u3044\u308b\u304b\u306f\u516c\u958b\u3055\u308c\u3066\u3044\u306a\u3044\u3002<\/td>\n<\/tr>\n<tr>\n<td>Choice \u304c\u5019\u88dc\u3054\u3068\u306e probabilities \u3092\u8fd4\u3059<\/td>\n<td>\u30ab\u30c6\u30b4\u30ea\u30ab\u30eb\u5206\u5e03\u3068\u3057\u3066\u8868\u73fe\u3067\u304d\u308b\u3002<\/td>\n<td>softmax \u3084 categorical cross entropy \u3092\u5185\u90e8\u3067\u4f7f\u3063\u3066\u3044\u308b\u304b\u306f\u516c\u958b\u3055\u308c\u3066\u3044\u306a\u3044\u3002<\/td>\n<\/tr>\n<tr>\n<td>Score \u304c level probabilities \u3068\u6570\u5024 score \u3092\u8fd4\u3059<\/td>\n<td>\u9806\u5e8f\u4ed8\u304d\u96e2\u6563\u5206\u5e03\u3068\u3057\u3066\u8868\u73fe\u3067\u304d\u3001\u516c\u958b\u4f8b\u3067\u306f score \u304c\u305d\u306e\u671f\u5f85\u5024\u3068\u4e00\u81f4\u3059\u308b\u3002<\/td>\n<td>\u671f\u5f85\u5024\u8a08\u7b97\u304c API \u306e\u4e00\u822c\u4ed5\u69d8\u306a\u306e\u304b\u3001\u3069\u306e ordinal loss \u3092\u4f7f\u3046\u304b\u306f\u516c\u958b\u3055\u308c\u3066\u3044\u306a\u3044\u3002<\/td>\n<\/tr>\n<tr>\n<td>Choice \u3068 Score \u304c confidence \u3092\u5225\u306b\u8fd4\u3059<\/td>\n<td>probability distribution \u3068\u306f\u7570\u306a\u308b\u8ffd\u52a0\u306e\u4e0d\u78ba\u5b9f\u6027\u6307\u6a19\u3068\u3057\u3066\u6271\u3046\u5fc5\u8981\u304c\u3042\u308b\u3002<\/td>\n<td>confidence \u306e\u5b9a\u7fa9\u5f0f\u3001\u8f03\u6b63\u65b9\u6cd5\u3001\u5b66\u7fd2\u5bfe\u8c61\u306f\u516c\u958b\u3055\u308c\u3066\u3044\u306a\u3044\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u3053\u306e\u5883\u754c\u3092\u7dad\u6301\u3059\u308b\u3068\u3001Jev \u306b\u3064\u3044\u3066\u5916\u90e8\u304b\u3089\u6570\u7406\u7684\u306b\u8a00\u3048\u308b\u7bc4\u56f2\u304c\u660e\u78ba\u306b\u306a\u308b\u3002\u516c\u958b\u3055\u308c\u305f\u5165\u51fa\u529b\u306f\u3001\u4e8c\u5024\u78ba\u7387\u3001\u6709\u9650\u30ab\u30c6\u30b4\u30ea\u5206\u5e03\u3001\u9806\u5e8f\u4ed8\u304d level \u5206\u5e03\u3068\u3044\u3046\u65e2\u5b58\u306e\u78ba\u7387\u5909\u6570\u3068\u3057\u3066\u6574\u7406\u3067\u304d\u308b\u3002Score \u306b\u3064\u3044\u3066\u306f\u8907\u6570\u306e\u516c\u958b\u4f8b\u3067 score \u3068\u671f\u5f85\u5024\u304c\u4e00\u81f4\u3059\u308b\u3002Choice \u3068 Score \u306e confidence \u306f\u6700\u5927 probability \u3068\u306f\u5225\u306e\u5024\u3068\u3057\u3066\u89b3\u6e2c\u3055\u308c\u308b\u3002<\/p>\n<p>\u4e00\u65b9\u3001\u3053\u308c\u3089\u306e probability \u304c\u3069\u306e\u5185\u90e8\u30d1\u30e9\u30e1\u30fc\u30bf\u30fc\u304b\u3089\u8a08\u7b97\u3055\u308c\u3001RLCD \u304c\u3069\u306e reward\u3001loss\u3001sampling\u3001calibration objective \u3092\u4f7f\u3063\u3066\u5b66\u7fd2\u3057\u3066\u3044\u308b\u304b\u306f\u73fe\u5728\u306e\u516c\u958b\u60c5\u5831\u304b\u3089\u78ba\u5b9a\u3067\u304d\u306a\u3044\u3002API \u306e\u51fa\u529b\u3092\u78ba\u7387\u8ad6\u3067\u8a18\u8ff0\u3059\u308b\u3053\u3068\u3068\u3001\u30e2\u30c7\u30eb\u5185\u90e8\u306e\u5b66\u7fd2\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u3092\u7279\u5b9a\u3059\u308b\u3053\u3068\u306f\u5225\u306e\u4f5c\u696d\u3067\u3042\u308b\u3002<\/p>\n<p>\u3053\u306e\u533a\u5225\u3092\u7f6e\u3044\u305f\u3046\u3048\u3067\u3042\u308c\u3070\u3001Jev \u306e\u51fa\u529b\u3092\u901a\u5e38\u306e\u30d7\u30ed\u30b0\u30e9\u30e0\u3078\u63a5\u7d9a\u3059\u308b\u65b9\u6cd5\u306f\u6570\u7406\u7684\u306b\u6271\u3048\u308b\u3002Noul \u306e probability\u3001Choice \u306e\u5206\u5e03\u3001Score \u306e level probabilities \u3092\u4f7f\u3048\u3070\u3001\u30e2\u30c7\u30eb\u81ea\u8eab\u306b\u6700\u7d42\u884c\u52d5\u307e\u3067\u6c7a\u3081\u3055\u305b\u308b\u4ee3\u308f\u308a\u306b\u3001\u5f8c\u6bb5\u306e\u30b3\u30fc\u30c9\u3067\u671f\u5f85\u640d\u5931\u3092\u8a08\u7b97\u3057\u3001\u3069\u306e\u884c\u52d5\u3092\u9078\u3076\u304b\u3092\u660e\u793a\u7684\u306b\u6c7a\u5b9a\u3067\u304d\u308b\u3002\u6b21\u7bc0\u3067\u306f\u3001\u3053\u306e\u78ba\u7387\u5206\u5e03\u3092\u30d9\u30a4\u30ba\u610f\u601d\u6c7a\u5b9a\u3078\u63a5\u7d9a\u3057\u3001AI \u306e\u5224\u65ad\u3068\u696d\u52d9\u4e0a\u306e\u4fa1\u5024\u5224\u65ad\u3092\u5206\u96e2\u3059\u308b\u3002<\/p>\n<hr>\n<h2>9. \u8f03\u6b63\u3055\u308c\u305f\u78ba\u7387\u306f\u901a\u5e38\u306e\u696d\u52d9\u30ed\u30b8\u30c3\u30af\u3078\u63a5\u7d9a\u3067\u304d\u308b<\/h2>\n<p>\u78ba\u7387\u4e88\u6e2c\u306e\u4fa1\u5024\u306f\u30010.8 \u3084 0.9 \u3068\u3044\u3046\u6570\u5024\u3092\u8868\u793a\u3067\u304d\u308b\u3053\u3068\u3060\u3051\u306b\u3042\u308b\u306e\u3067\u306f\u306a\u3044\u3002\u305d\u306e\u78ba\u7387\u304c\u73fe\u5b9f\u306e\u7d50\u679c\u3068\u5bfe\u5fdc\u3057\u3066\u3044\u308c\u3070\u3001\u696d\u52d9\u4e0a\u306e\u640d\u5931\u3084\u30b3\u30b9\u30c8\u3068\u7d44\u307f\u5408\u308f\u305b\u3001\u3069\u306e\u884c\u52d5\u3092\u9078\u3076\u3079\u304d\u304b\u3092\u901a\u5e38\u306e\u610f\u601d\u6c7a\u5b9a\u554f\u984c\u3068\u3057\u3066\u8a08\u7b97\u3067\u304d\u308b\u3002\u4e88\u6e2c\u30e2\u30c7\u30eb\u306f\u300c\u4f55\u304c\u8d77\u3053\u308a\u305d\u3046\u304b\u300d\u3092\u78ba\u7387\u3068\u3057\u3066\u8fd4\u3057\u3001\u696d\u52d9\u30ed\u30b8\u30c3\u30af\u306f\u300c\u305d\u306e\u78ba\u7387\u306e\u4e0b\u3067\u4f55\u3092\u3059\u308b\u304b\u300d\u3092\u6c7a\u3081\u308b\u3002\u3053\u306e\u4e8c\u3064\u3092\u5206\u96e2\u3059\u308b\u3053\u3068\u3067\u3001AI \u306e\u63a8\u5b9a\u3068\u7d44\u7e54\u5074\u306e\u4fa1\u5024\u5224\u65ad\u3092\u5225\u3005\u306b\u7ba1\u7406\u3067\u304d\u308b\u3002<\/p>\n<h3>9.1 \u78ba\u7387\u5206\u5e03\u3068\u640d\u5931\u95a2\u6570\u3092\u7d44\u307f\u5408\u308f\u305b\u308b\u3068\u6700\u9069\u884c\u52d5\u3092\u5b9a\u7fa9\u3067\u304d\u308b<\/h3>\n<p>\u771f\u306e\u72b6\u614b\u3092 \\(Y\\)\u3001\u5165\u529b\u3092 \\(x\\)\u3001\u9078\u629e\u53ef\u80fd\u306a\u884c\u52d5\u306e\u96c6\u5408\u3092 \\(A\\) \u3068\u3059\u308b\u3002\u884c\u52d5 \\(a\\in A\\) \u3092\u9078\u3073\u3001\u5b9f\u969b\u306e\u72b6\u614b\u304c \\(Y=y\\) \u3060\u3063\u305f\u3068\u304d\u306b\u767a\u751f\u3059\u308b\u640d\u5931\u3092<\/p>\n<p>\\[<br \/>\nC(a,y)<br \/>\n\\]<\/p>\n<p>\u3068\u7f6e\u304f\u3002\u30e2\u30c7\u30eb\u304c\u5165\u529b \\(x\\) \u306b\u5bfe\u3057\u3066\u72b6\u614b \\(Y\\) \u306e\u78ba\u7387\u5206\u5e03<\/p>\n<p>\\[<br \/>\nq_\\theta(y\\mid x)<br \/>\n\\]<\/p>\n<p>\u3092\u8fd4\u3059\u306a\u3089\u3001\u884c\u52d5 \\(a\\) \u306e\u6761\u4ef6\u4ed8\u304d\u671f\u5f85\u640d\u5931\u306f<\/p>\n<p>\\[<br \/>\nR(a\\mid x)<br \/>\n=<br \/>\n\\sum_y<br \/>\nq_\\theta(y\\mid x)<br \/>\nC(a,y)<br \/>\n\\]<\/p>\n<p>\u3067\u8a08\u7b97\u3067\u304d\u308b\u3002\u5404\u72b6\u614b\u3067\u767a\u751f\u3059\u308b\u640d\u5931\u3092\u3001\u305d\u306e\u72b6\u614b\u304c\u8d77\u304d\u308b\u78ba\u7387\u3067\u91cd\u307f\u4ed8\u3051\u3057\u3066\u5408\u8a08\u3057\u305f\u5024\u3067\u3042\u308b\u3002<\/p>\n<p>\u9078\u629e\u53ef\u80fd\u306a\u3059\u3079\u3066\u306e\u884c\u52d5\u306b\u3064\u3044\u3066\u671f\u5f85\u640d\u5931\u3092\u8a08\u7b97\u3057\u3001\u6700\u3082\u5c0f\u3055\u3044\u884c\u52d5\u3092\u9078\u3079\u3070\u3001<\/p>\n<p>\\[<br \/>\na^*(x)<br \/>\n=<br \/>\n\\arg\\min_{a\\in A}<br \/>\n\\sum_y<br \/>\nq_\\theta(y\\mid x)<br \/>\nC(a,y)<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u3053\u308c\u306f\u30d9\u30a4\u30ba\u610f\u601d\u6c7a\u5b9a\u306e\u57fa\u672c\u5f62\u3067\u3042\u308a\u3001\u78ba\u7387\u7684\u4e0d\u78ba\u5b9f\u6027\u3068\u884c\u52d5\u306e\u640d\u5931\u3092\u5225\u3005\u306b\u5b9a\u7fa9\u3057\u305f\u3046\u3048\u3067\u3001\u4e00\u3064\u306e\u610f\u601d\u6c7a\u5b9a\u3078\u7d71\u5408\u3059\u308b\u3002<\/p>\n<p>\u3053\u306e\u5f0f\u306b\u306f\u4e8c\u7a2e\u985e\u306e\u60c5\u5831\u304c\u660e\u78ba\u306b\u5206\u304b\u308c\u3066\u3044\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u8981\u7d20<\/th>\n<th>\u610f\u5473<\/th>\n<th>\u6c7a\u5b9a\u4e3b\u4f53<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\\(q_\\theta(y\\mid x)\\)<\/td>\n<td>\u5165\u529b \\(x\\) \u306e\u4e0b\u3067\u5404\u72b6\u614b \\(y\\) \u304c\u3069\u306e\u7a0b\u5ea6\u8d77\u3053\u308a\u305d\u3046\u304b\u3092\u8868\u3059\u78ba\u7387\u5206\u5e03\u3002<\/td>\n<td>\u4e88\u6e2c\u30e2\u30c7\u30eb\u304c\u63a8\u5b9a\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(C(a,y)\\)<\/td>\n<td>\u884c\u52d5 \\(a\\) \u3092\u9078\u3073\u3001\u72b6\u614b \\(y\\) \u304c\u5b9f\u73fe\u3057\u305f\u5834\u5408\u306b\u696d\u52d9\u4e0a\u3069\u308c\u3060\u3051\u640d\u5931\u304c\u751f\u3058\u308b\u304b\u3092\u8868\u3059\u3002<\/td>\n<td>\u696d\u52d9\u8981\u4ef6\u3001\u5236\u5ea6\u3001\u30ea\u30b9\u30af\u8a31\u5bb9\u5ea6\u3001\u904b\u7528\u30b3\u30b9\u30c8\u306a\u3069\u304b\u3089\u4eba\u9593\u5074\u304c\u5b9a\u7fa9\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(R(a\\mid x)\\)<\/td>\n<td>\u5404\u72b6\u614b\u306e\u78ba\u7387\u3068\u640d\u5931\u3092\u7d44\u307f\u5408\u308f\u305b\u305f\u6761\u4ef6\u4ed8\u304d\u671f\u5f85\u640d\u5931\u3002<\/td>\n<td>\u901a\u5e38\u306e\u30d7\u30ed\u30b0\u30e9\u30e0\u3067\u8a08\u7b97\u3067\u304d\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\\(a^*(x)\\)<\/td>\n<td>\u671f\u5f85\u640d\u5931\u3092\u6700\u5c0f\u306b\u3059\u308b\u6700\u7d42\u884c\u52d5\u3002<\/td>\n<td>\u660e\u793a\u3055\u308c\u305f\u610f\u601d\u6c7a\u5b9a\u898f\u5247\u306b\u3088\u3063\u3066\u9078\u629e\u3059\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u3053\u306e\u5206\u96e2\u306b\u306f\u8a2d\u8a08\u4e0a\u306e\u610f\u5473\u304c\u3042\u308b\u3002\u30e2\u30c7\u30eb\u81ea\u8eab\u306b\u300c\u3053\u306e\u53d6\u5f15\u3092\u6b62\u3081\u308b\u3079\u304d\u304b\u300d\u3068\u6700\u7d42\u5224\u65ad\u307e\u3067\u59d4\u306d\u308b\u5834\u5408\u3001\u4e88\u6e2c\u3068\u4fa1\u5024\u5224\u65ad\u304c\u4e00\u3064\u306e\u51fa\u529b\u306b\u6df7\u3056\u308b\u3002\u72b6\u614b\u78ba\u7387\u3060\u3051\u3092\u30e2\u30c7\u30eb\u306b\u63a8\u5b9a\u3055\u305b\u308c\u3070\u3001\u300c\u4e0d\u6b63\u3092\u901a\u3057\u305f\u640d\u5931\u3092\u3069\u306e\u7a0b\u5ea6\u91cd\u304f\u898b\u308b\u304b\u300d\u300c\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u306b\u3044\u304f\u3089\u30b3\u30b9\u30c8\u3092\u8a31\u5bb9\u3059\u308b\u304b\u300d\u3068\u3044\u3063\u305f\u696d\u52d9\u4e0a\u306e\u5224\u65ad\u3092\u30b3\u30fc\u30c9\u5074\u3078\u6b8b\u305b\u308b\u3002<\/p>\n<h3>9.2 \u4e8c\u5024\u306e\u4e0d\u6b63\u691c\u77e5\u3067\u306f\u640d\u5931\u6bd4\u304b\u3089\u95be\u5024\u3092\u5c0e\u3051\u308b<\/h3>\n<p>\u6700\u3082\u5358\u7d14\u306a\u4f8b\u3068\u3057\u3066\u3001\u4e0d\u6b63\u53d6\u5f15\u3092\u691c\u77e5\u3059\u308b\u30b7\u30b9\u30c6\u30e0\u3092\u8003\u3048\u308b\u3002\u771f\u306e\u72b6\u614b\u3092\u3001<\/p>\n<p>\\[<br \/>\nY<br \/>\n\\in<br \/>\n\\{<br \/>\n\\mathrm{normal},<br \/>\n\\mathrm{fraud}<br \/>\n\\}<br \/>\n\\]<\/p>\n<p>\u3068\u3057\u3001\u30e2\u30c7\u30eb\u304c\u8fd4\u3059\u4e0d\u6b63\u78ba\u7387\u3092<\/p>\n<p>\\[<br \/>\np<br \/>\n=<br \/>\nP(Y=\\mathrm{fraud}\\mid X=x)<br \/>\n\\]<\/p>\n<p>\u3068\u3059\u308b\u3002<\/p>\n<p>\u9078\u629e\u53ef\u80fd\u306a\u884c\u52d5\u3092\u901a\u5e38\u627f\u8a8d\u3068\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u306e\u4e8c\u3064\u306b\u9650\u5b9a\u3059\u308b\u3002<\/p>\n<p>\\[<br \/>\nA<br \/>\n=<br \/>\n\\{<br \/>\n\\mathrm{approve},<br \/>\n\\mathrm{review}<br \/>\n\\}<br \/>\n\\]<\/p>\n<p>\u3053\u3053\u3067\u306f\u6570\u7406\u69cb\u9020\u3092\u660e\u78ba\u306b\u3059\u308b\u305f\u3081\u3001\u6b63\u5e38\u53d6\u5f15\u3092\u627f\u8a8d\u3059\u308b\u640d\u5931\u3092 0\u3001\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u3092\u884c\u3048\u3070\u4e0d\u6b63\u306b\u3088\u308b\u640d\u5931\u3092\u56de\u907f\u3067\u304d\u308b\u3068\u4eee\u5b9a\u3059\u308b\u3002\u4e0d\u6b63\u53d6\u5f15\u3092\u901a\u5e38\u627f\u8a8d\u3057\u305f\u5834\u5408\u306e\u5e73\u5747\u640d\u5931\u3092 \\(C_F\\)\u3001\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u3092 1 \u4ef6\u5b9f\u65bd\u3059\u308b\u56fa\u5b9a\u30b3\u30b9\u30c8\u3092 \\(C_R\\) \u3068\u3059\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u884c\u52d5<\/th>\n<th>\u6b63\u5e38\u53d6\u5f15<\/th>\n<th>\u4e0d\u6b63\u53d6\u5f15<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u901a\u5e38\u627f\u8a8d<\/td>\n<td>\u640d\u5931 0 \u3068\u3059\u308b\u3002<\/td>\n<td>\u4e0d\u6b63\u3092\u901a\u3059\u640d\u5931 \\(C_F\\) \u304c\u767a\u751f\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u4eba\u9593\u30ec\u30d3\u30e5\u30fc<\/td>\n<td>\u30ec\u30d3\u30e5\u30fc\u30b3\u30b9\u30c8 \\(C_R\\) \u304c\u767a\u751f\u3059\u308b\u3002<\/td>\n<td>\u30ec\u30d3\u30e5\u30fc\u30b3\u30b9\u30c8 \\(C_R\\) \u304c\u767a\u751f\u3057\u3001\u4e0d\u6b63\u640d\u5931\u306f\u56de\u907f\u3067\u304d\u308b\u3068\u4eee\u5b9a\u3059\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u901a\u5e38\u627f\u8a8d\u3092\u9078\u3093\u3060\u5834\u5408\u3001\u4e0d\u6b63\u304c\u767a\u751f\u3059\u308b\u78ba\u7387\u306f \\(p\\) \u3067\u3042\u308b\u305f\u3081\u3001\u671f\u5f85\u640d\u5931\u306f<\/p>\n<p>\\[<br \/>\nL_{\\mathrm{approve}}<br \/>\n=<br \/>\npC_F<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002<\/p>\n<p>\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u3067\u306f\u3001\u6b63\u5e38\u304b\u4e0d\u6b63\u304b\u306b\u304b\u304b\u308f\u3089\u305a\u56fa\u5b9a\u30b3\u30b9\u30c8 \\(C_R\\) \u304c\u767a\u751f\u3059\u308b\u3068\u7f6e\u3044\u305f\u305f\u3081\u3001\u671f\u5f85\u640d\u5931\u306f<\/p>\n<p>\\[<br \/>\nL_{\\mathrm{review}}<br \/>\n=<br \/>\nC_R<br \/>\n\\]<\/p>\n<p>\u3067\u3042\u308b\u3002<\/p>\n<p>\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u3092\u9078\u629e\u3059\u3079\u304d\u6761\u4ef6\u306f\u3001\u30ec\u30d3\u30e5\u30fc\u306e\u65b9\u304c\u901a\u5e38\u627f\u8a8d\u3088\u308a\u671f\u5f85\u640d\u5931\u304c\u5c0f\u3055\u3044\u5834\u5408\u3067\u3042\u308b\u3002<\/p>\n<p>\\[<br \/>\nL_{\\mathrm{review}}<br \/>\n&lt;<br \/>\nL_{\\mathrm{approve}}<br \/>\n\\]<\/p>\n<p>\u5404\u5f0f\u3092\u4ee3\u5165\u3059\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\nC_R<br \/>\n&lt;<br \/>\npC_F<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\\(C_F&gt;0\\) \u3068\u3059\u308c\u3070\u3001\u4e21\u8fba\u3092 \\(C_F\\) \u3067\u5272\u3063\u3066\u3001<\/p>\n<p>\\[<br \/>\np<br \/>\n&gt;<br \/>\n\\frac{C_R}{C_F}<br \/>\n\\]<\/p>\n<p>\u3092\u5f97\u308b\u3002<\/p>\n<p>\u3064\u307e\u308a\u30ec\u30d3\u30e5\u30fc\u95be\u5024\u306f\u3001AI \u304c\u7d4c\u9a13\u7684\u306b\u6c7a\u3081\u308b\u5024\u3067\u306f\u306a\u304f\u3001\u30ec\u30d3\u30e5\u30fc\u30b3\u30b9\u30c8\u3068\u4e0d\u6b63\u3092\u901a\u3057\u305f\u5834\u5408\u306e\u640d\u5931\u306e\u6bd4\u304b\u3089\u5c0e\u3051\u308b\u3002<\/p>\n<h3>9.3 \u4e0d\u6b63\u640d\u5931\u304c 100\u3001\u30ec\u30d3\u30e5\u30fc\u30b3\u30b9\u30c8\u304c 5 \u306a\u3089\u95be\u5024\u306f 5% \u306b\u306a\u308b<\/h3>\n<p>\u5177\u4f53\u7684\u306b\u3001\u4e0d\u6b63\u53d6\u5f15\u3092\u901a\u5e38\u627f\u8a8d\u3057\u305f\u5834\u5408\u306e\u5e73\u5747\u640d\u5931\u3092<\/p>\n<p>\\[<br \/>\nC_F=100<br \/>\n\\]<\/p>\n<p>\u4eba\u9593\u30ec\u30d3\u30e5\u30fc 1 \u4ef6\u306e\u30b3\u30b9\u30c8\u3092<\/p>\n<p>\\[<br \/>\nC_R=5<br \/>\n\\]<\/p>\n<p>\u3068\u3059\u308b\u3002\u3053\u306e\u3068\u304d\u95be\u5024\u306f\u3001<\/p>\n<p>\\[<br \/>\n\\frac{C_R}{C_F}<br \/>\n=<br \/>\n\\frac{5}{100}<br \/>\n=<br \/>\n0.05<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002<\/p>\n<p>\u3057\u305f\u304c\u3063\u3066\u3001<\/p>\n<p>\\[<br \/>\np<br \/>\n&gt;<br \/>\n0.05<br \/>\n\\]<\/p>\n<p>\u306a\u3089\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u3078\u56de\u3057\u3001<\/p>\n<p>\\[<br \/>\np<br \/>\n&lt;<br \/>\n0.05<br \/>\n\\]<\/p>\n<p>\u306a\u3089\u901a\u5e38\u627f\u8a8d\u306e\u65b9\u304c\u671f\u5f85\u640d\u5931\u306f\u5c0f\u3055\u3044\u3002<\/p>\n<p>\\[<br \/>\np&gt;0.05<br \/>\n\\quad\\Longrightarrow\\quad<br \/>\n\\mathrm{review}<br \/>\n\\]<\/p>\n<p>\u305f\u3068\u3048\u3070 \\(p=0.10\\) \u306a\u3089\u3001\u901a\u5e38\u627f\u8a8d\u306e\u671f\u5f85\u640d\u5931\u306f<\/p>\n<p>\\[<br \/>\n0.10\\times100<br \/>\n=<br \/>\n10<br \/>\n\\]<\/p>\n<p>\u3067\u3042\u308a\u3001\u30ec\u30d3\u30e5\u30fc\u30b3\u30b9\u30c8 5 \u3088\u308a\u5927\u304d\u3044\u3002\u305d\u306e\u305f\u3081\u30ec\u30d3\u30e5\u30fc\u3057\u305f\u65b9\u304c\u671f\u5f85\u640d\u5931\u306f\u5c0f\u3055\u304f\u306a\u308b\u3002<\/p>\n<p>\u4e00\u65b9\u3001\\(p=0.01\\) \u306a\u3089\u3001<\/p>\n<p>\\[<br \/>\n0.01\\times100<br \/>\n=<br \/>\n1<br \/>\n\\]<\/p>\n<p>\u3067\u3042\u308a\u3001\u30ec\u30d3\u30e5\u30fc\u30b3\u30b9\u30c8 5 \u306e\u65b9\u304c\u5927\u304d\u3044\u3002\u3053\u306e\u4eee\u5b9a\u306e\u4e0b\u3067\u306f\u901a\u5e38\u627f\u8a8d\u304c\u9078\u3070\u308c\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u4e0d\u6b63\u78ba\u7387 \\(p\\)<\/th>\n<th>\u627f\u8a8d\u6642\u306e\u671f\u5f85\u640d\u5931 \\(pC_F\\)<\/th>\n<th>\u30ec\u30d3\u30e5\u30fc\u6642\u306e\u671f\u5f85\u640d\u5931 \\(C_R\\)<\/th>\n<th>\u9078\u629e<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>0.01<\/td>\n<td>1<\/td>\n<td>5<\/td>\n<td>\u901a\u5e38\u627f\u8a8d\u3002<\/td>\n<\/tr>\n<tr>\n<td>0.05<\/td>\n<td>5<\/td>\n<td>5<\/td>\n<td>\u3053\u306e\u5358\u7d14\u30e2\u30c7\u30eb\u3067\u306f\u4e21\u8005\u304c\u540c\u5024\u306b\u306a\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>0.10<\/td>\n<td>10<\/td>\n<td>5<\/td>\n<td>\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u3002<\/td>\n<\/tr>\n<tr>\n<td>0.50<\/td>\n<td>50<\/td>\n<td>5<\/td>\n<td>\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u3053\u306e\u4f8b\u3067\u91cd\u8981\u306a\u306e\u306f\u30010.05 \u3068\u3044\u3046\u95be\u5024\u305d\u306e\u3082\u306e\u306b\u666e\u904d\u7684\u306a\u610f\u5473\u304c\u3042\u308b\u308f\u3051\u3067\u306f\u306a\u3044\u3053\u3068\u3067\u3042\u308b\u3002\\(C_R\\) \u3068 \\(C_F\\) \u304c\u5909\u308f\u308c\u3070\u95be\u5024\u3082\u5909\u308f\u308b\u3002\u9ad8\u984d\u53d6\u5f15\u3067\u306f\u4e0d\u6b63\u3092\u901a\u3057\u305f\u640d\u5931 \\(C_F\\) \u304c\u5927\u304d\u304f\u306a\u308a\u3001\u3088\u308a\u4f4e\u3044\u4e0d\u6b63\u78ba\u7387\u3067\u3082\u30ec\u30d3\u30e5\u30fc\u3059\u308b\u65b9\u304c\u5408\u7406\u7684\u306b\u306a\u308b\u3002\u30ec\u30d3\u30e5\u30fc\u306b\u9ad8\u5ea6\u306a\u5c02\u9580\u5bb6\u3092\u5fc5\u8981\u3068\u3057 \\(C_R\\) \u304c\u4e0a\u304c\u308c\u3070\u3001\u95be\u5024\u306f\u53cd\u5bfe\u65b9\u5411\u3078\u52d5\u304f\u3002<\/p>\n<h3>9.4 \u8f03\u6b63\u8aa4\u5dee\u306f\u696d\u52d9\u4e0a\u306e\u610f\u601d\u6c7a\u5b9a\u95be\u5024\u3092\u5b9f\u8cea\u7684\u306b\u305a\u3089\u3059<\/h3>\n<p>\u3053\u306e\u610f\u601d\u6c7a\u5b9a\u304c\u6b63\u3057\u304f\u6a5f\u80fd\u3059\u308b\u306b\u306f\u3001\u30e2\u30c7\u30eb\u306e \\(p\\) \u304c\u5b9f\u969b\u306e\u4e0d\u6b63\u78ba\u7387\u3068\u5bfe\u5fdc\u3057\u3066\u3044\u308b\u5fc5\u8981\u304c\u3042\u308b\u3002\u771f\u306e\u4e0d\u6b63\u78ba\u7387\u3092 \\(p\\)\u3001\u30e2\u30c7\u30eb\u304c\u5831\u544a\u3059\u308b\u78ba\u7387\u3092 \\(q\\) \u3068\u5206\u3051\u308b\u3002<\/p>\n<p>\u696d\u52d9\u30b3\u30fc\u30c9\u306f\u30e2\u30c7\u30eb\u306e\u51fa\u529b \\(q\\) \u3092\u4f7f\u3063\u3066\u3001<\/p>\n<p>\\[<br \/>\nq<br \/>\n&gt;<br \/>\n\\tau<br \/>\n\\]<\/p>\n<p>\u306a\u3089\u30ec\u30d3\u30e5\u30fc\u3059\u308b\u3002\u3053\u3053\u3067\u95be\u5024\u3092<\/p>\n<p>\\[<br \/>\n\\tau<br \/>\n=<br \/>\n\\frac{C_R}{C_F}<br \/>\n\\]<\/p>\n<p>\u3068\u3059\u308b\u3002<\/p>\n<p>\u7406\u60f3\u7684\u306b<\/p>\n<p>\\[<br \/>\nq=p<br \/>\n\\]<\/p>\n<p>\u306a\u3089\u3001\u3053\u306e\u30eb\u30fc\u30eb\u306f\u5148\u307b\u3069\u5c0e\u3044\u305f\u671f\u5f85\u640d\u5931\u6700\u5c0f\u5316\u3068\u4e00\u81f4\u3059\u308b\u3002<\/p>\n<p>\u3057\u304b\u3057\u3001\u771f\u306e\u78ba\u7387\u304c<\/p>\n<p>\\[<br \/>\np=0.05<br \/>\n\\]<\/p>\n<p>\u3067\u3042\u308b\u4e8b\u4f8b\u306b\u5bfe\u3057\u3066\u3001\u904e\u4fe1\u3057\u305f\u30e2\u30c7\u30eb\u304c<\/p>\n<p>\\[<br \/>\nq=0.50<br \/>\n\\]<\/p>\n<p>\u3092\u8fd4\u305b\u3070\u3001\u696d\u52d9\u30b3\u30fc\u30c9\u306f\u5b9f\u969b\u306e\u30ea\u30b9\u30af\u3092 10 \u500d\u306b\u898b\u7a4d\u3082\u3063\u3066\u30ec\u30d3\u30e5\u30fc\u3092\u767a\u751f\u3055\u305b\u308b\u3002\u9006\u306b\u3001<\/p>\n<p>\\[<br \/>\nq=0.005<br \/>\n\\]<\/p>\n<p>\u3068\u904e\u5c0f\u8a55\u4fa1\u3059\u308c\u3070\u3001\u672c\u6765\u30ec\u30d3\u30e5\u30fc\u3059\u3079\u304d\u9818\u57df\u306b\u3042\u308b\u53d6\u5f15\u3092\u901a\u5e38\u627f\u8a8d\u3059\u308b\u53ef\u80fd\u6027\u304c\u751f\u3058\u308b\u3002<\/p>\n<p>\u8f03\u6b63\u8aa4\u5dee\u3092\u95a2\u6570<\/p>\n<p>\\[<br \/>\nq=g(p)<br \/>\n\\]<\/p>\n<p>\u3068\u3057\u3066\u8868\u3059\u3068\u3001\u3053\u306e\u5f71\u97ff\u3092\u3055\u3089\u306b\u660e\u78ba\u306b\u3067\u304d\u308b\u3002\u696d\u52d9\u30b3\u30fc\u30c9\u306f<\/p>\n<p>\\[<br \/>\ng(p)<br \/>\n&gt;<br \/>\n\\tau<br \/>\n\\]<\/p>\n<p>\u3092\u6761\u4ef6\u306b\u30ec\u30d3\u30e5\u30fc\u3059\u308b\u305f\u3081\u3001\\(g\\) \u304c\u5358\u8abf\u3067\u9006\u95a2\u6570\u3092\u6301\u3064\u306a\u3089\u3001\u771f\u306e\u78ba\u7387\u306b\u5bfe\u3059\u308b\u5b9f\u52b9\u7684\u306a\u95be\u5024\u306f<\/p>\n<p>\\[<br \/>\np<br \/>\n&gt;<br \/>\ng^{-1}(\\tau)<br \/>\n\\]<\/p>\n<p>\u306b\u306a\u308b\u3002<\/p>\n<p>\u7406\u60f3\u7684\u306a\u8f03\u6b63\u3067\u306f \\(g(p)=p\\) \u306a\u306e\u3067\u3001<\/p>\n<p>\\[<br \/>\ng^{-1}(\\tau)=\\tau<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3002\u4e00\u65b9\u3001\u30e2\u30c7\u30eb\u304c\u7cfb\u7d71\u7684\u306b\u904e\u4fe1\u307e\u305f\u306f\u904e\u5c0f\u8a55\u4fa1\u3059\u308b\u3068\u3001\u30b3\u30fc\u30c9\u4e0a\u306f\u540c\u3058 0.05 \u3068\u3044\u3046\u95be\u5024\u3092\u4f7f\u3044\u7d9a\u3051\u3066\u3044\u3066\u3082\u3001\u73fe\u5b9f\u306e\u30ea\u30b9\u30af\u306b\u5bfe\u3059\u308b\u95be\u5024\u306f\u5225\u306e\u5834\u6240\u3078\u79fb\u52d5\u3059\u308b\u3002<\/p>\n<p>\u3053\u306e\u610f\u5473\u3067 calibration \u306f\u8868\u793a\u4e0a\u306e\u54c1\u8cea\u6307\u6a19\u306b\u3068\u3069\u307e\u3089\u306a\u3044\u3002\u78ba\u7387\u51fa\u529b\u3092\u640d\u5931\u6700\u5c0f\u5316\u3078\u5229\u7528\u3059\u308b\u30b7\u30b9\u30c6\u30e0\u3067\u306f\u3001calibration error \u304c\u305d\u306e\u307e\u307e\u696d\u52d9\u4e0a\u306e\u610f\u601d\u6c7a\u5b9a\u8aa4\u5dee\u3078\u4f1d\u64ad\u3059\u308b\u3002<\/p>\n<h3>9.5 \u95be\u5024\u306f\u30e2\u30c7\u30eb\u3067\u306f\u306a\u304f\u640d\u5931\u95a2\u6570\u304b\u3089\u6c7a\u3081\u3089\u308c\u308b<\/h3>\n<p>\u3053\u306e\u69cb\u9020\u306b\u306f\u3001AI \u30b7\u30b9\u30c6\u30e0\u3092\u8a2d\u8a08\u3059\u308b\u3046\u3048\u3067\u91cd\u8981\u306a\u8cac\u4efb\u5206\u754c\u304c\u3042\u308b\u3002\u30e2\u30c7\u30eb\u304c\u62c5\u3046\u306e\u306f\u3001<\/p>\n<p>\\[<br \/>\nP(Y\\mid X=x)<br \/>\n\\]<\/p>\n<p>\u306e\u63a8\u5b9a\u3067\u3042\u308b\u3002\u3069\u306e\u78ba\u7387\u304b\u3089\u81ea\u52d5\u627f\u8a8d\u3057\u3001\u3069\u3053\u304b\u3089\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u3078\u9001\u308a\u3001\u3069\u3053\u3067\u51e6\u7406\u3092\u505c\u6b62\u3059\u308b\u304b\u306f\u3001<\/p>\n<p>\\[<br \/>\nC(a,y)<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u696d\u52d9\u5074\u306e\u640d\u5931\u69cb\u9020\u304b\u3089\u6c7a\u307e\u308b\u3002<\/p>\n<p>\u305f\u3068\u3048\u3070\u91d1\u878d\u3001\u4e0d\u6b63\u691c\u77e5\u3001\u554f\u3044\u5408\u308f\u305b\u5206\u985e\u306e\u3044\u305a\u308c\u3067\u3082\u3001\u300cconfidence \u304c 0.8 \u3092\u8d85\u3048\u305f\u3089\u81ea\u52d5\u51e6\u7406\u300d\u3068\u3044\u3046\u5024\u3092\u30e2\u30c7\u30eb\u56fa\u6709\u306e\u5b9a\u6570\u3068\u3057\u3066\u7f6e\u304f\u5fc5\u8981\u306f\u306a\u3044\u3002\u8aa4\u3063\u305f\u81ea\u52d5\u51e6\u7406\u306e\u640d\u5931\u3001\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u306e\u30b3\u30b9\u30c8\u3001\u51e6\u7406\u9045\u5ef6\u3001\u9867\u5ba2\u5f71\u97ff\u306a\u3069\u3092\u6570\u5024\u5316\u3059\u308c\u3070\u3001\u95be\u5024\u306f\u305d\u308c\u3089\u306e\u95a2\u4fc2\u304b\u3089\u5c0e\u51fa\u3067\u304d\u308b\u3002<\/p>\n<p>\u4e8c\u5024\u554f\u984c\u3067\u306f\u5148\u307b\u3069\u306e\u3001<\/p>\n<p>\\[<br \/>\n\\tau<br \/>\n=<br \/>\n\\frac{C_R}{C_F}<br \/>\n\\]<\/p>\n<p>\u304c\u305d\u306e\u6700\u3082\u5358\u7d14\u306a\u4f8b\u3067\u3042\u308b\u3002\u8907\u6570\u306e\u884c\u52d5\u3068\u72b6\u614b\u304c\u3042\u308b\u5834\u5408\u3082\u3001\u4e00\u822c\u5f62<\/p>\n<p>\\[<br \/>\na^*(x)<br \/>\n=<br \/>\n\\arg\\min_a<br \/>\n\\sum_y<br \/>\nq_\\theta(y\\mid x)C(a,y)<br \/>\n\\]<\/p>\n<p>\u3078\u623b\u308c\u3070\u3088\u3044\u3002<\/p>\n<p>\u305f\u3068\u3048\u3070\u884c\u52d5\u3092\u3001<\/p>\n<p>\\[<br \/>\nA<br \/>\n=<br \/>\n\\{<br \/>\n\\mathrm{approve},<br \/>\n\\mathrm{review},<br \/>\n\\mathrm{block}<br \/>\n\\}<br \/>\n\\]<\/p>\n<p>\u3068\u3059\u308c\u3070\u3001\u5404\u884c\u52d5\u306b\u3064\u3044\u3066\u6b63\u5e38\u53d6\u5f15\u3068\u4e0d\u6b63\u53d6\u5f15\u306b\u5bfe\u3059\u308b\u640d\u5931\u3092\u5b9a\u7fa9\u3057\u3001\u305d\u308c\u305e\u308c\u306e\u671f\u5f85\u640d\u5931\u3092\u6bd4\u8f03\u3067\u304d\u308b\u3002\u30e2\u30c7\u30eb\u81ea\u8eab\u3078\u300c\u627f\u8a8d\u3001\u30ec\u30d3\u30e5\u30fc\u3001\u505c\u6b62\u306e\u3069\u308c\u3092\u9078\u3076\u3079\u304d\u304b\u300d\u3068\u3044\u3046\u4fa1\u5024\u5224\u65ad\u307e\u3067\u5b66\u7fd2\u3055\u305b\u308b\u5fc5\u8981\u306f\u306a\u304f\u3001\u72b6\u614b\u78ba\u7387\u306e\u63a8\u5b9a\u3068\u884c\u52d5\u9078\u629e\u3092\u5206\u96e2\u3057\u305f\u307e\u307e\u6271\u3048\u308b\u3002<\/p>\n<h3>9.6 Jev \u306e typed decisions \u306f\u3053\u306e\u5206\u96e2\u3068\u76f8\u6027\u304c\u3088\u3044<\/h3>\n<p>TypeSafe \u306f Jev \u3092\u3001\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u5185\u90e8\u3067\u4f7f\u3046 typed decisions \u3092\u8fd4\u3059\u30e2\u30c7\u30eb\u3068\u3057\u3066\u4f4d\u7f6e\u4ed8\u3051\u3066\u3044\u308b\u3002\u73fe\u884c\u306e\u8aac\u660e\u3067\u3082\u3001Jev \u304c calibrated probabilities \u3092\u8fd4\u3057\u3001\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u5074\u3067\u81ea\u52d5\u51e6\u7406\u3068\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u306e\u95be\u5024\u3092\u8a2d\u5b9a\u3057\u3001\u8907\u6570\u306e\u5224\u65ad\u3092\u30b3\u30fc\u30c9\u3067\u7d44\u307f\u5408\u308f\u305b\u3066 workflow \u3092\u69cb\u6210\u3059\u308b\u3053\u3068\u3092\u524d\u63d0\u3068\u3057\u3066\u3044\u308b<a href=\"#ref1\">[1]<\/a>\u3002<\/p>\n<p>\u3053\u306e\u8a2d\u8a08\u3067\u306f\u3001AI \u304c\u696d\u52d9\u51e6\u7406\u5168\u4f53\u3092\u81ea\u7136\u8a00\u8a9e\u3067\u6c7a\u5b9a\u3059\u308b\u5fc5\u8981\u304c\u306a\u3044\u3002\u305f\u3068\u3048\u3070 Jev \u306e Noul \u304c\u3001<\/p>\n<p>\\[<br \/>\nP(\\mathrm{fraud}\\mid x)=0.08<br \/>\n\\]<\/p>\n<p>\u306b\u76f8\u5f53\u3059\u308b\u5224\u65ad\u3092\u8fd4\u3057\u305f\u3068\u3059\u308b\u3002\u5f8c\u6bb5\u306e\u901a\u5e38\u30b3\u30fc\u30c9\u306f\u3001\u696d\u52d9\u4e0a\u5b9a\u7fa9\u3055\u308c\u305f\u95be\u5024 0.05 \u3068\u6bd4\u8f03\u3057\u3066\u3001<\/p>\n<p>\\[<br \/>\n0.08&gt;0.05<br \/>\n\\]<\/p>\n<p>\u3067\u3042\u308b\u305f\u3081\u30ec\u30d3\u30e5\u30fc\u3078\u9001\u308b\u3002<\/p>\n<p>\u540c\u3058\u4e88\u6e2c\u30e2\u30c7\u30eb\u3092\u4f7f\u3063\u3066\u3044\u3066\u3082\u3001\u696d\u52d9\u6761\u4ef6\u304c\u7570\u306a\u308c\u3070\u5225\u306e\u95be\u5024\u3092\u8a2d\u5b9a\u3067\u304d\u308b\u3002\u3042\u308b\u696d\u52d9\u3067\u306f\u4e0d\u6b63\u306e\u640d\u5931\u304c\u5927\u304d\u3044\u305f\u3081 0.02 \u304b\u3089\u30ec\u30d3\u30e5\u30fc\u3057\u3001\u5225\u306e\u696d\u52d9\u3067\u306f\u4eba\u9593\u78ba\u8a8d\u30b3\u30b9\u30c8\u304c\u9ad8\u3044\u305f\u3081 0.20 \u307e\u3067\u81ea\u52d5\u51e6\u7406\u3059\u308b\u3001\u3068\u3044\u3063\u305f\u5dee\u3092\u30b3\u30fc\u30c9\u5074\u3067\u8868\u73fe\u3067\u304d\u308b\u3002<\/p>\n<p>\u3053\u306e\u69cb\u9020\u3067\u306f\u3001AI \u30e2\u30c7\u30eb\u3092\u518d\u5b66\u7fd2\u3057\u306a\u304f\u3066\u3082\u3001\u696d\u52d9\u4e0a\u306e\u30b3\u30b9\u30c8\u69cb\u9020\u3084\u30ea\u30b9\u30af\u8a31\u5bb9\u5ea6\u306e\u5909\u66f4\u3092\u610f\u601d\u6c7a\u5b9a\u30ed\u30b8\u30c3\u30af\u5074\u3067\u53cd\u6620\u3067\u304d\u308b\u3002\u30e2\u30c7\u30eb\u306f\u72b6\u614b\u306b\u3064\u3044\u3066\u306e\u78ba\u7387\u7684\u5224\u65ad\u3092\u62c5\u5f53\u3057\u3001\u305d\u306e\u78ba\u7387\u3092\u3069\u306e\u3088\u3046\u306a\u884c\u52d5\u3078\u5909\u63db\u3059\u308b\u304b\u306f\u5916\u90e8\u306e\u898f\u5247\u3068\u3057\u3066\u7dad\u6301\u3055\u308c\u308b\u3002<\/p>\n<h3>9.7 \u4e88\u6e2c\u3068\u610f\u601d\u6c7a\u5b9a\u3092\u5206\u96e2\u3059\u308b\u3068\u691c\u8a3c\u5bfe\u8c61\u3082\u5206\u96e2\u3067\u304d\u308b<\/h3>\n<p>\u4e88\u6e2c\u30e2\u30c7\u30eb\u3068\u696d\u52d9\u30ed\u30b8\u30c3\u30af\u3092\u5206\u3051\u308b\u3068\u3001\u969c\u5bb3\u3084\u5224\u65ad\u30df\u30b9\u304c\u8d77\u304d\u305f\u3068\u304d\u306b\u4f55\u3092\u691c\u8a3c\u3059\u3079\u304d\u304b\u3082\u660e\u78ba\u306b\u306a\u308b\u3002<\/p>\n<p>\u7b2c\u4e00\u306b\u3001\u4e88\u6e2c\u30e2\u30c7\u30eb\u306b\u3064\u3044\u3066\u306f\u3001<\/p>\n<p>\\[<br \/>\nq_\\theta(Y\\mid x)<br \/>\n\\]<\/p>\n<p>\u304c\u5b9f\u969b\u306e\u7d50\u679c\u3068\u3069\u306e\u7a0b\u5ea6\u5bfe\u5fdc\u3057\u3066\u3044\u305f\u304b\u3092\u8abf\u3079\u308b\u3002accuracy\u3001\u8b58\u5225\u80fd\u529b\u3001calibration\u3001sharpness \u306a\u3069\u3001\u524d\u7bc0\u307e\u3067\u306b\u6574\u7406\u3057\u305f\u6307\u6a19\u304c\u3053\u306e\u5c64\u306b\u5c5e\u3059\u308b\u3002<\/p>\n<p>\u7b2c\u4e8c\u306b\u3001\u610f\u601d\u6c7a\u5b9a\u30ed\u30b8\u30c3\u30af\u306b\u3064\u3044\u3066\u306f\u3001<\/p>\n<p>\\[<br \/>\nC(a,y)<br \/>\n\\]<\/p>\n<p>\u306e\u8a2d\u5b9a\u304c\u5b9f\u969b\u306e\u696d\u52d9\u4e0a\u306e\u640d\u5931\u3092\u9069\u5207\u306b\u8868\u3057\u3066\u3044\u305f\u304b\u3092\u8abf\u3079\u308b\u3002\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u306e\u30b3\u30b9\u30c8\u3092\u904e\u5c0f\u8a55\u4fa1\u3057\u3066\u3044\u305f\u3001\u8aa4\u627f\u8a8d\u306e\u640d\u5931\u3092\u904e\u5927\u8a55\u4fa1\u3057\u3066\u3044\u305f\u3001\u5236\u5ea6\u4e0a\u8a31\u3055\u308c\u306a\u3044\u81ea\u52d5\u51e6\u7406\u3092\u884c\u52d5\u96c6\u5408\u3078\u542b\u3081\u3066\u3044\u305f\u3001\u3068\u3044\u3063\u305f\u554f\u984c\u306f\u3053\u306e\u5c64\u306b\u5c5e\u3059\u308b\u3002<\/p>\n<p>\u7b2c\u4e09\u306b\u3001\u4e21\u8005\u3092\u63a5\u7d9a\u3059\u308b\u95be\u5024\u306b\u3064\u3044\u3066\u3001<\/p>\n<p>\\[<br \/>\na^*(x)<br \/>\n=<br \/>\n\\arg\\min_a<br \/>\n\\mathbb{E}[C(a,Y)\\mid x]<br \/>\n\\]<\/p>\n<p>\u304b\u3089\u6b63\u3057\u304f\u5c0e\u51fa\u3055\u308c\u3066\u3044\u305f\u304b\u3092\u78ba\u8a8d\u3059\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u5c64<\/th>\n<th>\u4e3b\u306a\u691c\u8a3c\u5bfe\u8c61<\/th>\n<th>\u4ee3\u8868\u7684\u306a\u554f\u984c<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u78ba\u7387\u4e88\u6e2c<\/td>\n<td>\u30e2\u30c7\u30eb\u306e probability \u3068\u5b9f\u969b\u306e\u7d50\u679c\u3068\u306e\u5bfe\u5fdc\u3092\u691c\u8a3c\u3059\u308b\u3002<\/td>\n<td>\u8aa4\u5206\u985e\u3001\u904e\u4fe1\u3001\u904e\u5c0f\u8a55\u4fa1\u3001\u5206\u5e03\u5909\u5316\u306b\u3088\u308b calibration \u306e\u60aa\u5316\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u640d\u5931\u5b9a\u7fa9<\/td>\n<td>\u696d\u52d9\u4e0a\u306e\u30b3\u30b9\u30c8\u3001\u30ea\u30b9\u30af\u3001\u5236\u5ea6\u6761\u4ef6\u304c\u9069\u5207\u306b\u6570\u5024\u5316\u3055\u308c\u3066\u3044\u308b\u304b\u3092\u691c\u8a3c\u3059\u308b\u3002<\/td>\n<td>\u8aa4\u627f\u8a8d\u30b3\u30b9\u30c8\u3001\u30ec\u30d3\u30e5\u30fc\u30b3\u30b9\u30c8\u3001\u9867\u5ba2\u5f71\u97ff\u306a\u3069\u306e\u898b\u7a4d\u3082\u308a\u8aa4\u308a\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u610f\u601d\u6c7a\u5b9a\u898f\u5247<\/td>\n<td>\u78ba\u7387\u3068\u640d\u5931\u304b\u3089\u9069\u5207\u306a\u884c\u52d5\u304c\u9078\u3070\u308c\u3066\u3044\u308b\u304b\u3092\u691c\u8a3c\u3059\u308b\u3002<\/td>\n<td>\u95be\u5024\u306e\u8a08\u7b97\u8aa4\u308a\u3001\u6761\u4ef6\u5206\u5c90\u306e\u5b9f\u88c5\u8aa4\u308a\u3001\u6a29\u9650\u5883\u754c\u306e\u8a2d\u5b9a\u8aa4\u308a\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u65e2\u7a3f\u3067\u306f\u3001\u81ea\u52d5\u8a55\u4fa1\u3092\u751f\u6210\u5de5\u7a0b\u3078\u7d44\u307f\u8fbc\u3093\u3060\u5834\u5408\u3001\u30c6\u30b9\u30c8\u306b\u6210\u529f\u3057\u305f\u3068\u3044\u3046\u89b3\u6e2c\u5024\u3068\u3001\u672c\u6765\u306e\u4ed5\u69d8\u3078\u9069\u5408\u3057\u3066\u3044\u308b\u3053\u3068\u3092\u5206\u3051\u3066\u691c\u8a3c\u3059\u308b\u5fc5\u8981\u304c\u3042\u308b\u3068\u6574\u7406\u3057\u305f<a href=\"#ref21\">[21]<\/a>\u3002\u78ba\u7387\u7684\u5224\u65ad\u3067\u3082\u540c\u3058\u5206\u96e2\u304c\u6709\u52b9\u3067\u3042\u308b\u3002\u30e2\u30c7\u30eb\u304c\u6b63\u3057\u3044\u78ba\u7387\u3092\u8fd4\u3057\u305f\u304b\u3068\u3044\u3046\u554f\u984c\u3068\u3001\u305d\u306e\u78ba\u7387\u304b\u3089\u9069\u5207\u306a\u884c\u52d5\u3092\u9078\u3093\u3060\u304b\u3068\u3044\u3046\u554f\u984c\u306f\u5225\u306e\u691c\u8a3c\u5bfe\u8c61\u306b\u306a\u308b\u3002<\/p>\n<h3>9.8 \u8f03\u6b63\u3055\u308c\u305f\u78ba\u7387\u306f AI \u306e\u5224\u65ad\u3092\u660e\u793a\u7684\u306a\u610f\u601d\u6c7a\u5b9a\u3078\u5909\u63db\u3059\u308b<\/h3>\n<p>\u3053\u306e\u69cb\u9020\u304b\u3089\u3001calibration \u306e\u5b9f\u52d9\u4e0a\u306e\u610f\u5473\u3092\u6574\u7406\u3067\u304d\u308b\u3002\u78ba\u7387\u304c\u8f03\u6b63\u3055\u308c\u3066\u3044\u308c\u3070\u3001AI \u304c\u8fd4\u3059 0.05 \u3084 0.8 \u3092\u3001\u5358\u306a\u308b confidence \u8868\u793a\u3067\u306f\u306a\u304f\u671f\u5f85\u640d\u5931\u8a08\u7b97\u306e\u5165\u529b\u3068\u3057\u3066\u5229\u7528\u3067\u304d\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\text{state}<br \/>\n\\longrightarrow<br \/>\nq_\\theta(Y\\mid x)<br \/>\n\\longrightarrow<br \/>\nC(a,Y)<br \/>\n\\longrightarrow<br \/>\na^*(x)<br \/>\n\\]<\/p>\n<p>\u6700\u521d\u306e\u5199\u50cf\u306f\u4e88\u6e2c\u30e2\u30c7\u30eb\u304c\u62c5\u5f53\u3057\u3001\u5f8c\u534a\u306f\u901a\u5e38\u306e\u30d7\u30ed\u30b0\u30e9\u30e0\u3067\u8a08\u7b97\u3067\u304d\u308b\u3002\u30e2\u30c7\u30eb\u306e\u51fa\u529b\u304c\u78ba\u7387\u5206\u5e03\u3068\u3057\u3066\u610f\u5473\u3092\u6301\u3064\u307b\u3069\u3001AI \u306b\u6700\u7d42\u7684\u306a\u4fa1\u5024\u5224\u65ad\u307e\u3067\u5185\u5305\u3055\u305b\u308b\u5fc5\u8981\u6027\u306f\u5c0f\u3055\u304f\u306a\u308b\u3002<\/p>\n<p>TypeSafe \u304c Jev \u3092 software automation \u306e\u305f\u3081\u306e typed decisions \u3068\u3057\u3066\u8a2d\u8a08\u3057\u3001\u78ba\u7387\u3068 confidence \u3092\u901a\u5e38\u30b3\u30fc\u30c9\u3078\u8fd4\u3059\u69cb\u6210\u306f\u3001\u3053\u306e\u5206\u96e2\u3068\u6574\u5408\u3059\u308b<a href=\"#ref1\">[1]<\/a>\u3002\u30e2\u30c7\u30eb\u304c\u300c\u4f55\u3092\u3059\u3079\u304d\u304b\u300d\u3092\u81ea\u7531\u6587\u3067\u6c7a\u5b9a\u3059\u308b\u69cb\u9020\u3088\u308a\u3001\u30e2\u30c7\u30eb\u304c\u300c\u4f55\u304c\u3069\u306e\u7a0b\u5ea6\u8d77\u3053\u308a\u305d\u3046\u304b\u300d\u3092\u8fd4\u3057\u3001\u305d\u306e\u78ba\u7387\u3092\u696d\u52d9\u4e0a\u306e\u640d\u5931\u3068\u7d44\u307f\u5408\u308f\u305b\u308b\u69cb\u9020\u306e\u65b9\u304c\u3001\u95be\u5024\u3001\u30b3\u30b9\u30c8\u3001\u6a29\u9650\u5883\u754c\u3092\u660e\u793a\u7684\u306b\u7ba1\u7406\u3067\u304d\u308b\u3002<\/p>\n<p>\u305f\u3060\u3057\u3001\u3053\u306e\u610f\u601d\u6c7a\u5b9a\u7406\u8ad6\u304c\u76f4\u63a5\u9069\u7528\u3067\u304d\u308b\u306e\u306f\u3001Jev \u304c\u8fd4\u3059 probability \u3092\u5bfe\u8c61\u72b6\u614b\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u3068\u3057\u3066\u5229\u7528\u3067\u304d\u308b\u7bc4\u56f2\u3067\u3042\u308b\u3002TypeSafe \u304c probabilities \u3068 confidence \u3092\u3069\u306e\u3088\u3046\u306a\u640d\u5931\u95a2\u6570\u3067\u5b66\u7fd2\u3057\u3001\u3069\u306e\u7a0b\u5ea6 calibration \u3092\u4fdd\u8a3c\u3057\u3066\u3044\u308b\u304b\u3068\u3044\u3046\u6280\u8853\u8a73\u7d30\u306f\u73fe\u5728\u516c\u958b\u3055\u308c\u3066\u3044\u306a\u3044\u3002\u305d\u306e\u305f\u3081\u3001\u672c\u7bc0\u3067\u793a\u3057\u305f\u30d9\u30a4\u30ba\u610f\u601d\u6c7a\u5b9a\u306f Jev \u306e\u5185\u90e8\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u3092\u8aac\u660e\u3059\u308b\u3082\u306e\u3067\u306f\u306a\u304f\u3001\u8f03\u6b63\u3055\u308c\u305f\u78ba\u7387\u304c\u5f97\u3089\u308c\u305f\u5834\u5408\u306b\u3001\u305d\u308c\u3092\u696d\u52d9\u30ed\u30b8\u30c3\u30af\u3078\u3069\u306e\u3088\u3046\u306b\u63a5\u7d9a\u3067\u304d\u308b\u304b\u3092\u793a\u3059\u5916\u90e8\u306e\u610f\u601d\u6c7a\u5b9a\u30e2\u30c7\u30eb\u3067\u3042\u308b\u3002<\/p>\n<p>\u3053\u306e\u5883\u754c\u3092\u7f6e\u304f\u3068\u3001RLCD \u306e\u72d9\u3044\u3092 RLHF \u3068\u6bd4\u8f03\u3059\u308b\u305f\u3081\u306e\u6700\u5f8c\u306e\u69cb\u56f3\u304c\u898b\u3048\u3066\u304f\u308b\u3002RLHF \u3067\u306f\u4eba\u9593\u306e\u9078\u597d\u3092\u4ee3\u7406\u5831\u916c\u3078\u5909\u63db\u3057\u3001\u305d\u306e\u5831\u916c\u3092\u9ad8\u3081\u308b\u3088\u3046\u751f\u6210\u65b9\u7b56\u3092\u6700\u9069\u5316\u3059\u308b\u3002\u4e00\u65b9\u3001RLCD \u306e\u516c\u958b\u76ee\u7684\u3092\u78ba\u7387\u8ad6\u3068\u3057\u3066\u5f62\u5f0f\u5316\u3059\u308b\u3068\u3001\u5224\u65ad\u7d50\u679c\u3078\u610f\u5473\u306e\u3042\u308b\u78ba\u7387\u3092\u4ed8\u4e0e\u3057\u3001\u305d\u306e\u78ba\u7387\u3092\u901a\u5e38\u306e\u610f\u601d\u6c7a\u5b9a\u3078\u6e21\u3059\u3053\u3068\u304c\u4e2d\u5fc3\u306b\u306a\u308b\u3002\u6b21\u7bc0\u3067\u306f\u3001\u4e21\u8005\u3092\u305d\u308c\u305e\u308c\u306e\u76ee\u7684\u5909\u6570\u307e\u3067\u623b\u3057\u3001\u6570\u7406\u30e2\u30c7\u30eb\u3068\u3057\u3066\u5168\u4f53\u3092\u6574\u7406\u3059\u308b\u3002<\/p>\n<hr>\n<h2>10. RLHF \u3068 RLCD \u306e\u5dee\u306f\u76ee\u7684\u5909\u6570\u306e\u7f6e\u304d\u65b9\u306b\u73fe\u308c\u308b<\/h2>\n<p>\u3053\u3053\u307e\u3067\u306e\u8b70\u8ad6\u3092\u6570\u7406\u30e2\u30c7\u30eb\u3068\u3057\u3066\u4e00\u3064\u306b\u623b\u3059\u3068\u3001RLHF \u3068 RLCD \u306e\u9055\u3044\u306f\u3001\u5358\u306b\u751f\u6210\u3059\u308b\u5024\u306e\u578b\u304c\u7570\u306a\u308b\u3053\u3068\u3088\u308a\u3001\u5b66\u7fd2\u3068\u5229\u7528\u306e\u4e2d\u5fc3\u306b\u3069\u306e\u91cf\u3092\u7f6e\u304f\u304b\u3068\u3044\u3046\u9055\u3044\u3068\u3057\u3066\u6574\u7406\u3067\u304d\u308b\u3002RLHF \u3067\u306f\u3001\u4eba\u9593\u306b\u3088\u308b\u6bd4\u8f03\u5224\u65ad\u3092\u6f5c\u5728\u7684\u306a\u5831\u916c\u3078\u5909\u63db\u3057\u3001\u305d\u306e\u5831\u916c\u3092\u9ad8\u3081\u308b\u65b9\u5411\u3078\u751f\u6210\u65b9\u7b56\u3092\u66f4\u65b0\u3059\u308b\u3002\u4e00\u65b9\u3001TypeSafe \u304c RLCD \u306b\u3064\u3044\u3066\u516c\u958b\u3057\u3066\u3044\u308b\u4e2d\u5fc3\u6982\u5ff5\u306f calibrated decisions \u3067\u3042\u308a\u3001Jev \u306f\u5224\u65ad\u5019\u88dc\u3068\u3068\u3082\u306b probability \u3084 confidence \u3092\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u3078\u8fd4\u3059<a href=\"#ref1\">[1]<\/a><a href=\"#ref2\">[2]<\/a>\u3002<\/p>\n<p>\u305f\u3060\u3057\u3001\u3053\u306e\u4e8c\u3064\u3092\u540c\u3058\u78ba\u5ea6\u306e\u6570\u5f0f\u3068\u3057\u3066\u4e26\u3079\u308b\u3053\u3068\u306f\u3067\u304d\u306a\u3044\u3002RLHF \u306b\u3064\u3044\u3066\u306f\u3001\u5831\u916c\u30e2\u30c7\u30eb\u306e\u5b66\u7fd2\u3001KL \u5236\u7d04\u3001PPO \u306a\u3069\u3092\u542b\u3080\u4ee3\u8868\u7684\u306a\u5b9f\u88c5\u304c\u8ad6\u6587\u3068\u3057\u3066\u516c\u958b\u3055\u308c\u3066\u3044\u308b\u3002\u4e00\u65b9\u30012026 \u5e74 9 \u6708 18 \u65e5\u6642\u70b9\u3067\u3001TypeSafe \u306f RLCD \u306e\u5177\u4f53\u7684\u306a\u5831\u916c\u95a2\u6570\u3001\u640d\u5931\u95a2\u6570\u3001\u5b66\u7fd2\u30c7\u30fc\u30bf\u306e\u69cb\u6210\u3001\u78ba\u7387\u8f03\u6b63\u65b9\u6cd5\u3001\u65b9\u7b56\u6700\u9069\u5316\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u3092\u516c\u958b\u3057\u3066\u3044\u306a\u3044\u3002\u672c\u7bc0\u3067 RLCD \u5074\u306b\u7f6e\u304f\u6570\u5f0f\u306f\u3001\u516c\u958b\u3055\u308c\u305f calibrated decisions \u3068\u3044\u3046\u76ee\u7684\u3092\u65e2\u5b58\u306e\u78ba\u7387\u8ad6\u3068\u610f\u601d\u6c7a\u5b9a\u7406\u8ad6\u306b\u3088\u3063\u3066\u5f62\u5f0f\u5316\u3057\u305f\u5916\u90e8\u30e2\u30c7\u30eb\u3067\u3042\u308b\u3002<\/p>\n<h3>10.1 RLHF \u3067\u306f\u4eba\u9593\u6bd4\u8f03\u304b\u3089\u4ee3\u7406\u5831\u916c\u3092\u69cb\u6210\u3059\u308b<\/h3>\n<p>RLHF \u306e\u51fa\u767a\u70b9\u306f\u3001\u4eba\u9593\u306b\u3088\u308b\u56de\u7b54\u9593\u306e\u6bd4\u8f03\u3067\u3042\u308b\u3002\u5165\u529b \\(x\\) \u306b\u5bfe\u3057\u3066\u3001\u4eba\u9593\u304c \\(y^+\\) \u3092 \\(y^-\\) \u3088\u308a\u597d\u3093\u3060\u3068\u3044\u3046\u89b3\u6e2c\u3092\u3001<\/p>\n<p>\\[<br \/>\ny^+<br \/>\n\\succ<br \/>\ny^-<br \/>\n\\]<\/p>\n<p>\u3068\u3057\u3066\u5f97\u308b\u3002\u3053\u306e\u6bd4\u8f03\u30c7\u30fc\u30bf\u304b\u3089\u3001\u56de\u7b54\u3078\u5b9f\u6570\u5024\u3092\u5272\u308a\u5f53\u3066\u308b\u5831\u916c\u30e2\u30c7\u30eb<\/p>\n<p>\\[<br \/>\nr_\\phi(x,y)<br \/>\n\\]<\/p>\n<p>\u3092\u5b66\u7fd2\u3059\u308b\u3002\u524d\u7bc0\u307e\u3067\u306b\u898b\u305f\u3088\u3046\u306b\u3001Bradley\u2013Terry \u578b\u306e\u30e2\u30c7\u30eb\u3067\u306f\u5831\u916c\u5dee\u304c\u4eba\u9593\u306b\u3088\u308b\u9078\u629e\u78ba\u7387\u306e\u5bfe\u6570\u30aa\u30c3\u30ba\u306b\u5bfe\u5fdc\u3059\u308b\u3002<\/p>\n<p>\u305d\u306e\u5f8c\u3001\u751f\u6210\u65b9\u7b56 \\(\\pi_\\theta\\) \u306f\u3001\u3053\u306e\u5831\u916c\u30e2\u30c7\u30eb\u304c\u9ad8\u304f\u8a55\u4fa1\u3059\u308b\u56de\u7b54\u3092\u3088\u308a\u591a\u304f\u751f\u6210\u3059\u308b\u65b9\u5411\u3078\u66f4\u65b0\u3055\u308c\u308b\u3002\u5358\u7d14\u5316\u3059\u308c\u3070\u3001<\/p>\n<p>\\[<br \/>\n\\pi^*<br \/>\n=<br \/>\n\\arg\\max_{\\pi}<br \/>\n\\mathbb{E}_{x,y\\sim\\pi}<br \/>\n\\left[<br \/>\nr_\\phi(x,y)<br \/>\n\\right]<br \/>\n\\]<\/p>\n<p>\u3068\u8868\u305b\u308b\u3002<\/p>\n<p>\u5b9f\u969b\u306e RLHF \u3067\u306f\u53c2\u7167\u65b9\u7b56\u304b\u3089\u306e\u4e56\u96e2\u3092\u6291\u3048\u308b KL \u9805\u306a\u3069\u304c\u5165\u308b\u304c\u3001\u4e2d\u5fc3\u69cb\u9020\u306f\u5909\u308f\u3089\u306a\u3044\u3002<\/p>\n<p>\\[<br \/>\n\\text{human comparisons}<br \/>\n\\longrightarrow<br \/>\nr_\\phi(x,y)<br \/>\n\\longrightarrow<br \/>\n\\pi_\\theta(y\\mid x)<br \/>\n\\]<\/p>\n<p>\u3053\u306e\u7cfb\u3067\u76f4\u63a5\u6700\u9069\u5316\u3055\u308c\u308b\u306e\u306f\u3001\u4eba\u9593\u306e\u6bd4\u8f03\u5224\u65ad\u3092\u8fd1\u4f3c\u3059\u308b\u4ee3\u7406\u5831\u916c\u3067\u3042\u308b\u3002\u524d\u7bc0\u3067\u5206\u89e3\u3057\u305f\u3088\u3046\u306b\u3001\u672c\u6765\u306e\u76ee\u7684\u3092 \\(u(x,y)\\) \u3068\u3059\u308c\u3070\u3001<\/p>\n<p>\\[<br \/>\nr_\\phi(x,y)<br \/>\n=<br \/>\nu(x,y)<br \/>\n+<br \/>\n\\delta_H(x,y)<br \/>\n+<br \/>\n\\delta_R(x,y)<br \/>\n\\]<\/p>\n<p>\u3068\u8003\u3048\u3089\u308c\u308b\u3002\u4eba\u9593\u8a55\u4fa1\u3068\u672c\u6765\u76ee\u7684\u3068\u306e\u5dee \\(\\delta_H\\)\u3001\u5831\u916c\u30e2\u30c7\u30eb\u3068\u4eba\u9593\u8a55\u4fa1\u3068\u306e\u5dee \\(\\delta_R\\) \u304c\u5341\u5206\u306b\u5c0f\u3055\u3044\u9818\u57df\u3067\u306f\u3001\u5831\u916c\u306e\u6539\u5584\u304c\u672c\u6765\u76ee\u7684\u306e\u6539\u5584\u3068\u5bfe\u5fdc\u3057\u3084\u3059\u3044\u3002\u6700\u9069\u5316\u306b\u3088\u3063\u3066\u3053\u308c\u3089\u306e\u8aa4\u5dee\u304c\u7cfb\u7d71\u7684\u306b\u5229\u7528\u3055\u308c\u308b\u9818\u57df\u3078\u79fb\u308c\u3070\u3001\u4ee3\u7406\u5831\u916c\u3068\u672c\u6765\u76ee\u7684\u306e\u6539\u5584\u65b9\u5411\u306f\u5206\u96e2\u3057\u5f97\u308b\u3002<\/p>\n<h3>10.2 RLCD \u306e\u516c\u958b\u76ee\u7684\u3092\u5f62\u5f0f\u5316\u3059\u308b\u3068\u78ba\u7387\u5206\u5e03\u304c\u4e2d\u5fc3\u306b\u7f6e\u304b\u308c\u308b<\/h3>\n<p>TypeSafe \u306f RLCD \u3092\u3001human preference \u3067\u306f\u306a\u304f calibrated decisions \u3092\u6700\u9069\u5316\u3059\u308b\u5b66\u7fd2\u65b9\u6cd5\u3068\u3057\u3066\u8aac\u660e\u3057\u3066\u3044\u308b<a href=\"#ref1\">[1]<\/a>\u3002Jev \u306e\u516c\u958b API \u3067\u306f\u3001Noul\u3001Choice\u3001Score \u306e\u5224\u65ad\u306b probability \u304c\u4ed8\u968f\u3057\u3001Choice \u3068 Score \u306b\u306f confidence \u3082\u8fd4\u3055\u308c\u308b<a href=\"#ref2\">[2]<\/a>\u3002<\/p>\n<p>\u3053\u306e\u516c\u958b\u76ee\u7684\u3092\u78ba\u7387\u4e88\u6e2c\u554f\u984c\u3068\u3057\u3066\u5f62\u5f0f\u5316\u3059\u308b\u306a\u3089\u3001\u5165\u529b \\(x\\) \u306b\u5bfe\u3059\u308b\u5224\u65ad\u5019\u88dc \\(k\\) \u306e\u4e88\u6e2c\u5206\u5e03\u3092<\/p>\n<p>\\[<br \/>\nq_\\theta(k\\mid x)<br \/>\n\\]<\/p>\n<p>\u3068\u7f6e\u304f\u3053\u3068\u304c\u3067\u304d\u308b\u3002<\/p>\n<p>\u6700\u3082\u5f37\u3044\u7406\u60f3\u72b6\u614b\u306f\u3001\u30e2\u30c7\u30eb\u306e\u4e88\u6e2c\u5206\u5e03\u304c\u771f\u306e\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u3068\u4e00\u81f4\u3059\u308b\u3053\u3068\u3067\u3042\u308b\u3002<\/p>\n<p>\\[<br \/>\nq_\\theta(k\\mid x)<br \/>\n=<br \/>\nP(Y=k\\mid X=x)<br \/>\n\\]<\/p>\n<p>\u305f\u3060\u3057\u3001\u3053\u306e\u6761\u4ef6\u306f calibration \u3088\u308a\u5f37\u3044\u3002\u78ba\u7387\u8f03\u6b63\u3068\u3057\u3066\u76f4\u63a5\u8981\u6c42\u3055\u308c\u308b\u306e\u306f\u3001\u540c\u3058\u4e88\u6e2c\u78ba\u7387\u3092\u6301\u3064\u4e8b\u4f8b\u7fa4\u306b\u3064\u3044\u3066\u3001\u4e88\u6e2c\u5024\u3068\u5b9f\u6e2c\u983b\u5ea6\u304c\u4e00\u81f4\u3059\u308b\u3053\u3068\u3067\u3042\u308b\u3002<\/p>\n<p>\\[<br \/>\nP<br \/>\n\\left(<br \/>\nY=k<br \/>\n\\mid<br \/>\nq_\\theta(k\\mid X)=p<br \/>\n\\right)<br \/>\n=<br \/>\np<br \/>\n\\]<\/p>\n<p>\u305f\u3068\u3048\u3070\u3001\u3042\u308b\u5224\u65ad\u306b\u3064\u3044\u3066 0.8 \u3068\u4e88\u6e2c\u3055\u308c\u305f\u4e8b\u4f8b\u3092\u591a\u6570\u96c6\u3081\u305f\u3068\u304d\u3001\u305d\u306e\u7d04 80% \u304c\u5b9f\u969b\u306b\u3082\u6b63\u3057\u3044\u306a\u3089\u30010.8 \u3068\u3044\u3046\u6570\u5024\u306b\u5b9f\u6e2c\u983b\u5ea6\u3068\u3057\u3066\u306e\u610f\u5473\u304c\u751f\u307e\u308c\u308b\u3002<\/p>\n<p>RLCD \u304c\u3053\u306e\u95a2\u4fc2\u3092\u5177\u4f53\u7684\u306b\u3069\u306e\u640d\u5931\u95a2\u6570\u3067\u5b66\u7fd2\u3057\u3066\u3044\u308b\u304b\u306f\u516c\u958b\u3055\u308c\u3066\u3044\u306a\u3044\u3002\u524d\u7bc0\u3067\u6271\u3063\u305f proper scoring rule \u306f\u3001\u771f\u306e\u78ba\u7387\u3092\u7533\u544a\u3059\u308b\u3053\u3068\u3092\u671f\u5f85\u640d\u5931\u4e0a\u306e\u6700\u9069\u89e3\u306b\u3059\u308b\u65e2\u5b58\u7406\u8ad6\u3068\u3057\u3066\u3001calibrated decisions \u306e\u6570\u7406\u8981\u4ef6\u3092\u8aac\u660e\u3059\u308b\u305f\u3081\u306b\u5229\u7528\u3067\u304d\u308b\u3002\u3057\u304b\u3057\u3001TypeSafe \u304c\u5bfe\u6570\u640d\u5931\u3001Brier score\u3001\u305d\u306e\u4ed6\u306e\u7279\u5b9a\u306e scoring rule \u3092 RLCD \u5185\u90e8\u3067\u4f7f\u3063\u3066\u3044\u308b\u3053\u3068\u3092\u793a\u3059\u516c\u958b\u60c5\u5831\u306f\u73fe\u5728\u5b58\u5728\u3057\u306a\u3044\u3002<\/p>\n<h3>10.3 RLHF \u3068 RLCD \u3067\u306f\u6700\u9069\u5316\u5f8c\u306b\u5229\u7528\u3057\u305f\u3044\u6570\u5024\u304c\u7570\u306a\u308b<\/h3>\n<p>\u4e8c\u3064\u306e\u69cb\u9020\u3092\u4e26\u3079\u308b\u3068\u3001\u5b66\u7fd2\u5f8c\u306b\u3069\u306e\u6570\u5024\u3078\u610f\u5473\u3092\u6301\u305f\u305b\u305f\u3044\u304b\u3068\u3044\u3046\u5dee\u304c\u898b\u3048\u308b\u3002<\/p>\n<p>RLHF \u3067\u306f\u3001<\/p>\n<p>\\[<br \/>\nr_\\phi(x,y_1)<br \/>\n&gt;<br \/>\nr_\\phi(x,y_2)<br \/>\n\\]<\/p>\n<p>\u306a\u3089\u3001\u5831\u916c\u30e2\u30c7\u30eb\u4e0a\u3067\u306f \\(y_1\\) \u304c \\(y_2\\) \u3088\u308a\u4eba\u9593\u306b\u9078\u3070\u308c\u3084\u3059\u3044\u3068\u8a55\u4fa1\u3055\u308c\u3066\u3044\u308b\u3002\u305d\u306e\u5831\u916c\u5dee\u3092\u4f7f\u3063\u3066\u751f\u6210\u65b9\u7b56\u3092\u66f4\u65b0\u3059\u308b\u3002\u4e00\u65b9\u3001\u5831\u916c\u5024 0.9 \u305d\u306e\u3082\u306e\u306b\u300c90% \u6b63\u3057\u3044\u300d\u3068\u3044\u3046\u610f\u5473\u306f\u5b9a\u7fa9\u3055\u308c\u3066\u3044\u306a\u3044\u3002<\/p>\n<p>\u78ba\u7387\u8f03\u6b63\u3092\u4e2d\u5fc3\u306b\u7f6e\u304f\u5f62\u5f0f\u5316\u3067\u306f\u3001<\/p>\n<p>\\[<br \/>\nq_\\theta(k\\mid x)=0.9<br \/>\n\\]<\/p>\n<p>\u3068\u3044\u3046\u5024\u306b\u3064\u3044\u3066\u3001\u5bfe\u5fdc\u3059\u308b\u4e8b\u4f8b\u7fa4\u306e\u5b9f\u6e2c\u7d50\u679c\u304c\u3001<\/p>\n<p>\\[<br \/>\nP<br \/>\n\\left(<br \/>\nY=k<br \/>\n\\mid<br \/>\nq_\\theta(k\\mid X)=0.9<br \/>\n\\right)<br \/>\n\\approx<br \/>\n0.9<br \/>\n\\]<\/p>\n<p>\u3068\u306a\u308b\u3053\u3068\u306b\u610f\u5473\u304c\u3042\u308b\u3002<\/p>\n<p>\u3064\u307e\u308a RLHF \u3067\u306f\u5831\u916c\u306e\u5927\u5c0f\u95a2\u4fc2\u304c\u751f\u6210\u65b9\u7b56\u3092\u52d5\u304b\u3059\u4e3b\u8981\u306a\u4fe1\u53f7\u306b\u306a\u308a\u3001RLCD \u306e\u516c\u958b\u76ee\u7684\u3092\u78ba\u7387\u8ad6\u3067\u5f62\u5f0f\u5316\u3057\u305f\u5834\u5408\u306b\u306f\u3001\u5224\u65ad\u5024\u306e\u7d76\u5bfe\u7684\u306a\u78ba\u7387\u89e3\u91c8\u304c\u5f8c\u6bb5\u51e6\u7406\u306e\u4e3b\u8981\u306a\u5165\u529b\u306b\u306a\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u89b3\u70b9<\/th>\n<th>RLHF<\/th>\n<th>RLCD \u306e\u516c\u958b\u76ee\u7684\u3092\u78ba\u7387\u8ad6\u3067\u5f62\u5f0f\u5316\u3057\u305f\u5834\u5408<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u51fa\u767a\u70b9<\/td>\n<td>\u4eba\u9593\u306b\u3088\u308b\u56de\u7b54\u9593\u306e\u6bd4\u8f03\u3092\u4e3b\u8981\u306a\u5b66\u7fd2\u4fe1\u53f7\u3068\u3057\u3066\u4f7f\u3046\u3002<\/td>\n<td>\u5177\u4f53\u7684\u306a\u5b66\u7fd2\u30c7\u30fc\u30bf\u306e\u69cb\u6210\u306f TypeSafe \u304b\u3089\u516c\u958b\u3055\u308c\u3066\u3044\u306a\u3044\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u4e2d\u5fc3\u3068\u306a\u308b\u91cf<\/td>\n<td>\u4eba\u9593\u9078\u597d\u3092\u8fd1\u4f3c\u3059\u308b\u4ee3\u7406\u5831\u916c \\(r_\\phi(x,y)\\) \u3092\u7f6e\u304f\u3002<\/td>\n<td>\u516c\u958b\u76ee\u7684\u306e\u5f62\u5f0f\u5316\u3067\u306f\u3001\u5224\u65ad\u5019\u88dc\u306b\u5bfe\u3059\u308b\u78ba\u7387\u5206\u5e03 \\(q_\\theta(k\\mid x)\\) \u3092\u7f6e\u304f\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u6700\u9069\u5316\u5f8c\u306b\u6c42\u3081\u308b\u6027\u8cea<\/td>\n<td>\u4eba\u9593\u304b\u3089\u9ad8\u3044\u5831\u916c\u3092\u53d7\u3051\u308b\u56de\u7b54\u306e\u751f\u6210\u78ba\u7387\u3092\u9ad8\u3081\u308b\u3002<\/td>\n<td>\u4e88\u6e2c\u3055\u308c\u305f probability \u3084 confidence \u3068\u5b9f\u969b\u306e\u7d50\u679c\u3068\u306e\u5bfe\u5fdc\u3092\u5229\u7528\u53ef\u80fd\u306b\u3059\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u6570\u5024\u306e\u7d76\u5bfe\u5024<\/td>\n<td>\u5831\u916c 0.9 \u304c\u6b63\u89e3\u7387 90% \u3092\u610f\u5473\u3059\u308b\u69cb\u9020\u306b\u306f\u306a\u3063\u3066\u3044\u306a\u3044\u3002<\/td>\n<td>\u53b3\u5bc6\u306a calibration \u304c\u6210\u7acb\u3059\u308b\u5834\u5408\u30010.9 \u3092\u5b9f\u6e2c\u983b\u5ea6\u7d04 90% \u3068\u5bfe\u5fdc\u4ed8\u3051\u3089\u308c\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u5f8c\u6bb5\u51e6\u7406<\/td>\n<td>\u751f\u6210\u3055\u308c\u305f\u56de\u7b54\u3092\u4eba\u9593\u307e\u305f\u306f\u5225\u306e\u51e6\u7406\u7cfb\u304c\u5229\u7528\u3059\u308b\u3002<\/td>\n<td>\u5224\u65ad\u78ba\u7387\u3092\u6761\u4ef6\u5206\u5c90\u3001\u95be\u5024\u3001\u671f\u5f85\u640d\u5931\u8a08\u7b97\u3078\u63a5\u7d9a\u3067\u304d\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u65e2\u5b58\u7406\u8ad6\u3068\u306e\u63a5\u7d9a<\/td>\n<td>Bradley\u2013Terry \u578b\u5831\u916c\u30e2\u30c7\u30eb\u3001KL \u5236\u7d04\u3001PPO \u306a\u3069\u306e\u4ee3\u8868\u7684\u69cb\u6210\u304c\u516c\u958b\u3055\u308c\u3066\u3044\u308b\u3002<\/td>\n<td>Calibration\u3001proper scoring rule\u3001\u30d9\u30a4\u30ba\u610f\u601d\u6c7a\u5b9a\u306b\u3088\u3063\u3066\u516c\u958b\u76ee\u7684\u3092\u5f62\u5f0f\u5316\u3067\u304d\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>TypeSafe \u304c\u516c\u958b\u3057\u3066\u3044\u308b\u7bc4\u56f2<\/td>\n<td>RLHF \u81ea\u4f53\u306b\u3064\u3044\u3066\u306f\u65e2\u5b58\u8ad6\u6587\u304b\u3089\u5177\u4f53\u7684\u306a\u5b66\u7fd2\u5f0f\u3092\u78ba\u8a8d\u3067\u304d\u308b\u3002<\/td>\n<td>calibrated decisions \u3068\u3044\u3046\u76ee\u7684\u3001Jev \u306e API\u3001\u8a55\u4fa1\u7d50\u679c\u3001\u5229\u7528\u4f8b\u307e\u3067\u304c\u516c\u958b\u3055\u308c\u3001\u5177\u4f53\u7684\u306a RLCD \u306e loss\u3001reward\u3001training algorithm \u306f\u672a\u516c\u958b\u3067\u3042\u308b\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h3>10.4 \u78ba\u7387\u3078\u610f\u5473\u3092\u6301\u305f\u305b\u308b\u3068\u4e88\u6e2c\u3068\u4fa1\u5024\u5224\u65ad\u3092\u5206\u96e2\u3067\u304d\u308b<\/h3>\n<p>RLCD \u306e\u516c\u958b\u76ee\u7684\u3092\u78ba\u7387\u4e88\u6e2c\u3068\u3057\u3066\u5f62\u5f0f\u5316\u3059\u308b\u610f\u7fa9\u306f\u3001\u78ba\u7387\u306e\u7cbe\u5ea6\u3060\u3051\u306b\u3042\u308b\u308f\u3051\u3067\u306f\u306a\u3044\u3002\u524d\u7bc0\u3067\u6271\u3063\u305f\u3088\u3046\u306b\u3001\u72b6\u614b \\(Y\\) \u306b\u5bfe\u3059\u308b\u4e88\u6e2c\u5206\u5e03 \\(q_\\theta\\) \u304c\u5229\u7528\u53ef\u80fd\u306b\u306a\u308c\u3070\u3001\u696d\u52d9\u4e0a\u306e\u640d\u5931\u95a2\u6570 \\(C(a,Y)\\) \u3068\u7d44\u307f\u5408\u308f\u305b\u3066\u6700\u7d42\u884c\u52d5\u3092\u5916\u90e8\u30b3\u30fc\u30c9\u3067\u9078\u3079\u308b\u3002<\/p>\n<p>\\[<br \/>\na^*(x)<br \/>\n=<br \/>\n\\arg\\min_{a\\in A}<br \/>\n\\sum_y<br \/>\nq_\\theta(y\\mid x)<br \/>\nC(a,y)<br \/>\n\\]<\/p>\n<p>\u3053\u306e\u5f0f\u3067\u306f\u3001<\/p>\n<p>\\[<br \/>\nq_\\theta(y\\mid x)<br \/>\n\\]<\/p>\n<p>\u304c\u300c\u4f55\u304c\u8d77\u3053\u308a\u305d\u3046\u304b\u300d\u3092\u8868\u3057\u3001<\/p>\n<p>\\[<br \/>\nC(a,y)<br \/>\n\\]<\/p>\n<p>\u304c\u300c\u305d\u308c\u304c\u8d77\u304d\u305f\u3068\u304d\u3001\u3069\u306e\u884c\u52d5\u3092\u3069\u306e\u7a0b\u5ea6\u91cd\u304f\u8a55\u4fa1\u3059\u308b\u304b\u300d\u3092\u8868\u3059\u3002<\/p>\n<p>\u524d\u8005\u3092 AI \u30e2\u30c7\u30eb\u304c\u63a8\u5b9a\u3057\u3001\u5f8c\u8005\u3092\u696d\u52d9\u5074\u304c\u5b9a\u7fa9\u3059\u308b\u3053\u3068\u3067\u3001\u4e88\u6e2c\u3068\u4fa1\u5024\u5224\u65ad\u3092\u5225\u306e\u5c64\u3068\u3057\u3066\u7dad\u6301\u3067\u304d\u308b\u3002<\/p>\n<p>TypeSafe \u304c Jev \u3092 smart if-statements \u3084 structured workflows \u306e\u305f\u3081\u306e\u30e2\u30c7\u30eb\u3068\u3057\u3066\u8aac\u660e\u3057\u3001\u78ba\u7387\u306b\u3088\u3063\u3066\u81ea\u52d5\u51e6\u7406\u3068\u30ec\u30d3\u30e5\u30fc\u3092\u5206\u3051\u3001\u8907\u6570\u306e\u5224\u65ad\u3092\u30b3\u30fc\u30c9\u3067\u7d44\u307f\u5408\u308f\u305b\u308b\u8a2d\u8a08\u3092\u63d0\u793a\u3057\u3066\u3044\u308b\u306e\u306f\u3001\u3053\u306e\u69cb\u9020\u3068\u6574\u5408\u3059\u308b<a href=\"#ref1\">[1]<\/a>\u3002Jev \u306e\u516c\u958b workflow \u3067\u3082\u3001\u4ed5\u4e8b\u5168\u4f53\u3092\u4e00\u5ea6\u306b\u30e2\u30c7\u30eb\u3078\u89e3\u304b\u305b\u308b\u3088\u308a\u3001\u72ed\u3044\u5224\u65ad\u3078\u5206\u89e3\u3057\u3001\u53ef\u80fd\u306a\u90e8\u5206\u3092\u30b3\u30fc\u30c9\u3078\u59d4\u306d\u308b\u69cb\u6210\u304c\u63a1\u3089\u308c\u3066\u3044\u308b\u3002<\/p>\n<p>\u3053\u306e\u8a2d\u8a08\u3067\u306f\u3001\u5224\u65ad\u30e2\u30c7\u30eb\u3092\u5909\u66f4\u3057\u306a\u304f\u3066\u3082\u3001\u696d\u52d9\u4e0a\u306e\u640d\u5931\u3084\u6a29\u9650\u5883\u754c\u304c\u5909\u308f\u308c\u3070\u5916\u90e8\u306e\u610f\u601d\u6c7a\u5b9a\u898f\u5247\u3092\u5909\u66f4\u3067\u304d\u308b\u3002\u540c\u3058 probability 0.1 \u3067\u3082\u3001\u8aa4\u5224\u5b9a\u306e\u640d\u5931\u304c\u5927\u304d\u3044\u696d\u52d9\u3067\u306f\u4eba\u9593\u30ec\u30d3\u30e5\u30fc\u3078\u9001\u308a\u3001\u30ec\u30d3\u30e5\u30fc\u30b3\u30b9\u30c8\u306e\u9ad8\u3044\u696d\u52d9\u3067\u306f\u81ea\u52d5\u51e6\u7406\u3059\u308b\u3001\u3068\u3044\u3063\u305f\u5dee\u3092\u30b3\u30fc\u30c9\u5074\u306b\u6b8b\u305b\u308b\u3002<\/p>\n<h3>10.5 RLHF \u3068 RLCD \u306f\u7af6\u5408\u3059\u308b\u5358\u4e00\u306e\u5c3a\u5ea6\u3067\u306f\u306a\u304f\u7570\u306a\u308b\u76ee\u7684\u3092\u6301\u3064<\/h3>\n<p>\u3053\u3053\u307e\u3067\u306e\u6bd4\u8f03\u304b\u3089\u3001RLHF \u3068 RLCD \u3092\u5358\u7d14\u306a\u6027\u80fd\u9806\u4f4d\u3068\u3057\u3066\u6574\u7406\u3059\u308b\u5fc5\u8981\u304c\u306a\u3044\u3053\u3068\u3082\u5206\u304b\u308b\u3002RLHF \u304c\u89e3\u3044\u3066\u304d\u305f\u4e2d\u5fc3\u8ab2\u984c\u306f\u3001\u660e\u793a\u7684\u306a\u6b63\u89e3\u95a2\u6570\u3092\u8a18\u8ff0\u3057\u306b\u304f\u3044\u51fa\u529b\u306b\u3064\u3044\u3066\u3001\u4eba\u9593\u306e\u6bd4\u8f03\u3092\u5b66\u7fd2\u4fe1\u53f7\u3078\u5909\u63db\u3057\u3001\u6307\u793a\u8ffd\u5f93\u3084\u4f1a\u8a71\u54c1\u8cea\u306a\u3069\u3092\u6539\u5584\u3059\u308b\u3053\u3068\u3067\u3042\u308b\u3002<\/p>\n<p>\u4e00\u65b9\u3001TypeSafe \u304c RLCD \u3078\u4e0e\u3048\u305f\u4e2d\u5fc3\u8ab2\u984c\u306f\u3001\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u5185\u90e8\u3067\u5229\u7528\u3059\u308b\u72ed\u3044\u5224\u65ad\u3078 probability \u3068 confidence \u3092\u4ed8\u3051\u3001\u305d\u306e\u4e0d\u78ba\u5b9f\u6027\u3092\u5f8c\u6bb5\u306e\u30b3\u30fc\u30c9\u304c\u5229\u7528\u3067\u304d\u308b\u3088\u3046\u306b\u3059\u308b\u3053\u3068\u3067\u3042\u308b<a href=\"#ref1\">[1]<\/a>\u3002<\/p>\n<p>\u6570\u7406\u7684\u306b\u306f\u3001\u4e21\u8005\u3092\u6b21\u306e\u3088\u3046\u306b\u5bfe\u6bd4\u3067\u304d\u308b\u3002<\/p>\n<p>\\[<br \/>\n\\boxed{<br \/>\n\\mathrm{RLHF}:<br \/>\n\\quad<br \/>\n\\max_\\pi<br \/>\n\\mathbb{E}<br \/>\n\\left[<br \/>\nr_\\phi(x,y)<br \/>\n\\right]<br \/>\n}<br \/>\n\\]<\/p>\n<p>\u306b\u5bfe\u3057\u3066\u3001RLCD \u306e\u516c\u958b\u76ee\u7684\u3092\u65e2\u5b58\u7406\u8ad6\u3067\u5f62\u5f0f\u5316\u3059\u308b\u3068\u3001<\/p>\n<p>\\[<br \/>\n\\boxed{<br \/>\nq_\\theta(k\\mid x)<br \/>\n\\approx<br \/>\nP(Y=k\\mid X=x)<br \/>\n}<br \/>\n\\]<\/p>\n<p>\u3055\u3089\u306b\u78ba\u7387\u8f03\u6b63\u3068\u3057\u3066\u3001<\/p>\n<p>\\[<br \/>\n\\boxed{<br \/>\nP<br \/>\n\\left(<br \/>\nY=k<br \/>\n\\mid<br \/>\nq_\\theta(k\\mid X)=p<br \/>\n\\right)<br \/>\n\\approx<br \/>\np<br \/>\n}<br \/>\n\\]<\/p>\n<p>\u3092\u8981\u6c42\u3059\u308b\u69cb\u56f3\u306b\u306a\u308b\u3002<\/p>\n<p>\u5de6\u5074\u306f\u4ee3\u8868\u7684\u306a RLHF \u306e\u76ee\u7684\u3092\u62bd\u8c61\u5316\u3057\u305f\u5f0f\u3067\u3042\u308b\u3002\u53f3\u5074\u306e\u4e8c\u5f0f\u306f TypeSafe \u304c\u516c\u958b\u3057\u305f RLCD \u306e\u5b9f\u88c5\u5f0f\u3067\u306f\u306a\u304f\u3001calibrated decisions \u3068\u3044\u3046\u516c\u958b\u76ee\u7684\u3092\u78ba\u7387\u8ad6\u3068\u3057\u3066\u8868\u73fe\u3057\u305f\u3082\u306e\u3067\u3042\u308b\u3002\u3053\u306e\u975e\u5bfe\u79f0\u6027\u3092\u7dad\u6301\u3059\u308b\u3053\u3068\u304c\u3001\u73fe\u6642\u70b9\u306e RLCD \u3092\u6570\u7406\u7684\u306b\u8ad6\u3058\u308b\u3046\u3048\u3067\u5fc5\u8981\u306b\u306a\u308b\u3002<\/p>\n<h3>10.6 \u73fe\u6642\u70b9\u3067\u78ba\u5b9a\u3057\u3066\u3044\u308b\u3053\u3068\u3068\u672a\u516c\u958b\u306e\u3053\u3068\u3092\u5206\u3051\u308b<\/h3>\n<p>\u6700\u5f8c\u306b\u3001RLCD \u306b\u3064\u3044\u3066\u73fe\u5728\u3069\u3053\u307e\u3067\u78ba\u5b9a\u3057\u3066\u3044\u308b\u304b\u3092\u6574\u7406\u3059\u308b\u3002<\/p>\n<table>\n<thead>\n<tr>\n<th>\u533a\u5206<\/th>\n<th>\u5185\u5bb9<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u516c\u958b\u4e8b\u5b9f<\/td>\n<td>TypeSafe \u306f Jev \u3092\u6700\u521d\u306e System One Model \u3068\u3057\u3066\u516c\u958b\u3057\u3001\u305d\u306e\u65b0\u3057\u3044\u5b66\u7fd2\u65b9\u6cd5\u3092 RLCD \u3068\u547c\u3093\u3067\u3044\u308b\u3002RLCD \u306f calibrated decisions\u3001\u3059\u306a\u308f\u3061 System One \u306e\u5224\u65ad\u306b\u5bfe\u3057\u3066\u8a8d\u8b58\u8ad6\u7684\u306b\u8aa0\u5b9f\u306a probability \u3092\u8fd4\u3059\u3053\u3068\u3092\u6700\u9069\u5316\u3059\u308b\u3068\u8aac\u660e\u3055\u308c\u3066\u3044\u308b<a href=\"#ref1\">[1]<\/a>\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u516c\u958b API<\/td>\n<td>Jev \u306f Noul\u3001Choice\u3001Score \u3068\u3044\u3046\u578b\u4ed8\u304d\u5224\u65ad\u3092\u8fd4\u3057\u3001probabilities \u3084 confidence \u3092\u69cb\u9020\u5316\u3055\u308c\u305f\u5024\u3068\u3057\u3066\u63d0\u4f9b\u3059\u308b<a href=\"#ref2\">[2]<\/a>\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u65e2\u5b58\u7406\u8ad6\u306b\u3088\u308b\u5f62\u5f0f\u5316<\/td>\n<td>Calibration\u3001proper scoring rule\u3001\u6761\u4ef6\u4ed8\u304d\u78ba\u7387\u3001\u30d9\u30a4\u30ba\u610f\u601d\u6c7a\u5b9a\u3092\u4f7f\u3048\u3070\u3001calibrated decisions \u306b\u6c42\u3081\u3089\u308c\u308b\u6027\u8cea\u3068\u3001\u305d\u306e\u78ba\u7387\u3092\u5f8c\u6bb5\u306e\u696d\u52d9\u30ed\u30b8\u30c3\u30af\u3078\u63a5\u7d9a\u3059\u308b\u65b9\u6cd5\u3092\u6570\u7406\u7684\u306b\u8a18\u8ff0\u3067\u304d\u308b\u3002<\/td>\n<\/tr>\n<tr>\n<td>\u672a\u516c\u958b\u90e8\u5206<\/td>\n<td>RLCD \u306e\u5177\u4f53\u7684\u306a\u5831\u916c\u95a2\u6570\u3001\u640d\u5931\u95a2\u6570\u3001\u5b66\u7fd2\u30c7\u30fc\u30bf\u3001probability \u3068 confidence \u306e\u751f\u6210\u65b9\u6cd5\u3001\u30b5\u30f3\u30d7\u30ea\u30f3\u30b0\u3001\u65b9\u7b56\u6700\u9069\u5316\u3001\u8f03\u6b63\u76ee\u7684\u306e\u8a73\u7d30\u306f 2026 \u5e74 9 \u6708 18 \u65e5\u6642\u70b9\u3067\u516c\u958b\u3055\u308c\u3066\u3044\u306a\u3044\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u3053\u306e\u533a\u5206\u306b\u3088\u3063\u3066\u3001\u672c\u7a3f\u3067\u5c0e\u3044\u305f\u6570\u5f0f\u306e\u4f4d\u7f6e\u4ed8\u3051\u3082\u660e\u78ba\u306b\u306a\u308b\u3002RLHF \u306e\u6570\u5f0f\u306f\u65e2\u5b58\u7814\u7a76\u3067\u516c\u958b\u3055\u308c\u305f\u5b66\u7fd2\u69cb\u9020\u3092\u62bd\u8c61\u5316\u3057\u305f\u3082\u306e\u3067\u3042\u308b\u3002Jev \u306e Noul\u3001Choice\u3001Score \u306b\u95a2\u3059\u308b\u6570\u5f0f\u306f\u3001\u516c\u958b API \u3092 Bernoulli \u5206\u5e03\u3001\u30ab\u30c6\u30b4\u30ea\u30ab\u30eb\u5206\u5e03\u3001\u9806\u5e8f\u4ed8\u304d\u96e2\u6563\u5206\u5e03\u3068\u3057\u3066\u8868\u73fe\u3057\u305f\u5916\u90e8\u30e2\u30c7\u30eb\u3067\u3042\u308b\u3002Calibration\u3001proper scoring rule\u3001\u30d9\u30a4\u30ba\u610f\u601d\u6c7a\u5b9a\u306e\u6570\u5f0f\u306f\u3001TypeSafe \u304c\u63b2\u3052\u308b calibrated decisions \u304c\u65e2\u5b58\u306e\u78ba\u7387\u8ad6\u3067\u306f\u3069\u306e\u3088\u3046\u306a\u6027\u8cea\u3068\u3057\u3066\u8a18\u8ff0\u3067\u304d\u308b\u304b\u3092\u793a\u3057\u305f\u3082\u306e\u3067\u3042\u308b\u3002<\/p>\n<p>TypeSafe \u304c\u4eca\u5f8c RLCD \u306e\u6280\u8853\u8a73\u7d30\u3092\u516c\u958b\u3059\u308c\u3070\u3001\u5b9f\u969b\u306b\u4f7f\u308f\u308c\u3066\u3044\u308b\u5831\u916c\u3001\u640d\u5931\u3001\u30b5\u30f3\u30d7\u30ea\u30f3\u30b0\u3001\u65b9\u7b56\u6700\u9069\u5316\u3068\u3001\u672c\u7a3f\u3067\u4f7f\u3063\u305f\u6570\u7406\u30e2\u30c7\u30eb\u3092\u76f4\u63a5\u6bd4\u8f03\u3067\u304d\u308b\u3002\u305d\u306e\u6642\u70b9\u3067\u521d\u3081\u3066\u3001\u3069\u306e\u90e8\u5206\u304c RLCD \u306e\u5185\u90e8\u5b9f\u88c5\u3068\u4e00\u81f4\u3057\u3001\u3069\u306e\u90e8\u5206\u304c\u8aac\u660e\u306e\u305f\u3081\u306b\u5916\u90e8\u304b\u3089\u4e0e\u3048\u305f\u5f62\u5f0f\u5316\u3060\u3063\u305f\u306e\u304b\u3092\u691c\u8a3c\u3067\u304d\u308b\u3002<\/p>\n<p>\u73fe\u6642\u70b9\u3067\u78ba\u5b9a\u3057\u3066\u3044\u308b\u7bc4\u56f2\u3060\u3051\u304b\u3089\u5c0e\u3051\u308b\u7d50\u8ad6\u306f\u3001RLHF \u3068 RLCD \u304c\u540c\u3058\u51fa\u529b\u3092\u5225\u306e\u65b9\u6cd5\u3067\u6700\u9069\u5316\u3057\u3066\u3044\u308b\u306e\u3067\u306f\u306a\u304f\u3001\u5b66\u7fd2\u5f8c\u306b\u610f\u5473\u3092\u6301\u305f\u305b\u305f\u3044\u91cf\u306e\u7f6e\u304d\u65b9\u305d\u306e\u3082\u306e\u304c\u7570\u306a\u308b\u3068\u3044\u3046\u70b9\u306b\u3042\u308b\u3002RLHF \u306f\u4eba\u9593\u306e\u6bd4\u8f03\u3092\u4ee3\u7406\u5831\u916c\u3078\u5909\u63db\u3057\u3001\u305d\u306e\u5831\u916c\u3092\u901a\u3058\u3066\u751f\u6210\u65b9\u7b56\u3092\u8abf\u6574\u3059\u308b\u3002TypeSafe \u304c\u63d0\u793a\u3059\u308b RLCD \u306f\u3001\u5224\u65ad\u3068\u4e0d\u78ba\u5b9f\u6027\u3092 probability \u3068 confidence \u3068\u3057\u3066\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u3078\u6e21\u3059\u3053\u3068\u3092\u8a2d\u8a08\u306e\u4e2d\u5fc3\u306b\u7f6e\u304f\u3002<\/p>\n<p>\u305d\u306e\u5dee\u3092\u6570\u7406\u7684\u306b\u8ffd\u3046\u3068\u3001\u8b70\u8ad6\u306e\u7126\u70b9\u306f\u300c\u3069\u3061\u3089\u306e AI \u304c\u512a\u308c\u3066\u3044\u308b\u304b\u300d\u304b\u3089\u3001\u300c\u3069\u306e\u78ba\u7387\u5909\u6570\u3092\u63a8\u5b9a\u3057\u3001\u305d\u306e\u6570\u5024\u306b\u3069\u306e\u610f\u5473\u3092\u4fdd\u8a3c\u3057\u3001\u3069\u306e\u4fa1\u5024\u5224\u65ad\u3092\u5f8c\u6bb5\u306e\u30b3\u30fc\u30c9\u3078\u6b8b\u3059\u304b\u300d\u3078\u79fb\u308b\u3002Jev \u304c\u63d0\u793a\u3057\u305f\u65b0\u3057\u3055\u306f\u3001\u6587\u7ae0\u751f\u6210\u80fd\u529b\u305d\u306e\u3082\u306e\u3088\u308a\u3001AI \u306e\u51fa\u529b\u3092\u78ba\u7387\u7684\u5224\u65ad\u3068\u3057\u3066\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u306e\u610f\u601d\u6c7a\u5b9a\u7cfb\u3078\u7d44\u307f\u8fbc\u3082\u3046\u3068\u3059\u308b\u8a2d\u8a08\u601d\u60f3\u306b\u3042\u308b\u3002RLCD \u306e\u5185\u90e8\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u304c\u516c\u958b\u3055\u308c\u305f\u3068\u304d\u3001\u305d\u306e\u8a2d\u8a08\u601d\u60f3\u304c\u5b66\u7fd2\u5247\u3068\u3057\u3066\u3069\u306e\u3088\u3046\u306b\u5b9f\u88c5\u3055\u308c\u3066\u3044\u308b\u304b\u3092\u3001\u521d\u3081\u3066\u6570\u5f0f\u306e\u30ec\u30d9\u30eb\u3067\u8a55\u4fa1\u3067\u304d\u308b\u3002<\/p>\n<hr>\n<h2>\u53c2\u8003\u6587\u732e<\/h2>\n<ol>\n<li id=\"ref1\">Diogo Almeida, Introducing System One Models and Jev\uff082026-09-14\uff09. <a href=\"https:\/\/typesafe.ai\/blog\/introducing-system-one-models-and-jev\">https:\/\/typesafe.ai\/blog\/introducing-system-one-models-and-jev<\/a><\/li>\n<li id=\"ref2\">Cloudflare, Jev (typesafe). <a href=\"https:\/\/developers.cloudflare.com\/ai\/models\/typesafe\/jev\/\">https:\/\/developers.cloudflare.com\/ai\/models\/typesafe\/jev\/<\/a><\/li>\n<li id=\"ref3\">id774, AI \u306f\u300c\u6b21\u306e\u5358\u8a9e\u3092\u4e88\u6e2c\u3057\u3066\u3044\u308b\u3060\u3051\u300d\u306a\u306e\u304b\uff082026-09-03\uff09. <a href=\"https:\/\/blog.id774.net\/entry\/2026\/09\/03\/5536\/\">https:\/\/blog.id774.net\/entry\/2026\/09\/03\/5536\/<\/a><\/li>\n<li id=\"ref4\">Zhengbao Jiang, Jun Araki, Haibo Ding, Graham Neubig, How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering\uff082021-09-08\uff09. <a href=\"https:\/\/doi.org\/10.1162\/tacl_a_00407\">https:\/\/doi.org\/10.1162\/tacl_a_00407<\/a><\/li>\n<li id=\"ref5\">Ralph A. Bradley, Milton E. Terry, Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons\uff081952-12\uff09. <a href=\"https:\/\/doi.org\/10.1093\/biomet\/39.3-4.324\">https:\/\/doi.org\/10.1093\/biomet\/39.3-4.324<\/a><\/li>\n<li id=\"ref6\">Paul F. Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg, Dario Amodei, Deep Reinforcement Learning from Human Preferences\uff082017-06-12\uff09. <a href=\"https:\/\/arxiv.org\/abs\/1706.03741\">https:\/\/arxiv.org\/abs\/1706.03741<\/a><\/li>\n<li id=\"ref7\">Daniel M. Ziegler et al., Fine-Tuning Language Models from Human Preferences\uff082019-09-18\uff09. <a href=\"https:\/\/arxiv.org\/abs\/1909.08593\">https:\/\/arxiv.org\/abs\/1909.08593<\/a><\/li>\n<li id=\"ref8\">Nisan Stiennon et al., Learning to summarize from human feedback\uff082020-09-02\uff09. <a href=\"https:\/\/arxiv.org\/abs\/2009.01325\">https:\/\/arxiv.org\/abs\/2009.01325<\/a><\/li>\n<li id=\"ref9\">Long Ouyang et al., Training language models to follow instructions with human feedback\uff082022-03-04\uff09. <a href=\"https:\/\/arxiv.org\/abs\/2203.02155\">https:\/\/arxiv.org\/abs\/2203.02155<\/a><\/li>\n<li id=\"ref10\">id774, AI \u306f\u6b63\u3057\u3055\u3067\u306f\u306a\u304f\u3001\u8a55\u4fa1\u306e\u901a\u308a\u65b9\u3092\u5b66\u3076\u3053\u3068\u304c\u3042\u308b\uff082026-09-05\uff09. <a href=\"https:\/\/blog.id774.net\/entry\/2026\/09\/05\/5490\/\">https:\/\/blog.id774.net\/entry\/2026\/09\/05\/5490\/<\/a><\/li>\n<li id=\"ref11\">Leo Gao, John Schulman, Jacob Hilton, Scaling Laws for Reward Model Overoptimization\uff082022-10-19\uff09. <a href=\"https:\/\/arxiv.org\/abs\/2210.10760\">https:\/\/arxiv.org\/abs\/2210.10760<\/a><\/li>\n<li id=\"ref12\">Tom Hosking, Phil Blunsom, Max Bartolo, Human Feedback is not Gold Standard\uff082023-09-28\uff09. <a href=\"https:\/\/arxiv.org\/abs\/2309.16349\">https:\/\/arxiv.org\/abs\/2309.16349<\/a><\/li>\n<li id=\"ref13\">Jiaxin Wen, Ruiqi Zhong, Akbir Khan, Ethan Perez, Jacob Steinhardt, Minlie Huang, Samuel R. Bowman, He He, Shi Feng, Language Models Learn to Mislead Humans via RLHF\uff082024-09-19\uff09. <a href=\"https:\/\/arxiv.org\/abs\/2409.12822\">https:\/\/arxiv.org\/abs\/2409.12822<\/a><\/li>\n<li id=\"ref14\">Glenn W. Brier, Verification of Forecasts Expressed in Terms of Probability\uff081950-01-01\uff09. <a href=\"https:\/\/doi.org\/10.1175\/1520-0493(1950)078%3C0001:VOFEIT%3E2.0.CO;2\">https:\/\/doi.org\/10.1175\/1520-0493(1950)078%3C0001:VOFEIT%3E2.0.CO;2<\/a><\/li>\n<li id=\"ref15\">Tilmann Gneiting, Fadoua Balabdaoui, Adrian E. Raftery, Probabilistic Forecasts, Calibration and Sharpness\uff082007-03-05\uff09. <a href=\"https:\/\/doi.org\/10.1111\/j.1467-9868.2007.00587.x\">https:\/\/doi.org\/10.1111\/j.1467-9868.2007.00587.x<\/a><\/li>\n<li id=\"ref16\">Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger, On Calibration of Modern Neural Networks\uff082017\uff09. <a href=\"https:\/\/proceedings.mlr.press\/v70\/guo17a.html\">https:\/\/proceedings.mlr.press\/v70\/guo17a.html<\/a><\/li>\n<li id=\"ref17\">Tilmann Gneiting, Adrian E. Raftery, Strictly Proper Scoring Rules, Prediction, and Estimation\uff082007-03\uff09. <a href=\"https:\/\/doi.org\/10.1198\/016214506000001437\">https:\/\/doi.org\/10.1198\/016214506000001437<\/a><\/li>\n<li id=\"ref18\">Jeremy Nixon, Michael W. Dusenberry, Linchuan Zhang, Ghassen Jerfel, Dustin Tran, Measuring Calibration in Deep Learning\uff082019-06\uff09. <a href=\"https:\/\/openaccess.thecvf.com\/content_CVPRW_2019\/html\/Uncertainty_and_Robustness_in_Deep_Visual_Learning\/Nixon_Measuring_Calibration_in_Deep_Learning_CVPRW_2019_paper.html\">https:\/\/openaccess.thecvf.com\/content_CVPRW_2019\/html\/Uncertainty_and_Robustness_in_Deep_Visual_Learning\/Nixon_Measuring_Calibration_in_Deep_Learning_CVPRW_2019_paper.html<\/a><\/li>\n<li id=\"ref19\">Stephanie Lin, Jacob Hilton, Owain Evans, Teaching Models to Express Their Uncertainty in Words\uff082022-05-28\uff09. <a href=\"https:\/\/arxiv.org\/abs\/2205.14334\">https:\/\/arxiv.org\/abs\/2205.14334<\/a><\/li>\n<li id=\"ref20\">Saurav Kadavath et al., Language Models (Mostly) Know What They Know\uff082022-07-11\uff09. <a href=\"https:\/\/www.anthropic.com\/research\/language-models-mostly-know-what-they-know\">https:\/\/www.anthropic.com\/research\/language-models-mostly-know-what-they-know<\/a><\/li>\n<li id=\"ref21\">id774, AI \u304c\u30c6\u30b9\u30c8\u3092\u901a\u3057\u3066\u3082\u3001\u300c\u6b63\u3057\u3044\u300d\u3068\u306f\u9650\u3089\u306a\u3044\uff082026-09-01\uff09. <a href=\"https:\/\/blog.id774.net\/entry\/2026\/09\/01\/5534\/\">https:\/\/blog.id774.net\/entry\/2026\/09\/01\/5534\/<\/a><\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"<p>2026 \u5e74 9 \u6708 14 \u65e5\u3001TypeSafe AI \u306f\u6700\u521d\u306e System One Model \u3068\u3057\u3066 Jev \u3092\u516c\u958b\u3057\u305f\u3002\u540c\u793e\u306f Jev \u3092\u3001\u6587\u7ae0\u3092\u9010\u6b21\u751f\u6210\u3059\u308b\u5f93\u6765\u306e LLM \u3068\u306f\u7570\u306a\u308a\u3001\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u304b\u3089\u76f4\u63a5\u5229\u7528\u3067 &#8230; <a title=\"Jev \u306e RLCD \u3068 RLHF \u306e\u9055\u3044\u3092\u5831\u916c\u3068\u78ba\u7387\u304b\u3089\u8003\u3048\u308b\" class=\"read-more\" href=\"https:\/\/blog.id774.net\/entry\/2026\/09\/19\/5693\/\" aria-label=\"Jev \u306e RLCD \u3068 RLHF \u306e\u9055\u3044\u3092\u5831\u916c\u3068\u78ba\u7387\u304b\u3089\u8003\u3048\u308b \u306b\u3064\u3044\u3066\u3055\u3089\u306b\u8aad\u3080\">\u7d9a\u304d\u3092\u8aad\u3080<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[26,14],"tags":[],"class_list":["post-5693","post","type-post","status-publish","format-standard","hentry","category-math","category-tech"],"_links":{"self":[{"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/posts\/5693","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/comments?post=5693"}],"version-history":[{"count":1,"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/posts\/5693\/revisions"}],"predecessor-version":[{"id":5694,"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/posts\/5693\/revisions\/5694"}],"wp:attachment":[{"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/media?parent=5693"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/categories?post=5693"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.id774.net\/entry\/wp-json\/wp\/v2\/tags?post=5693"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}