AI の性能を守りながら資源を減らすには残す場所を選ぶ
AI システムの効率化では、計算量、モデルの精度、学習量、コンテキスト長など、利用できる資源に上限を置く場面が多い。推論コストを下げるために小さなモデルへ切り替える、量子化によって重みの表現精度を下げる、長い履歴を圧縮し … 続きを読む
AI システムの効率化では、計算量、モデルの精度、学習量、コンテキスト長など、利用できる資源に上限を置く場面が多い。推論コストを下げるために小さなモデルへ切り替える、量子化によって重みの表現精度を下げる、長い履歴を圧縮し … 続きを読む