勾配ブースティング（回帰）の仕組みをわかりやすく解説！

[@Saki-rb9tw]

とても分かりやすく感動しました
応援しています！

[@ryo-dc4wy]

いつも拝見してます。
業務でxgboostによるデータ予測をしてます。説明変数はある程度確保できており、データセットは200行程度。予測精度を上げるために、xgboostの線形回帰に対しては交互作用項作成→各指標の重要度確認→重要度一定以上のものを説明変数として採用→予測。
などはやってますが、なかなか予測精度が上がりません。
今後の方針として、学習データの蓄積が有効か。あるいは他の良い手段があるか模索してます。
一般論でも良いので何かアドバイスあればお願いします。

[@K_DM]

コメントありがとうございます！
> 今後の方針として、学習データの蓄積が有効か。あるいは他の良い手段があるか模索してます。
axa.biopapyrus.jp/machine-learning/model-evaluation/learning-curves.html
のページにあるような学習曲線（ｘ軸：データ数、ｙ軸：予測精度のグラフ）を作ってみてはいかがでしょうか。お手元にデータが200あるとのことなので、そのうち半分の100を使って予測精度を確認して
1.データ数が100の時と200の時で性能が変わらない→たぶんデータを増やしても性能は変わらないのであきらめる
2.データが200の時の方がすこし性能が高い→まだ性能が良くなりそうなのでデータを増やしてみる
といった感じです。
また、データ数が少ないのでXGBよりもシンプルな手法(k-NN・線形回帰・決定木など)でも十分かもしれないという印象を持ちました。またXGBoostを使う場合であっても、XGBのmax_depthのパラメタは3や4の指定で十分かと思います。
ご参考になれば幸いです。

[@user-mh7jf9od1v]

3:18 の右下の式の[ ]の右下のf=fm-1 とはどういう意味なのでしょうか？