こーじ

• 科学・IT

１個前ののアーカイブまでの学習時に足が地面に付いても大丈夫というプログラムのミスをしてしまい、それを利用した報酬の稼ぎ方をする傾向が見えてきました。
そこでプログラムを修正し、１個前の学習時と同じくらいの報酬をゲットできるまで裏で学習させました、これはその続きです。

↓何をやっているのか↓
・AIが球を転がして目的地に到達することを学習しています。
・目的地に到達すると目的地はランダムな位置に移動します。
・足以外が球か、体の一部が地面に付いたらリセットです。
・リセット位置は毎回土地の中心です、土地の大きさは一辺30mの正方形
・足と球の摩擦係数はUnityのデフォルト値なので多分0.6ぐらい。
・リセット時には体はランダムな方向を向いています。
・目的地に向かって秒速１メートルで進むと報酬がたくさん貰えます。
・頭が目的地の方を向くほど報酬がたくさん貰えます。
・落ちたら罰を受け取ります。
・上手くいく保証はないです。
・いつ出来るようになるのかは分かりません、8000万ステップ学習後終了です。
・こーじは時々現れて話します。
・時々進捗を見て見守って下さい。

良く来る質問
・PCのスペックは？
Windows10
PCスペック
メモリ: 64GB
GPU: 1080ti
CPU: Core i7 8700k
・Unityいつからやってるの？
2017年の2月から

ハイパーパラメータは以下です
trainer_type: ppo
hyperparameters:
batch_size: 2048
buffer_size: 20480
learning_rate: 0.0003
beta: 0.005
epsilon: 0.2
lambd: 0.95
num_epoch: 3
learning_rate_schedule: linear
network_settings:
normalize: true
hidden_units: 512
num_layers: 3
vis_encode_type: simple
reward_signals:
extrinsic:
gamma: 0.995
strength: 1.0
keep_checkpoints: 200
checkpoint_interval: 100000
max_steps: 80000000
time_horizon: 1000
summary_freq: 3000

【Twitter】
こーじ物理エンジン：https://twitter.com/PhysicsKJ

【公式LINE】
物理エンジンこーじ：https://lin.ee/GG4tG0n
(タイムラインに動画を不定期で挙げます)

【サブチャンネル】
https://www.youtube.com/channel/UC-XoVyYw4UlQ85kGDK4MInA
【ゲームチャンネル】
https://www.youtube.com/channel/UCo_G8PEhG_6DDFWhsgYsuEw

【主な使用ソフト】
・Unity
・Blender
・Mixamo

【使用させて頂いている音源】
MusMus：http://musmus.main.jp/
Music is VFR：http://musicisvfr.com/
フリー効果音 On-Jin ～音人～：http://on-jin.com
効果音ラボ：https://soundeffect-lab.info/
フリーBGM DOVA-SYNDROME：http://dova-s.jp/

#物理エンジンこーじ #こーじ #物理エンジン #強化学習