EnsekiTT Blog

EnsekiTTが書くブログです。

週末に3DSもポケモンもなかったのでChainerでDQNを育てた話。

つまりなにしたの

ブロック崩しなどで一世を風靡したDeep Q NetworkをChainerで実装して、OpenAIの環境で育てた。
youtu.be

基本的な強化学習の流れ

ゲームそのものをEnvironment
ゲームで言うプレイヤーをAgent
プレイヤーの操作をAction
プレイヤーはプレイの結果をゲーム画面を観察、つまりObservationして確認する(日本語に組み込むと変な感じ
ゲーム画面には、ゲームの状態(残りのブロックの画像とか)、Stateが表示される。
ゲーム画面には、ゲームのスコア(上がると嬉しいもの)、Rewardも表示される。

プレイヤーは操作とゲーム画面の組み合わせからこれはうまくいった、うまくいく流れ来たけどなんかこれ以上スコア上がらん…大きく変えるか!
とかを繰り返して学習を勧めていく。
(英単語はOpenAI Gymの表現と合わせている。)

続きを読む

勤労感謝の日なのでChainerの勤労(Training)に感謝してextensionsを全部試した話

つまりなにしたの

Chainerの抽象度を飛躍的に高めたTrainerにはextensionsがある。
せっかくだからextensionsを全部使ってみた。

背景

最近やっとChainerのバージョンを上げました。
qiita.com
を読んで、すごい勢いで僕のソースコードも抽象化したわけですが、
僕はまだまだextensionsの素敵機能を素敵に使いこなせてない!

というわけで、勤労感謝の日にChainerの勤労(Training)に感謝してextensionsを全部試した。

続きを読む

せっかく届いたTouch Barの使いみちが思い浮かばなかったのでPPAPでサンプルを作った @Qiita

おしゃれ機能を実装してスタバでドヤろうと思ったものの、 よく考えたらCocoa初挑戦だったので、ハードルを下げてPPAPにした。

qiita.com

データが無いけどデータサイエンスごっこしたくて、Ruby+Capybaraでスクレイピングしてみた話 @Qiita

データが無いけどデータサイエンスごっこしたくて、Ruby+Capybaraでスクレイピングしてみた話をアップしました。

http://qiita.com/EnsekiTT/items/bf4ba02d1babf3f3519a

qiita.com

次回はシミュレーテッドアニーリングと言ったな、あれは嘘だ(今度やります

蟻コロニー最適化: サラリーマンが土曜日の昼下がりにセールスマンと蟻で遊んでたら夜になった話 @Qiita

Qiitaに蟻コロニー最適化で遊んだ話をアップしました。

qiita.com

今度はシミュレーテッドアニーリングで遊びたいと思います。

新入社員のためのAWS Calculator入門 | Developers.IO

[embed]http://dev.classmethod.jp/project-management/estimate/aws-calculator-basic/[/embed]

個人で利用するときは自分のお金を守るためにも結構必死にこれ使ってる。

ラグランジュの未定乗数法による制約付き非線形最適化の概要と例題 - MyEnigma

[embed]http://myenigma.hatenablog.com/entry/2016/05/05/213959[/embed]

なんとなくで使ってたけどかなりスッキリした。