EnsekiTT Blog

EnsekiTTが書くブログです。

scikit-learnのdatasetsにはどんなのが入っているのか調べてみた話【Breast Cancer編】

つまりなにしたの? Blogでサンプルを使いつつ、処理方法を紹介する時に便利なscikit-learnのdatasetsにはどんなのが入っているのか まとめておこうと思ってまとめ始めた。今回はウィスコンシン大学の乳がんデータ。

scikit-learnのdatasetsにはどんなのが入っているのか調べてみた話【Linnerud, Wine編】

つまりなにしたの? Blogでサンプルを使いつつ、処理方法を紹介する時に便利なscikit-learnのdatasetsにはどんなのが入っているのか まとめておこうと思ってまとめ始めた。今回は運動能力データとワインデータ。

scikit-learnのdatasetsにはどんなのが入っているのか調べてみた話【Diabetes, Digits編】

つまりなにしたの? Blogでサンプルを使いつつ、処理方法を紹介する時に便利なscikit-learnのdatasetsにはどんなのが入っているのか まとめておこうと思ってまとめ始めた。今回は糖尿病データと手書き文字データ。

scikit-learnのdatasetsにはどんなのが入っているのか調べてみた話【Boston, Iris編】

つまりなにしたの? Blogでサンプルを使いつつ、処理方法を紹介する時に便利なscikit-learnのdatasetsにはどんなのが入っているのか まとめておこうと思ってまとめ始めた。

scikit-learnのcross_validateでCross Validationしてみた話

つまりなにしたの? データ分析をやったら、Cross Validation(交差検定)などをやって分析手法が妥当か調べることが多い。 そこでscikit-learnのcross_validateを使ってCross Validationをやってみる

Scikit-learnで標準化をする時にStandardScalerを使ってみた話

つまりなにしたの? 今まで前処理のコードはかなり自前で書いてしまうことが多くて、Scikit-learnの機能を使えていないな〜と思ったので、 StandardScaler見たいなシンプルな機能から使ってみることにした。 基本的にはPandasのDataFrameで定義されたデータ…

Ruby on Railsの古いバージョンを指定してインストールしたい話

つまりなにしたの? Ruby on Railsのチュートリアルとかをやる時に、古いバージョンを指定してインストールしたいと思うことがある。 Ruby on RailsのGetting Startedだと、バージョン指定をしていないので、指定する方法をいくつか選択できるようにしておく…

pd.Seriesを入れるとOne Hot Encodingしてpd.DataFrameにしてくれる関数を用意した話

つまりなにしたの? カテゴリデータで構成されるpandasのpd.Seriesを入力すると、One Hot Encodingをして、 pd.DataFrameとして返してくれる関数(one_hot_encoding)を用意した。

PythonからRedisを叩いてPub/Subする話

つまりなにしたの? PythonからRedisを叩いて、Pythonのプログラムから出版したり、購読したりした。 Redisに接続したコネクションから、Publish(channel, message)で出版して コネクションのpubsubオブジェクトからsubscribe(channel)で購読した。

RedisでPub/Subしてみる話

つまりなにしたの? Redisを使ってPublish–Subscribe Pattern(出版者-購読者モデル)を実践してみた。

Publish–Subscribe Pattern 出版-購読型モデルの話

つまりなにしたの? 出版者と購読者のモデルをなんとなく使っていたので、改めて勉強して、まとめてみた。 センサデータをみんなで購読したり、 逆にセンサが設定ファイルを購読したりすることにも使えるので、 ロボット関連でも結構活用されている。

Pythonによるインメモリでのデータ圧縮の話 後編

つまりなにしたの? Pythonではデータ圧縮とアーカイブが標準ライブラリにあり、そのうちデータ圧縮をやる。 バイナリデータをバイナリデータのまま圧縮して変数に格納する。 ensekitt.hatenablog.com の続き

Pythonによるインメモリでのデータ圧縮の話 前編

つまりなにしたの? Pythonではデータ圧縮とアーカイブが標準ライブラリにあり、そのうちデータ圧縮をやる。 バイナリデータをバイナリデータのまま圧縮して変数に格納する。

Python(Numpy)の@(アット)演算子を使って見る話

つまりなにしたの? Python3.5以降ではNumpyのmatmulに相当する@演算子が使えるようになったみたいなので使ってみた。

QR法をNumpyで実装して固有値を計算してみた話

つまりなにしたの? 固有値にはQR法を使うのが良いらしいのでNumpyで計算した。 numpy.linalg.eigを使う方法(固有値の確認) numpy.linalg.qrを使う方法(QR分解はNumpyに頼る) QR分解を自前で実装する方法(Numpyのアシスト付き) 1と2を信用して、3の妥…

実対称行列の固有値・固有ベクトルをNumpyで計算した話

つまりなにしたの? 実対称行列の固有値・固有ベクトルをNumpyで計算した。 1つは numpy.linalg.eigによる方法 2つは Jacobi法を自前で実装する方法(Numpyのアシスト付き) 1を信用して、2があってるか確認した。

くそあつい中38.8℃の熱を出して倒れた話

つまりなにしたの? よくたべて、よく寝たら、ちょっと痩せた。

更に改善を期待してPCAでも画像の並び替えをやってみた話

つまりなにしたの? ヒストグラム比較も狙ったとおりという感じではなかった。 HSV色空間自体は比較的特徴を表すのに便利そうなのはわかったので、 主成分分析(PCA)にかけて第一主成分で並び替えてみたら、やや改善したように見える。

改善を期待してHSV色空間でヒストグラム比較をしてみた話

つまりなにしたの? 前回あまりにも、残念な結果だったヒストグラム比較。 RGBでのヒストグラムを連結して比較したものから、HSV色空間でのヒストグラム比較に変更してみた。 今更OpenCVのドキュメントを読んでこっちが正攻法っぽいのでやってみることにした…

ヒストグラムの比較で元画像との近さに応じて画像の名前を採番しなおした話

つまりなにしたの? いっぱい写真があると画像の近さで並び替えたくなるので、今回は安易にヒストグラムだけを比較して画像の名前を採番しなおしてみた。 ただ、ヒストグラムだけだとやっぱり空間情報(どのへんが青いとか)が失われるのであまり綺麗にでき…

OpenCVを使ってヒストグラムの相関で画像同士の近さを計算してみた話

つまりなにしたの? 大量の画像が手に入ってしまったときに、ファイル名はあまり当てにならず画像をいい感じに並び替えたい時がある。 こんなとき、画像のヒストグラムを使って画像同士の近さ(類似度)を出せばソートしやすいんじゃないかと思って まずは画…

OpenCVで画像のヒストグラムを表示してみる話

つまりなにしたの? Photoshopとかで画像をいじるときに、カラーバランスを変更すると画像のヒストグラムが動く。 今日はこの画像のヒストグラムをPython+OpenCVで作れるようになろうと思った。

Raspberry Pi 3 Model B+を起動したら所望のネットワークアプリを動かす話

つまりなにしたの? Raspberry Pi 3 Model B+を起動したときに所望のアプリを Cronの@rebootを使って起動しようと思ったら、うまく行かなかった。 どうやらネットワークの設定が終わっていないうちに起動してしまうらしく、 スクリプト実行前にsleepを入れた…

docker system pruneでDockerのお掃除をする話

つまりなにしたの? Dockerを使っているといつの間にかDockerのイメージとかボリュームで肥大化してくるので、使わなくなったものは捨てたい。 どうやら便利なdocker system pruneというコマンドがあるらしいので使ってみた。

うっかりコンテナを削除しても大丈夫なようにdocker-composeを使うことにした話

つまりなにしたの? Jupyter Docker Stacksを導入したはいいもののうっかりコンテナを削除すると辛いのでDocker-composeを使って ホストとコンテナのボリュームを共有することにした。扱うイメージはjupyter/datascience-notebook

Dockerでデータ分析環境を作るためにJupyter Docker Stacksを使ってみた話

つまりなにしたの? Jupyter Docker StacksというJupyterを起動できるDockerコンテナを使ってデータ分析環境を立ち上げてみることにした。

FlaskとOpenCVで投稿された画像をOpenCVで加工して返す話

つまりなにしたの? Flaskで作られたWebサーバに画像が投稿されたらOpenCVで加工して結果をブラウザに表示するようにした。

Webから引っ張ってきた画像をOpenCVで処理して表示する話

つまりなにしたの? imreadでローカルの画像を読み込むことはできるけど、Webから引っ張ってきた画像は 保存したりなんなりとめんどくさいのでimread_webを作った。

SDカードにOSイメージを書き込もうと思ったらETCHERが簡単すぎた話

つまりなにしたの? RaspberryPiとかを使う時、最初にRaspbianとかNoobOSとかを用意すると思う。 その時今までは、Shellからコマンドをポチポチやっておっかなびっくりやっていたんだけど、 最近は便利なもの(ETCHER)があるらしいので、使ってみることにし…

docker-composeでRuby on Railsの開発を始めるための話

つまりなにしたの? docker-composeは自前の環境に手を加えずに開発環境だったり疑似実行環境を作れたり本番環境を作れるのでとても便利。 ただ、Railsのプロジェクトをコピーしてくる場合はdocker-compose up で終わるけど、新規作成するときは少しややこし…

クリエイティブ・コモンズ・ライセンス
この 作品 は クリエイティブ・コモンズ 表示 4.0 国際 ライセンスの下に提供されています。