EnsekiTT Blog

EnsekiTTが書くブログです。

Pythonによるインメモリでのデータ圧縮の話 後編

つまりなにしたの? Pythonではデータ圧縮とアーカイブが標準ライブラリにあり、そのうちデータ圧縮をやる。 バイナリデータをバイナリデータのまま圧縮して変数に格納する。 ensekitt.hatenablog.com の続き

Pythonによるインメモリでのデータ圧縮の話 前編

つまりなにしたの? Pythonではデータ圧縮とアーカイブが標準ライブラリにあり、そのうちデータ圧縮をやる。 バイナリデータをバイナリデータのまま圧縮して変数に格納する。

Python(Numpy)の@(アット)演算子を使って見る話

つまりなにしたの? Python3.5以降ではNumpyのmatmulに相当する@演算子が使えるようになったみたいなので使ってみた。

QR法をNumpyで実装して固有値を計算してみた話

つまりなにしたの? 固有値にはQR法を使うのが良いらしいのでNumpyで計算した。 numpy.linalg.eigを使う方法(固有値の確認) numpy.linalg.qrを使う方法(QR分解はNumpyに頼る) QR分解を自前で実装する方法(Numpyのアシスト付き) 1と2を信用して、3の妥…

実対称行列の固有値・固有ベクトルをNumpyで計算した話

つまりなにしたの? 実対称行列の固有値・固有ベクトルをNumpyで計算した。 1つは numpy.linalg.eigによる方法 2つは Jacobi法を自前で実装する方法(Numpyのアシスト付き) 1を信用して、2があってるか確認した。

くそあつい中38.8℃の熱を出して倒れた話

つまりなにしたの? よくたべて、よく寝たら、ちょっと痩せた。

更に改善を期待してPCAでも画像の並び替えをやってみた話

つまりなにしたの? ヒストグラム比較も狙ったとおりという感じではなかった。 HSV色空間自体は比較的特徴を表すのに便利そうなのはわかったので、 主成分分析(PCA)にかけて第一主成分で並び替えてみたら、やや改善したように見える。

改善を期待してHSV色空間でヒストグラム比較をしてみた話

つまりなにしたの? 前回あまりにも、残念な結果だったヒストグラム比較。 RGBでのヒストグラムを連結して比較したものから、HSV色空間でのヒストグラム比較に変更してみた。 今更OpenCVのドキュメントを読んでこっちが正攻法っぽいのでやってみることにした…

ヒストグラムの比較で元画像との近さに応じて画像の名前を採番しなおした話

つまりなにしたの? いっぱい写真があると画像の近さで並び替えたくなるので、今回は安易にヒストグラムだけを比較して画像の名前を採番しなおしてみた。 ただ、ヒストグラムだけだとやっぱり空間情報(どのへんが青いとか)が失われるのであまり綺麗にでき…

OpenCVを使ってヒストグラムの相関で画像同士の近さを計算してみた話

つまりなにしたの? 大量の画像が手に入ってしまったときに、ファイル名はあまり当てにならず画像をいい感じに並び替えたい時がある。 こんなとき、画像のヒストグラムを使って画像同士の近さ(類似度)を出せばソートしやすいんじゃないかと思って まずは画…

OpenCVで画像のヒストグラムを表示してみる話

つまりなにしたの? Photoshopとかで画像をいじるときに、カラーバランスを変更すると画像のヒストグラムが動く。 今日はこの画像のヒストグラムをPython+OpenCVで作れるようになろうと思った。

Raspberry Pi 3 Model B+を起動したら所望のネットワークアプリを動かす話

つまりなにしたの? Raspberry Pi 3 Model B+を起動したときに所望のアプリを Cronの@rebootを使って起動しようと思ったら、うまく行かなかった。 どうやらネットワークの設定が終わっていないうちに起動してしまうらしく、 スクリプト実行前にsleepを入れた…

docker system pruneでDockerのお掃除をする話

つまりなにしたの? Dockerを使っているといつの間にかDockerのイメージとかボリュームで肥大化してくるので、使わなくなったものは捨てたい。 どうやら便利なdocker system pruneというコマンドがあるらしいので使ってみた。

うっかりコンテナを削除しても大丈夫なようにdocker-composeを使うことにした話

つまりなにしたの? Jupyter Docker Stacksを導入したはいいもののうっかりコンテナを削除すると辛いのでDocker-composeを使って ホストとコンテナのボリュームを共有することにした。扱うイメージはjupyter/datascience-notebook

Dockerでデータ分析環境を作るためにJupyter Docker Stacksを使ってみた話

つまりなにしたの? Jupyter Docker StacksというJupyterを起動できるDockerコンテナを使ってデータ分析環境を立ち上げてみることにした。

FlaskとOpenCVで投稿された画像をOpenCVで加工して返す話

つまりなにしたの? Flaskで作られたWebサーバに画像が投稿されたらOpenCVで加工して結果をブラウザに表示するようにした。

Webから引っ張ってきた画像をOpenCVで処理して表示する話

つまりなにしたの? imreadでローカルの画像を読み込むことはできるけど、Webから引っ張ってきた画像は 保存したりなんなりとめんどくさいのでimread_webを作った。

SDカードにOSイメージを書き込もうと思ったらETCHERが簡単すぎた話

つまりなにしたの? RaspberryPiとかを使う時、最初にRaspbianとかNoobOSとかを用意すると思う。 その時今までは、Shellからコマンドをポチポチやっておっかなびっくりやっていたんだけど、 最近は便利なもの(ETCHER)があるらしいので、使ってみることにし…

docker-composeでRuby on Railsの開発を始めるための話

つまりなにしたの? docker-composeは自前の環境に手を加えずに開発環境だったり疑似実行環境を作れたり本番環境を作れるのでとても便利。 ただ、Railsのプロジェクトをコピーしてくる場合はdocker-compose up で終わるけど、新規作成するときは少しややこし…

treeコマンドを使ってディレクトリ構造を人に伝えるためにテキストで表示する話

つまりなにしたの? Blogを書いていると、こういうディレクトリ構造にしていますよ。って話をしたくなる。 同じ課題を持つ人はいるらしく、そういうのをいい感じにテキストで出力するtreeコマンドを紹介する。

Python+OpenCVでMouseイベントを取得してお絵かきする話

つまりなにしたの? Python+OpenCVでMouseイベントを取得してお絵かきをした

Python+OpenCVのディープラーニング(CNN)でテキスト領域検出をやってみた話

つまりなにしたの? PythonとOpenCV Contribに含まれているディープラーニングベースのテキスト領域を検出するCNNを試してみた。 思いの外ガバガバ判定で、領域を使ったアプリケーションを考えるなら結構大変そうだなって感じだった。

動体検知とトラッキングを組み合わせて動いてた物体を見失わないようにする話

つまりなにしたの? 先日、動体検知をやってみた。やってみたら、あっさり動体検知はできるものの、止まってしまうとどこ行ったのかわからなくなる。 そこで、だいぶ前にやったトラッキングと組み合わせて見失わないようにしてみた。 いつものごとくPythonと…

Python+OpenCVとWebカメラを使って動体検知する話

つまりなにしたの? Python+OpenCVで動いているところに着目しようと思って、動体検知を実装してみた。

Vimで作業中にセーブしてうっかり閉じちゃってもUndoできるようにする話

つまりなにしたの? Vimで作業している時に保存してVimを閉じてしまった。 そのあと、さっきの変更をなかったコトにしたい。というのはよくあるけどデフォルトではそういう設定になっていないことをやらかしてから気づいたのでメモしておく。

MacのiOSバックアップ(MobileSyncディレクトリ)が大きすぎるので、外付けHDDに移した話

つまりなにしたの? MacのiOSバックアップディレクトリが肥大化してきて256GBのMacBookProの容量の4分の1くらい使ってしまっていたので、 MobileSyncディレクトリを外付けHDDにうつしてみた。

Raspberry Piをモニタに繋いで適当に起動したら稲妻マークが出た話

つまりなにしたの? 先日Raspberry Piを久々に適当なUSBポートに指したら稲妻マークが出たから、何事かと思って調べた。

カテゴリデータがあってもpandasのscatter_matrixで表示するといいよって話

つまりなにしたの? pandas.plotting.scatter_matrixを使うと散布図行列が作れるけど、カテゴリデータも含めて表示したほうがいいなって思って紹介した。

DataFrameのQueryを使って条件に合致する行を抽出する話

つまりなにしたの? DataFrameのqueryを使って、条件による行の抽出を直感的に見やすい式で書いた。

DataFrameからサンプリングしたあとの残りが欲しい時の話

つまりなにしたの? DataFrameからsampleでサンプリングしたあとに、サンプリングされなかったデータが欲しくなる時があって、 なんか毎回やり方を迷っているような気がするので、Blogにまとめた。

クリエイティブ・コモンズ・ライセンス
この 作品 は クリエイティブ・コモンズ 表示 4.0 国際 ライセンスの下に提供されています。