2017-05-01から1ヶ月間の記事一覧

並列して大量にhako oneshotした時におきたこと

最近hakoの話ばかりしてる @hatappi 業務でとある分散バッチシステムを作成する時にhako oneshotを使用しています hakoのYAMLファイルにはAutoScalingGroupを設定していてリソースが足りない時は追加してパラレルで実行していきます 検証した時は最大で約60…

hako oneshotで何度でもDigdagのsession情報を保持する

以前こんな記事を書きました hatappi.hateblo.jp この記事ではDigdagをDocker上で動かす際にsession情報をDataVolumeにおくことでコンテナを立ち上げ直した時もsession情報を参照できるようにするというものでした これはECS上でも実現することは出来る デー…

Hakoをコンテナインスタンス0の状態からoneshotする

hatappi.hateblo.jp 昨日はHakoで狙ったコンテナインスタンスにたいしてoneshotする記事を書きました このoneshotを僕が使う時はバッチ目的として使用するのでサービスの用にコンテナインスタンスを立て続けるわけではありません もちろん起動し続けたままで…

Hakoで狙ったコンテナインスタンスにoneshotしたい

1週間くらい前からHakoに入門している @hatappiです hatappi.hateblo.jp 以前hako oneshotを使用してサンプルのようなものを動かしました 今回は少しECSのタスク配置を掘り下げてそれをHakoで設定しようというものです ECSにはクラスター内でタスクを起動す…

Rails+webpackerでAngularをさわってみる

出遅れた感はありますが今回はRails5.1からrailsで使用できるようになったwebpackerを使用してみようと思います ※ 2017/05/20時点の情報をもとにかいてます webpackerとは? rails/webpackerはRails5.1からRails配下に入ったyarnでパッケージを管理してくれた…

PackerでDocker Imageを作る時に知ったこと

最近はAWSのAMIやECSでコンテナたてる時に使うDocker ImageをPackerで作成している @hatappiです Packerを使うとAMIにしてもDocker Imageにしても自分の好きなプロビジョニングを使用することが出来るので好きです 今回は例えば元となるdocker imageにはrben…

Hakoを使い始めた

github.com 最近Hakoを使い始めたのでノウハウをためていく Hakoとは?? Dockerコンテナをデプロイするためのツールです Hakoがうまれた背景はECS を利用したデプロイ環境 by Kohei Suzukiによると ECSを利用しつつ、秘匿値の注入や関連するリソースや設定を…

PackerでECRにpushする時はaws ecr get-loginの工程はいらなかった

hatappi.hateblo.jp 以前上記の記事でPackerでDocker Imageを作成する中で最後にDocker Pushする際の情報をawsコマンドを使用してDocker Login用のコマンドを出力してそれを使っていた # 事前にaws configureがすんでいること $ aws ecr get-login --region …

ECSでコンテナインスタンス間でデータボリュームを同期したい時

ECSの話 ECS以前にDockerを使っているとデータを永続化したかったりコンテナ間でデータを共有したいってことがあると思う hatappi.hateblo.jp 今回は前の記事でDigdagのセッション情報をデータボリュームに退避させコンテナを立て直しても続きからをECS上で…

Digdag on Dockerで何度コンテナを立て直しても状態を維持する

digdag入門しはじめた— hatappi (@hatappi) 2017年5月11日 しました DigdagはDocker上でタスクに依存性をもたせて処理を実行するために使用し始めました Digdagを使うことが出来るDocker Imageは今回は自前で用意したものを使用します ※ Digdagのバージョン…

コマンド一発で今いるディレクトリに対してhttpでアクセスしたい

題名通りで時々ローカルにあるファイルを file:// のfileプロトコルではなくてhttpでアクセスしたいってことがありました こんな時はrubyだと library webrick (Ruby 2.4.0) を使うと実現できます 例えば下記のようなhtmlファイルがあったとして index.html <html> <body></body></html>…

PackerでECRにpushする

—– 2017 / 05 / 15 ——- PackerでECRにpushする時はaws ecr get-loginの工程はいらなかった - hatappiのブログ 動作としてこの記事でも問題ないのですが、よりよい方法があったので上記書き直しました 最近は個人でも会社でもPackerでDocker Imageをbuildして…

lsofは指定されたポートを使用しているプロセスを調べるためだけではなかった

普段任意のポートを使用しているプロセスはなんだろうってなった時にlsofを使う $ lsof -i:80 # port:80を使用しているプロセス COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME nginx 1 root 6u IPv4 229552 0t0 TCP *:http (LISTEN) おっport:80はngi…

AngularでGithubUserPagesをつくりはじめる

業務でAngularを書いていたがそのプロジェクトから話されたのでAngularをかくことがなくなった ただAngularは個人的には好きなので書き続けようと思ってはいる そこで作ろうと思ったがGithub User Pages User, Organization, and Project Pages - User Docum…

MItamaeでのcookbookの取り込みを少し見やすくする

MItamaeを使っていく中でディレクトリ構成などはItameのBest Practice · itamae-kitchen/itamae Wiki · GitHubを参考にしている . ├── cookbooks │ └── nginx │ ├── default.rb │ ├── files │ └── templates │ └── fluentd │ ├── default.rb │ ├── files │ └…

MItamaeでのrun_commandの挙動が気になる

プロビジョニングとしては業務でも個人でもItamaeを使っていたが最近はMItamaeを使っている github.com MItamaeについては作者のk0kubunさんのItamaeのmruby実装「MItamae」が大体いい感じになった話 - k0kubun's blogをご覧ください 今日はそんなMItameのru…