操作	コマンド	備考
バケット参照	aws s3 ls
バケット内参照	aws s3 ls s3://バケット名
バケット作成	aws s3 mb s3://バケット名
バケット削除	aws s3 rb s3://バケット名	バケット内が空でないと消せません
オブジェクトコピー	aws s3 cp オブジェクト名 s3://バケット名	ローカル→S3、S3→ローカル、S3→S3でのコピー可
オブジェクト削除	aws s3 rm s3://バケット名/オブジェクト名	--recursive オプションでディレクトリを再帰的に削除
移動	aws s3 mv s3://バケットA/オブジェクトA s3://バケットB/(オブジェクトB)	ローカル→S3、S3→ローカル、S3→S3での移動可
同期	aws s3 sync ディレクトリ s3://バケット名/ディレクトリ	ローカルのディレクトリを同期

正規表現で複数ファイルをコピーする

aws s3 cp *.txt s3://[バケット名]/

上記のように指定したくなるが、エラーになる。aws s3ではファイル指定に「*」が使えないです。

上記を実現したい場合は、excludeとincludeを用いて以下のように指定します。

aws s3 cp test s3://[バケット名]/ --recursive --exclude "*" --include "*.txt"

testディレクトリ以下の拡張子がtxtのファイルのみをコピーするコマンドになります。

excludeを省略したくなりますが、省略すると全ファイルがコピー対象になるのでご注意を。
excludeのみの指定は可能です。

一括削除の際は確認コマンドを使う

--dryrun オプションを付けるとどのように削除されるか確認できる
$ aws s3 rm s3://hogebk --recursive --dryrun
(dryrun) delete: s3://hogebk/hoge/test1.txt
(dryrun) delete: s3://hogebk/hoge/test2.txt

2018-07-19

Bash 処理経過時間を計測する

bash unix

計測用テストシェル

#!/bin/bash

startTime=`date +%s%3N`

# 計測処理
for ((i=0; i < 10000; i++)); do
    echo $i
done

endTime=`date +%s%3N`
elapsedTime=`echo $(($endTime - $startTime))`
echo "elapsedTime: $elapsedTime msec"

出力結果

1
2
・・・
9999
elapsedTime: 330 msec

2018-07-18

MySQL Indexの作成、参照、変更、効果確認コマンド

MySQL

Indexの作成

-- 通常インデックス
create index idx_name on table_name (name);

-- 複合インデックス
create index idx_group_id_name on table_name (group_id, name);

Indexの参照

作成したIndexを確認する

show index from table_name;

Indexの削除

誤って作成したIndexを削除する

alter table table_name drop index idx_group_id_name;

Indexの効果の確認

EXPLAIN select * from table_name where name = 'test';

2018-07-05

bash ファイル圧縮、S3転送を行うスクリプト

aws s3設定済みの前提。

#!/bin/bash

for file in `ls dump_*.sql | cut -d'.' -f1`; do
  tar --remove-files -zcvf "$file".tgz "$file".sql
  aws s3 cp "$file".tgz s3://dump/
  STATUS=$?
  if [ $STATUS = 0 ]; then
    rm -fr "$file".sql
  fi
done

2018-02-01

gitクライアントツールのssh設定

Git

TortoiseGit、SorceTreeのssh設定をまとめてみます。
2つ使う理由としては、TortoiseGitが差分が見やすい、 SorceTreeは現状が視覚的に見えるので。

TortoiseGit

参考URL

秘密鍵と公開鍵を生成

TortoiseGitをインストールした後に、 TortoiseGitのディレクトリ内にある「PuTTｙPuTTYgen」を起動

Generateを押した後にマウスをぐりぐりと動かし、キーを作成。

Save private keyでを押して、praivat.ppk(秘密鍵)を作成。
Save public keyを押して、public.ppk(公開鍵)を作成。

TortoiseGitでの設定

右クリで表示する「Git Clone」のメニューを開いて

Load Putty Keyのところで、作成したprivate.ppkを設定。
これでリポジトリにある公開鍵で鍵がかかった情報に秘密鍵で鍵を開けに行き、
情報を取得できるようになる。

あとは、取得先のリポジトリURLを指定すればOK

Source Tree

秘密鍵と公開鍵を生成

「メニュー」→「ツール」→「SSHエージェントを起動」
PuTTYを立ち上げる。TortaiseGitと同じ要領でKeyを作成。

秘密鍵の登録

「メニュー」→「ツール」→「Launch SSH Agent」→「Pagentを起動」

Add Keyボタンで作成した秘密鍵を登録してパスワードを入力

Pagentは、pullやpushの際に毎回、パスワードを聞かれなくしてくれるツールです。

Git Clone設定

元のパス：リモート先のリポジトリURL
保存先パス：ローカルリポジトリのパス

以上です。

2018-02-01

Javaシステム開発、新しい現場で押さえておきたい情報

システム開発

サービス、アプリ

広告系、ECサイト、androidアプリなど
サービスによって、求められる技術が変わってくる。

社風

残業推奨か、残業制限か。
社員の顔色はどうか笑。顔色が悪い場合、サービスやシステムも思わしくない場合が多い。

業種にも寄るが、髪型・服装・喋り方などでもある程度わかる。

使用言語

Java, JavaScript(JQuery), Perlなど。RubyやC++などサブで使っているかなども押さえておきたい。
どのくらいの割合で使うのか。

Junitで単体テスト書いているか。書いているところは、企業体力ある気がする。
テストに工数さけるってことだから。

使用フレームワーク

フロント、サーバー、DBアクセスなどフレームワーク。
独自フレームワークでないことを願いたい。

ソース管理

CVS(もうないか)、SVN、Git。最近、ずっとSVNだったけど、Gitになったから復習しないとわかんね。

ビルド、デプロイ

Ant, Maven, gradle ビルドツール。大事だよね。gradleって便利なのかな。使ったことない。
Jenkins。Javaで他にCIツールってあるのかな。

ミドルウェア

Apche、Tomcat、Nginx。サーバー周り。
Oracle、PostgreSQL これはどれでもいいかな。DBMS毎のクセのあるSQLの書き方はいけない気がするし。

気軽に楽しくプログラムと遊ぶ

自分が興味があってためになるかもって思う情報を提供しています。

MacのTime machineによるバックアップに最適なHDDを調査

まずTime machineとは？

バックアップに必要な容量

バックアップ範囲

最適なHDDを選ぶ 2018/07/26時点

[補足]再フォーマット、パーティション分け

AWSのS3基本コマンド

基本コマンド

正規表現で複数ファイルをコピーする

一括削除の際は確認コマンドを使う

Bash 処理経過時間を計測する

計測用テストシェル

出力結果

MySQL Indexの作成、参照、変更、効果確認コマンド

Indexの作成

Indexの参照

Indexの削除

Indexの効果の確認

bash ファイル圧縮、S3転送を行うスクリプト

gitクライアントツールのssh設定

TortoiseGit

秘密鍵と公開鍵を生成

TortoiseGitでの設定

Source Tree

秘密鍵と公開鍵を生成

秘密鍵の登録

Git Clone設定

Javaシステム開発、新しい現場で押さえておきたい情報

サービス、アプリ

社風

使用言語

使用フレームワーク

ソース管理

ビルド、デプロイ

ミドルウェア