@k2works/claude-code-booster 4.6.0 → 4.8.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/lib/assets/.claude/README.md +2 -0
- package/lib/assets/.claude/skills/creating-journal/SKILL.md +129 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/01-container-and-docker-basics.md +332 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/02-container-deployment.md +776 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/03-practical-container-build-deploy.md +457 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/04-multi-container-application.md +869 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/05-kubernetes-introduction.md +576 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/06-kubernetes-deploy-cluster.md +611 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/07-kubernetes-advanced.md +612 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/08-kubernetes-packaging.md +509 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/09-container-operations.md +537 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/10-optimal-container-image.md +631 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/11-continuous-delivery.md +598 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/12-container-use-cases.md +454 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/13-case-monolith-compose-vs-kustomize.md +337 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/14-case-event-driven-kustomize-vs-helm.md +315 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/15-case-escqrs-axon-kustomize-vs-helm.md +288 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/16-case-escqrs-kafka-kustomize-vs-helm.md +247 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/17-case-comparison-summary.md +132 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/18-case-load-testing.md +294 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/appendix-a-dev-tools-setup.md +265 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/appendix-b-orchestration-environments.md +521 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/appendix-c-tips.md +510 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/images/chapter-01-comic.png +0 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/images/chapter-02-comic.png +0 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/images/chapter-03-comic.png +0 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/images/chapter-04-comic.png +0 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/images/chapter-05-comic.png +0 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/images/chapter-06-comic.png +0 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/images/chapter-07-comic.png +0 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/images/chapter-08-comic.png +0 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/images/chapter-09-comic.png +0 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/images/chapter-10-comic.png +0 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/images/chapter-11-comic.png +0 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/images/chapter-12-comic.png +0 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/images/overview-comic.png +0 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/index.md +82 -0
- package/lib/assets/docs/article/getting-start-docker-kubernetes/outline.md +211 -0
- package/lib/assets/docs/article/index.md +3 -1
- package/lib/assets/mkdocs.yml +1 -0
- package/package.json +1 -1
|
@@ -0,0 +1,537 @@
|
|
|
1
|
+
# 第 9 章 コンテナの運用
|
|
2
|
+
|
|
3
|
+

|
|
4
|
+
|
|
5
|
+
*ログ、メトリクス、アラート、原因調査、ロールバックをつなげて、障害に強い運用を作ります。*
|
|
6
|
+
|
|
7
|
+
## はじめに
|
|
8
|
+
|
|
9
|
+
前章までで、Docker によるコンテナの構築・デプロイから、Kubernetes 上でのアプリケーションのパッケージングまでを学んできました。アプリケーションを「動かす」ところまではたどり着いたわけですが、ソフトウェアは作って終わりではありません。本番環境で稼働し続けるアプリケーションには、その状態を観測し(オブザーバビリティ)、障害やアクセス増加に耐え続ける(可用性)ための運用設計が欠かせません。
|
|
10
|
+
|
|
11
|
+
「変更を楽に安全にできて役に立つソフトウェア」であり続けるためには、稼働中のシステムから何が起きているのかを把握できることと、一部が壊れても全体としてサービスが止まらないことの両方が必要です。この章では、その土台となる以下の 2 つのテーマを扱います。
|
|
12
|
+
|
|
13
|
+
- **9.1 ロギングの運用** — コンテナのログをどこに出し、どう集約し、どう検索可能にするか
|
|
14
|
+
- **9.2 可用性の高い Kubernetes の運用** — オートスケールと Pod 配置制御によって、負荷変動と障害に強い構成をどう作るか
|
|
15
|
+
|
|
16
|
+
なお、本章で引用するマニフェストや設定ファイルは、すべてリポジトリ内に実在するものです。ロギングの題材は `gihyo-docker-kuberbetes/ch08/ch08_1_3`(Docker Compose 構成)と `ch08/ch08_1_4`(Kubernetes 構成)、可用性の題材は `ch08/ch08_3_2`、アプリ側のログ出力例は `apps/taskapp/containers/` 配下を参照します。実コードに存在しない一般的な観点については「例」「一般論」として明記します。
|
|
17
|
+
|
|
18
|
+
### 目次
|
|
19
|
+
|
|
20
|
+
1. [ロギングの運用](#ロギングの運用)
|
|
21
|
+
2. [可用性の高い-kubernetes-の運用](#可用性の高い-kubernetes-の運用)
|
|
22
|
+
3. [まとめ](#まとめ)
|
|
23
|
+
|
|
24
|
+
---
|
|
25
|
+
|
|
26
|
+
## ロギングの運用
|
|
27
|
+
|
|
28
|
+
### コンテナは標準出力・標準エラーにログを出す
|
|
29
|
+
|
|
30
|
+
ログ運用を考えるうえで、まず押さえるべき原則があります。それは **「コンテナは標準出力(stdout)・標準エラー出力(stderr)にログを出す」** ということです。
|
|
31
|
+
|
|
32
|
+
従来のアプリケーションは、ログを `/var/log/app.log` のようなファイルに書き込むのが一般的でした。しかしコンテナはイミュータブル(不変)であることが望ましく、いつ破棄・再作成されてもよい存在です。コンテナの内部にログファイルを書き込んでしまうと、コンテナが破棄された瞬間にログも失われてしまいます。
|
|
33
|
+
|
|
34
|
+
そこでコンテナの世界では、アプリケーションは「ログを標準出力・標準エラーに垂れ流すだけ」にし、それをどこに保存・転送するかはコンテナの外側(Docker エンジンや Kubernetes)の責務とする、という役割分担を取ります。これは [The Twelve-Factor App](https://12factor.net/ja/logs) が説く「ログをイベントストリームとして扱う」という考え方そのものです。アプリケーションはログの行き先を知らなくてよく、関心の分離が実現されます。
|
|
35
|
+
|
|
36
|
+
この原則は、アプリケーション側の設定にも現れます。たとえば `apps/taskapp/containers/nginx-web/etc/nginx/templates/10-log.conf.template` では、Nginx のアクセスログを構造化された JSON 形式で出力するよう定義しています。
|
|
37
|
+
|
|
38
|
+
```conf
|
|
39
|
+
log_format json escape=json '{'
|
|
40
|
+
'"time": "$time_local",'
|
|
41
|
+
'"remote_addr": "$remote_addr",'
|
|
42
|
+
'"host": "$host",'
|
|
43
|
+
'"remote_user": "$remote_user",'
|
|
44
|
+
'"status": "$status",'
|
|
45
|
+
'"server_protocol": "$server_protocol",'
|
|
46
|
+
'"request_method": "$request_method",'
|
|
47
|
+
'"request_uri": "$request_uri",'
|
|
48
|
+
'"request": "$request",'
|
|
49
|
+
'"body_bytes_sent": "$body_bytes_sent",'
|
|
50
|
+
'"request_time": "$request_time",'
|
|
51
|
+
'"upstream_response_time": "$upstream_response_time",'
|
|
52
|
+
'"http_referer": "$http_referer", '
|
|
53
|
+
'"http_user_agent": "$http_user_agent",'
|
|
54
|
+
'"http_x_forwarded_for": "$http_x_forwarded_for",'
|
|
55
|
+
'"http_x_forwarded_proto": "$http_x_forwarded_proto"'
|
|
56
|
+
'}';
|
|
57
|
+
```
|
|
58
|
+
|
|
59
|
+
JSON 形式でログを出力しておくと、後述する Elasticsearch のようなログ基盤がフィールド単位でインデックスを作れるため、「ステータスコードが 500 のリクエストだけ」「レスポンスタイムが 1 秒を超えたものだけ」といった検索・集計が容易になります。プレーンテキストのログと比べ、構造化ログは検索性・分析性で大きく勝ります。
|
|
60
|
+
|
|
61
|
+
データベースのようなミドルウェアでも、診断に必要なログをあらかじめ出力させておくことが重要です。`apps/taskapp/containers/mysql/etc/mysql/conf.d/slowlog.cnf` では、実行に時間のかかったクエリを記録するスロークエリログを有効化しています。
|
|
62
|
+
|
|
63
|
+
```conf
|
|
64
|
+
[mysqld]
|
|
65
|
+
slow_query_log = on
|
|
66
|
+
slow_query_log_file = /var/log/mysql/mysql-slow.log
|
|
67
|
+
long_query_time = 1
|
|
68
|
+
log_queries_not_using_indexes = on
|
|
69
|
+
```
|
|
70
|
+
|
|
71
|
+
ここでは 1 秒(`long_query_time = 1`)を超えたクエリと、インデックスを使っていないクエリを記録対象としています。このようなログは、パフォーマンス劣化の原因を運用フェーズで特定するための貴重な手がかりになります。
|
|
72
|
+
|
|
73
|
+
### Docker のロギングドライバ
|
|
74
|
+
|
|
75
|
+
標準出力・標準エラーに出されたログを、Docker は **ロギングドライバ(logging driver)** という仕組みで処理します。デフォルトは `json-file` ドライバで、ホスト上の JSON ファイルにログを蓄積し、`docker container logs` コマンドで参照できるようにします。
|
|
76
|
+
|
|
77
|
+
ロギングドライバはこの `json-file` 以外にも複数用意されており、ログの転送先を切り替えられます。代表的なものには次のようなものがあります(一般論)。
|
|
78
|
+
|
|
79
|
+
- `json-file` — ホスト上の JSON ファイルに保存(デフォルト)
|
|
80
|
+
- `syslog` — syslog デーモンへ転送
|
|
81
|
+
- `journald` — systemd の journal へ転送
|
|
82
|
+
- `fluentd` — Fluentd へ転送
|
|
83
|
+
- `awslogs` — Amazon CloudWatch Logs へ転送
|
|
84
|
+
|
|
85
|
+
`fluentd` ドライバを使うと、各コンテナの標準出力を Fluentd(ログコレクタ)へ送り、そこから任意のストレージへ集約できます。`gihyo-docker-kuberbetes/ch08/ch08_1_3/docker-compose.yml` は、まさにこの構成を Docker Compose で組んだ例です。
|
|
86
|
+
|
|
87
|
+
```yaml
|
|
88
|
+
version: "3"
|
|
89
|
+
services:
|
|
90
|
+
elasticsearch:
|
|
91
|
+
image: elasticsearch:5.6-alpine
|
|
92
|
+
ports:
|
|
93
|
+
- "9200:9200"
|
|
94
|
+
volumes:
|
|
95
|
+
- "./jvm.options:/usr/share/elasticsearch/config/jvm.options"
|
|
96
|
+
|
|
97
|
+
kibana:
|
|
98
|
+
image: kibana:5.6
|
|
99
|
+
ports:
|
|
100
|
+
- "5601:5601"
|
|
101
|
+
environment:
|
|
102
|
+
ELASTICSEARCH_URL: "http://elasticsearch:9200"
|
|
103
|
+
depends_on:
|
|
104
|
+
- elasticsearch
|
|
105
|
+
|
|
106
|
+
fluentd:
|
|
107
|
+
build: ./fluentd-elasticsearch
|
|
108
|
+
ports:
|
|
109
|
+
- "24224:24224"
|
|
110
|
+
- "24220:24220"
|
|
111
|
+
- "24224:24224/udp"
|
|
112
|
+
depends_on:
|
|
113
|
+
- elasticsearch
|
|
114
|
+
|
|
115
|
+
echo:
|
|
116
|
+
image: gihyodocker/echo:latest
|
|
117
|
+
ports:
|
|
118
|
+
- "8080:8080"
|
|
119
|
+
logging:
|
|
120
|
+
driver: "fluentd"
|
|
121
|
+
options:
|
|
122
|
+
fluentd-address: "localhost:24224"
|
|
123
|
+
tag: "docker.{{.Name}}"
|
|
124
|
+
depends_on:
|
|
125
|
+
- fluentd
|
|
126
|
+
```
|
|
127
|
+
|
|
128
|
+
注目すべきは `echo` サービスの `logging` セクションです。`driver: "fluentd"` を指定することで、`echo` コンテナの標準出力は Fluentd(`localhost:24224`)へ転送されます。`tag: "docker.{{.Name}}"` は、ログにコンテナ名由来のタグを付与する指定で、後段の Fluentd 側でこのタグを使って振り分けや出力先の決定を行います。
|
|
129
|
+
|
|
130
|
+
この構成では、ログは次のように流れます。
|
|
131
|
+
|
|
132
|
+
```text
|
|
133
|
+
echo(標準出力) → fluentd(収集) → elasticsearch(蓄積・検索) → kibana(可視化)
|
|
134
|
+
```
|
|
135
|
+
|
|
136
|
+
つまり Elasticsearch にログを蓄積し、Kibana という Web UI で検索・可視化する、という流れです。この **Elasticsearch + Fluentd + Kibana** の組み合わせは、頭文字を取って **EFK スタック** と呼ばれ、コンテナのログ集約における定番構成です。
|
|
137
|
+
|
|
138
|
+
### Fluentd の入力・出力設定
|
|
139
|
+
|
|
140
|
+
Fluentd の振る舞いは設定ファイル `fluent.conf` で決まります。`ch08/ch08_1_3/fluentd-elasticsearch/fluent.conf` を見てみましょう。
|
|
141
|
+
|
|
142
|
+
```conf
|
|
143
|
+
<source>
|
|
144
|
+
@type forward
|
|
145
|
+
port 24224
|
|
146
|
+
bind 0.0.0.0
|
|
147
|
+
</source>
|
|
148
|
+
|
|
149
|
+
<match *.**>
|
|
150
|
+
@type copy
|
|
151
|
+
<store>
|
|
152
|
+
type elasticsearch
|
|
153
|
+
host elasticsearch
|
|
154
|
+
port 9200
|
|
155
|
+
logstash_format true
|
|
156
|
+
logstash_prefix docker
|
|
157
|
+
logstash_dateformat %Y%m%d
|
|
158
|
+
include_tag_key true
|
|
159
|
+
type_name app
|
|
160
|
+
tag_key @log_name
|
|
161
|
+
flush_interval 5s
|
|
162
|
+
</store>
|
|
163
|
+
<store>
|
|
164
|
+
type file
|
|
165
|
+
path /fluentd/log/docker_app
|
|
166
|
+
</store>
|
|
167
|
+
</match>
|
|
168
|
+
|
|
169
|
+
<source>
|
|
170
|
+
@type monitor_agent
|
|
171
|
+
bind 0.0.0.0
|
|
172
|
+
port 24220
|
|
173
|
+
</source>
|
|
174
|
+
```
|
|
175
|
+
|
|
176
|
+
Fluentd の設定は、大きく **入力(source)** と **出力(match)** の 2 つから構成されます。
|
|
177
|
+
|
|
178
|
+
- **入力(`<source>`)** — `@type forward` は Fluentd の forward プロトコルで他のコンテナからログを受け取る入力プラグインです。`port 24224` で待ち受けており、Docker Compose 側で `fluentd-address: "localhost:24224"` と指定した宛先と一致します。
|
|
179
|
+
- **出力(`<match *.**>`)** — `*.**` というパターンに一致するすべてのタグのログを処理対象とします。`@type copy` は受け取ったログを複数の出力先に複製するプラグインで、ここでは 2 つの `<store>` を定義しています。1 つ目は Elasticsearch(`type elasticsearch`、`host elasticsearch`、`port 9200`)への出力で、`logstash_format true` により Kibana が扱いやすい日付別インデックス(`docker-YYYYMMDD` 形式)が作られます。2 つ目はファイル(`type file`)への出力で、ローカルにもログを残しています。
|
|
180
|
+
- **モニタリング(2 つ目の `<source>`)** — `@type monitor_agent` は Fluentd 自身の稼働状況を監視するためのエンドポイントを `port 24220` で公開します。ログ基盤そのものを監視できるようにしておく配慮です。
|
|
181
|
+
|
|
182
|
+
この Fluentd イメージは、`fluent.conf` を組み込んだカスタムイメージとしてビルドされます。`ch08/ch08_1_3/fluentd-elasticsearch/Dockerfile` は次のとおりです。
|
|
183
|
+
|
|
184
|
+
```dockerfile
|
|
185
|
+
FROM fluent/fluentd:v0.12-debian
|
|
186
|
+
|
|
187
|
+
RUN ["gem", "install", "fluent-plugin-elasticsearch", "--no-rdoc", "--no-ri", "--version", "1.9.2"]
|
|
188
|
+
COPY fluent.conf /fluentd/etc/fluent.conf
|
|
189
|
+
```
|
|
190
|
+
|
|
191
|
+
公式の Fluentd イメージに Elasticsearch 出力プラグイン(`fluent-plugin-elasticsearch`)を追加インストールし、自作の `fluent.conf` をコピーするだけの簡潔な内容です。Fluentd は標準ではすべての出力プラグインを同梱しないため、必要なプラグインを明示的に追加するこのパターンはよく使われます。
|
|
192
|
+
|
|
193
|
+
### Kubernetes でのログ集約パターン(EFK + DaemonSet)
|
|
194
|
+
|
|
195
|
+
Docker Compose では `logging` ドライバでコンテナごとに転送先を指定しましたが、Kubernetes では発想が少し変わります。Kubernetes では多数のノード(Node)の上に多数の Pod が分散して動くため、**「各ノードに 1 つだけログ収集役を常駐させ、そのノード上の全コンテナのログをまとめて集める」** というパターンが主流です。
|
|
196
|
+
|
|
197
|
+
この「各ノードに 1 つだけ Pod を配置する」を実現するのが **DaemonSet** です。Deployment がレプリカ数を指定して Pod を配置するのに対し、DaemonSet はクラスタの各ノードに自動的に Pod を 1 つずつ配置します。ログ収集のように、すべてのノードでバックグラウンドのエージェントを動かしたいケースにぴったりの仕組みです。
|
|
198
|
+
|
|
199
|
+
`ch08/ch08_1_4/fluentd-daemonset.yaml` が、Fluentd を DaemonSet としてデプロイするマニフェストです。
|
|
200
|
+
|
|
201
|
+
```yaml
|
|
202
|
+
apiVersion: apps/v1
|
|
203
|
+
kind: DaemonSet
|
|
204
|
+
metadata:
|
|
205
|
+
name: fluentd
|
|
206
|
+
namespace: kube-system
|
|
207
|
+
labels:
|
|
208
|
+
app: fluentd-logging
|
|
209
|
+
version: v1
|
|
210
|
+
kubernetes.io/cluster-service: "true"
|
|
211
|
+
spec:
|
|
212
|
+
selector:
|
|
213
|
+
matchLabels:
|
|
214
|
+
app: fluentd-logging
|
|
215
|
+
template:
|
|
216
|
+
metadata:
|
|
217
|
+
labels:
|
|
218
|
+
app: fluentd-logging
|
|
219
|
+
version: v1
|
|
220
|
+
kubernetes.io/cluster-service: "true"
|
|
221
|
+
spec:
|
|
222
|
+
tolerations:
|
|
223
|
+
- key: node-role.kubernetes.io/master
|
|
224
|
+
effect: NoSchedule
|
|
225
|
+
containers:
|
|
226
|
+
- name: fluentd
|
|
227
|
+
image: fluent/fluentd-kubernetes-daemonset:elasticsearch
|
|
228
|
+
env:
|
|
229
|
+
- name: FLUENT_ELASTICSEARCH_HOST
|
|
230
|
+
value: "elasticsearch"
|
|
231
|
+
- name: FLUENT_ELASTICSEARCH_PORT
|
|
232
|
+
value: "9200"
|
|
233
|
+
- name: FLUENT_ELASTICSEARCH_SCHEME
|
|
234
|
+
value: "http"
|
|
235
|
+
resources:
|
|
236
|
+
limits:
|
|
237
|
+
memory: 200Mi
|
|
238
|
+
requests:
|
|
239
|
+
cpu: 100m
|
|
240
|
+
memory: 200Mi
|
|
241
|
+
volumeMounts:
|
|
242
|
+
- name: varlog
|
|
243
|
+
mountPath: /var/log
|
|
244
|
+
- name: varlibdockercontainers
|
|
245
|
+
mountPath: /var/lib/docker/containers
|
|
246
|
+
readOnly: true
|
|
247
|
+
terminationGracePeriodSeconds: 30
|
|
248
|
+
volumes:
|
|
249
|
+
- name: varlog
|
|
250
|
+
hostPath:
|
|
251
|
+
path: /var/log
|
|
252
|
+
- name: varlibdockercontainers
|
|
253
|
+
hostPath:
|
|
254
|
+
path: /var/lib/docker/containers
|
|
255
|
+
readOnly: true
|
|
256
|
+
```
|
|
257
|
+
|
|
258
|
+
このマニフェストの要点を整理します。
|
|
259
|
+
|
|
260
|
+
- **`kind: DaemonSet`** — 各ノードに Fluentd を 1 つずつ常駐させます。`namespace: kube-system` に配置しているのは、これがクラスタの基盤機能(cluster-service)であることを示しています。
|
|
261
|
+
- **`hostPath` ボリューム** — `varlog`(`/var/log`)と `varlibdockercontainers`(`/var/lib/docker/containers`)という 2 つのホストパスをマウントしています。Kubernetes 上の各コンテナの標準出力は、ノード上のこれらのディレクトリにファイルとして書き出されます。Fluentd はこのホストのログファイルを読み取ることで、ノード上の全コンテナのログを収集できます。後者は `readOnly: true` で読み取り専用にしており、ログ基盤がアプリのログを書き換えないよう配慮されています。
|
|
262
|
+
- **環境変数で転送先を指定** — `FLUENT_ELASTICSEARCH_HOST` などで Elasticsearch の宛先を渡しています。`fluent/fluentd-kubernetes-daemonset:elasticsearch` イメージは、これらの環境変数を読んで Elasticsearch へ出力するよう作られているため、Compose の例のように自前で `fluent.conf` を書かなくても動きます。
|
|
263
|
+
- **`tolerations`** — `node-role.kubernetes.io/master` の `NoSchedule` を許容(toleration)しています。通常 master ノードには一般の Pod が配置されませんが、ログ収集はそこでも動かしたいため、この taint を許容してマスターノードにも Fluentd を配置できるようにしています。
|
|
264
|
+
- **`resources`** — メモリの上限(`limits`)と CPU・メモリの要求(`requests`)を明示しています。基盤コンポーネントが暴走してノードのリソースを食い潰さないようにする、運用上重要な指定です。
|
|
265
|
+
|
|
266
|
+
収集先となる Elasticsearch も Kubernetes 上にデプロイします。`ch08/ch08_1_4/elasticsearch.yaml` では、PersistentVolumeClaim・Service・Deployment・ConfigMap をまとめて定義しています。データの永続化と設定の外出しに注目してください。
|
|
267
|
+
|
|
268
|
+
```yaml
|
|
269
|
+
kind: PersistentVolumeClaim
|
|
270
|
+
apiVersion: v1
|
|
271
|
+
metadata:
|
|
272
|
+
name: elasticsearch-pvc
|
|
273
|
+
namespace: kube-system
|
|
274
|
+
labels:
|
|
275
|
+
kubernetes.io/cluster-service: "true"
|
|
276
|
+
spec:
|
|
277
|
+
accessModes:
|
|
278
|
+
- ReadWriteOnce
|
|
279
|
+
resources:
|
|
280
|
+
requests:
|
|
281
|
+
storage: 2G
|
|
282
|
+
|
|
283
|
+
---
|
|
284
|
+
apiVersion: v1
|
|
285
|
+
kind: Service
|
|
286
|
+
metadata:
|
|
287
|
+
name: elasticsearch
|
|
288
|
+
namespace: kube-system
|
|
289
|
+
spec:
|
|
290
|
+
selector:
|
|
291
|
+
app: elasticsearch
|
|
292
|
+
ports:
|
|
293
|
+
- protocol: TCP
|
|
294
|
+
port: 9200
|
|
295
|
+
targetPort: http
|
|
296
|
+
```
|
|
297
|
+
|
|
298
|
+
ログは蓄積されていくデータなので、Pod が再作成されても消えないよう **PersistentVolumeClaim(PVC)** で永続ボリュームを要求しています。また Elasticsearch の設定(`elasticsearch.yml`、`jvm.options` など)は **ConfigMap** として定義し、コンテナにマウントしています(マニフェスト後半で定義)。設定をイメージに焼き込まず外部化することで、設定変更のたびにイメージを作り直す必要がなくなります。
|
|
299
|
+
|
|
300
|
+
最後に、ログを人間が見るための窓口が Kibana です。`ch08/ch08_1_4/kibana.yaml` では、Service を `NodePort` で公開しています。
|
|
301
|
+
|
|
302
|
+
```yaml
|
|
303
|
+
apiVersion: v1
|
|
304
|
+
kind: Service
|
|
305
|
+
metadata:
|
|
306
|
+
name: kibana
|
|
307
|
+
namespace: kube-system
|
|
308
|
+
spec:
|
|
309
|
+
selector:
|
|
310
|
+
app: kibana
|
|
311
|
+
ports:
|
|
312
|
+
- protocol: TCP
|
|
313
|
+
port: 5601
|
|
314
|
+
targetPort: http
|
|
315
|
+
nodePort: 30050
|
|
316
|
+
type: NodePort
|
|
317
|
+
```
|
|
318
|
+
|
|
319
|
+
`type: NodePort` と `nodePort: 30050` により、クラスタ外からノードのポート 30050 経由で Kibana の Web UI(コンテナ内ポート 5601)にアクセスできます。ブラウザで Kibana を開けば、Fluentd が Elasticsearch に蓄積したログを検索・可視化できます。
|
|
320
|
+
|
|
321
|
+
ここまでをまとめると、Kubernetes における EFK によるログ集約は次の流れになります。
|
|
322
|
+
|
|
323
|
+
```text
|
|
324
|
+
各 Pod(標準出力)
|
|
325
|
+
→ ノードの /var/log ・ /var/lib/docker/containers にファイル出力
|
|
326
|
+
→ Fluentd DaemonSet が各ノードで収集
|
|
327
|
+
→ Elasticsearch に蓄積・インデックス化
|
|
328
|
+
→ Kibana で検索・可視化
|
|
329
|
+
```
|
|
330
|
+
|
|
331
|
+
ログ収集を担う `echo` アプリ自体も Deployment として動かせます。`ch08/ch08_1_4/echo.yaml` では、Nginx と echo の 2 コンテナを 1 つの Pod にまとめ、Nginx 側の環境変数 `LOG_STDOUT: "true"` でログを標準出力に出すよう指定しています。アプリ側が原則どおり標準出力にログを出すことで、上記のパイプラインに自然に乗るわけです。
|
|
332
|
+
|
|
333
|
+
---
|
|
334
|
+
|
|
335
|
+
## 可用性の高い Kubernetes の運用
|
|
336
|
+
|
|
337
|
+
ログによって「何が起きているか」を観測できるようになったら、次は「壊れても・混んでも止まらない」可用性の高い運用です。Kubernetes には、可用性を支える仕組みが標準で備わっています。ここでは、負荷に応じた **オートスケール(HPA)** と、Pod をどのノードに配置するかを制御する **アフィニティ(affinity)** を中心に見ていきます。
|
|
338
|
+
|
|
339
|
+
### HPA によるオートスケール
|
|
340
|
+
|
|
341
|
+
アクセス数は時間帯やイベントによって大きく変動します。常にピークに合わせた数の Pod を動かしておくのはコストの無駄ですし、逆にアクセス急増に Pod 数が足りなければサービスが遅延・停止してしまいます。そこで、負荷に応じて自動的に Pod 数を増減させるのが **HorizontalPodAutoscaler(HPA)** です。
|
|
342
|
+
|
|
343
|
+
`ch08/ch08_3_2/hpa.yaml` は、`echo` という Deployment に対する HPA の定義です。
|
|
344
|
+
|
|
345
|
+
```yaml
|
|
346
|
+
apiVersion: autoscaling/v2beta1
|
|
347
|
+
kind: HorizontalPodAutoscaler
|
|
348
|
+
metadata:
|
|
349
|
+
name: echo
|
|
350
|
+
spec:
|
|
351
|
+
scaleTargetRef:
|
|
352
|
+
apiVersion: apps/v1
|
|
353
|
+
kind: Deployment
|
|
354
|
+
name: echo
|
|
355
|
+
minReplicas: 1
|
|
356
|
+
maxReplicas: 3
|
|
357
|
+
metrics:
|
|
358
|
+
- type: Resource
|
|
359
|
+
resource:
|
|
360
|
+
name: cpu
|
|
361
|
+
targetAverageUtilization: 40
|
|
362
|
+
```
|
|
363
|
+
|
|
364
|
+
このマニフェストは次のことを意味します。
|
|
365
|
+
|
|
366
|
+
- **`scaleTargetRef`** — スケール対象は `echo` という名前の Deployment です。HPA はこの Deployment のレプリカ数を書き換えることでスケールを実現します。
|
|
367
|
+
- **`minReplicas: 1` / `maxReplicas: 3`** — Pod 数を最小 1、最大 3 の範囲で増減させます。
|
|
368
|
+
- **`metrics`** — スケールの判断基準です。ここでは CPU 使用率(`name: cpu`)を見ており、`targetAverageUtilization: 40` は「Pod 全体の平均 CPU 使用率を 40% に保つ」という目標を表します。実際の平均使用率が 40% を上回れば Pod を増やし、下回れば(最小数まで)減らします。
|
|
369
|
+
|
|
370
|
+
つまり HPA は、設定したメトリクスの目標値を維持するように Pod 数を自動調整するコントローラです。これにより、アクセス急増時には自動でスケールアウトしてサービスを守り、平常時には Pod を減らしてリソースを節約できます。
|
|
371
|
+
|
|
372
|
+
なお、HPA が CPU 使用率を取得するには、クラスタにメトリクスの収集基盤(Metrics Server など)が導入されている必要があります(一般論)。HPA そのものはあくまで「メトリクスを見てレプリカ数を決める」役割であり、メトリクスの提供は別のコンポーネントが担う、という分担になっています。
|
|
373
|
+
|
|
374
|
+
### アフィニティによる Pod 配置制御
|
|
375
|
+
|
|
376
|
+
Pod がどのノードに配置されるかは、通常は Kubernetes のスケジューラが自動で決めます。しかし可用性やパフォーマンスの観点から、「この Pod は特定の性質を持つノードで動かしたい」「同じ役割の Pod は別々のノードに散らしたい」といった配置の意図を持ち込みたいことがあります。これを実現するのが **アフィニティ(affinity)** です。
|
|
377
|
+
|
|
378
|
+
#### Node Affinity — 特定のノードへ配置する
|
|
379
|
+
|
|
380
|
+
**Node Affinity** は、Pod を特定のラベルを持つノードに配置するための仕組みです。`ch08/ch08_3_2/node-affinity-deployment.yaml` を見てみましょう。
|
|
381
|
+
|
|
382
|
+
```yaml
|
|
383
|
+
apiVersion: apps/v1
|
|
384
|
+
kind: Deployment
|
|
385
|
+
metadata:
|
|
386
|
+
name: high-cpu-job
|
|
387
|
+
labels:
|
|
388
|
+
app: high-cpu-job
|
|
389
|
+
spec:
|
|
390
|
+
replicas: 2
|
|
391
|
+
selector:
|
|
392
|
+
matchLabels:
|
|
393
|
+
app: high-cpu-job
|
|
394
|
+
template:
|
|
395
|
+
metadata:
|
|
396
|
+
labels:
|
|
397
|
+
app: high-cpu-job
|
|
398
|
+
|
|
399
|
+
spec:
|
|
400
|
+
affinity:
|
|
401
|
+
nodeAffinity:
|
|
402
|
+
requiredDuringSchedulingIgnoredDuringExecution:
|
|
403
|
+
nodeSelectorTerms:
|
|
404
|
+
- matchExpressions:
|
|
405
|
+
- key: instancegroup
|
|
406
|
+
operator: In
|
|
407
|
+
values:
|
|
408
|
+
- "batch"
|
|
409
|
+
containers:
|
|
410
|
+
- name: high-cpu-job
|
|
411
|
+
image: example/high-cpu-job:latest
|
|
412
|
+
```
|
|
413
|
+
|
|
414
|
+
`nodeAffinity` の下にある `requiredDuringSchedulingIgnoredDuringExecution` は、「スケジューリング時に必須(required)の条件」を表します。ここでは `instancegroup` というラベルの値が `batch` であるノードにのみ、この `high-cpu-job` Pod を配置せよ、と指定しています。
|
|
415
|
+
|
|
416
|
+
これは、CPU を大量に消費するバッチ処理を、Web リクエストを捌くノードとは別の「バッチ用ノード群」に隔離したい、といったケースで有効です。負荷特性の異なるワークロードを分離することで、互いに干渉してサービス品質が下がるのを防げます。
|
|
417
|
+
|
|
418
|
+
なお、条件の強さには `required...`(必須・満たさなければ配置されない)のほかに `preferred...`(できれば満たしたい・満たせなくても配置される)という種類もあります(一般論)。要件に応じて使い分けます。
|
|
419
|
+
|
|
420
|
+
#### Pod Anti-Affinity — Pod を別々のノードに散らす
|
|
421
|
+
|
|
422
|
+
可用性を高めるうえで特に重要なのが **Pod Anti-Affinity(Pod 反アフィニティ)** です。同じ役割の Pod が偶然同じノードに固まってしまうと、そのノードが故障した瞬間にすべての Pod が同時に失われ、サービスが停止してしまいます。Pod Anti-Affinity は「同じ種類の Pod を別々のノードに分散配置する」ことで、この単一ノード障害の影響を抑えます。
|
|
423
|
+
|
|
424
|
+
`ch08/ch08_3_2/pod-affinity-deployment.yaml` がその例です。
|
|
425
|
+
|
|
426
|
+
```yaml
|
|
427
|
+
apiVersion: apps/v1
|
|
428
|
+
kind: Deployment
|
|
429
|
+
metadata:
|
|
430
|
+
name: echo
|
|
431
|
+
labels:
|
|
432
|
+
app: echo
|
|
433
|
+
spec:
|
|
434
|
+
replicas: 3
|
|
435
|
+
selector:
|
|
436
|
+
matchLabels:
|
|
437
|
+
app: echo
|
|
438
|
+
template:
|
|
439
|
+
metadata:
|
|
440
|
+
labels:
|
|
441
|
+
app: echo
|
|
442
|
+
spec:
|
|
443
|
+
affinity:
|
|
444
|
+
podAntiAffinity:
|
|
445
|
+
requiredDuringSchedulingIgnoredDuringExecution:
|
|
446
|
+
- labelSelector:
|
|
447
|
+
matchExpressions:
|
|
448
|
+
- key: app
|
|
449
|
+
operator: In
|
|
450
|
+
values:
|
|
451
|
+
- echo
|
|
452
|
+
topologyKey: "kubernetes.io/hostname"
|
|
453
|
+
containers:
|
|
454
|
+
- name: nginx
|
|
455
|
+
image: gihyodocker/nginx:latest
|
|
456
|
+
env:
|
|
457
|
+
- name: BACKEND_HOST
|
|
458
|
+
value: localhost:8080
|
|
459
|
+
ports:
|
|
460
|
+
- containerPort: 80
|
|
461
|
+
- name: echo
|
|
462
|
+
image: gihyodocker/echo:latest
|
|
463
|
+
ports:
|
|
464
|
+
- containerPort: 8080
|
|
465
|
+
```
|
|
466
|
+
|
|
467
|
+
ポイントは `podAntiAffinity` の設定です。`labelSelector` で「`app: echo` というラベルを持つ Pod」を対象とし、`topologyKey: "kubernetes.io/hostname"` を指定しています。`topologyKey` はノードを区別する単位を表し、`kubernetes.io/hostname` はノードのホスト名(=ノード個体)を意味します。
|
|
468
|
+
|
|
469
|
+
これらを組み合わせると、「`app: echo` の Pod は、同じホスト名のノードに 2 つ以上は置かない」という制約になります。`replicas: 3` で 3 つの echo Pod を起動する際、Kubernetes はこの制約を満たすよう、3 つの Pod をそれぞれ別のノードへ配置しようとします。結果として、1 つのノードが落ちても残りのノードの Pod でサービスが継続でき、可用性が向上します。
|
|
470
|
+
|
|
471
|
+
### 可用性のためのその他の観点(一般論)
|
|
472
|
+
|
|
473
|
+
HPA とアフィニティ以外にも、可用性を高めるための定石となる仕組みがいくつかあります。本リポジトリの `ch08_3_2` のマニフェストには直接含まれていないため、ここでは一般論・例として概要を紹介します。実際の運用では、これらを組み合わせて多層的に可用性を確保します。
|
|
474
|
+
|
|
475
|
+
- **複数レプリカ** — そもそも Deployment のレプリカ数を 2 以上にしておくことが可用性の基本です。前掲の `pod-affinity-deployment.yaml` は `replicas: 3` であり、Anti-Affinity と組み合わせて「3 つの Pod を別々のノードに分散」させています。レプリカが 1 つだけだと、その Pod の再起動中はサービスが完全に止まってしまいます。
|
|
476
|
+
|
|
477
|
+
- **PodDisruptionBudget(PDB)** — ノードのメンテナンスやクラスタのアップグレードといった「計画的な中断」の際に、同時に停止してよい Pod 数(あるいは最低限維持すべき Pod 数)に上限・下限を設ける仕組みです。たとえば「常に最低 2 つの Pod を稼働させる」と宣言しておけば、メンテナンスで一度に全 Pod が落とされる事態を防げます(例)。
|
|
478
|
+
|
|
479
|
+
```yaml
|
|
480
|
+
# 例: PodDisruptionBudget の概要(一般論)
|
|
481
|
+
apiVersion: policy/v1
|
|
482
|
+
kind: PodDisruptionBudget
|
|
483
|
+
metadata:
|
|
484
|
+
name: echo-pdb
|
|
485
|
+
spec:
|
|
486
|
+
minAvailable: 2
|
|
487
|
+
selector:
|
|
488
|
+
matchLabels:
|
|
489
|
+
app: echo
|
|
490
|
+
```
|
|
491
|
+
|
|
492
|
+
- **リソースの requests / limits** — 各コンテナに必要なリソース量(`requests`)と上限(`limits`)を宣言します。`requests` はスケジューラが Pod を配置する際の判断材料となり、リソースに余裕のあるノードへ適切に配置されます。`limits` は 1 つのコンテナがノードのリソースを食い潰して他の Pod を巻き込む「うるさい隣人(noisy neighbor)」問題を防ぎます。前掲の `fluentd-daemonset.yaml` でも `requests`・`limits` が指定されていました。
|
|
493
|
+
|
|
494
|
+
- **ヘルスチェック(liveness / readiness probe)** — Kubernetes に「Pod が正常か」「リクエストを受けられる状態か」を判定させる仕組みです。`livenessProbe` が失敗するとコンテナが再起動され、`readinessProbe` が失敗している間はその Pod へトラフィックが流されなくなります。これにより、応答不能になった Pod を自動で復旧・切り離しでき、ユーザーが障害中の Pod に当たるのを防げます(例)。
|
|
495
|
+
|
|
496
|
+
```yaml
|
|
497
|
+
# 例: liveness / readiness probe の概要(一般論)
|
|
498
|
+
livenessProbe:
|
|
499
|
+
httpGet:
|
|
500
|
+
path: /healthz
|
|
501
|
+
port: 8080
|
|
502
|
+
initialDelaySeconds: 10
|
|
503
|
+
periodSeconds: 10
|
|
504
|
+
readinessProbe:
|
|
505
|
+
httpGet:
|
|
506
|
+
path: /readiness
|
|
507
|
+
port: 8080
|
|
508
|
+
initialDelaySeconds: 5
|
|
509
|
+
periodSeconds: 5
|
|
510
|
+
```
|
|
511
|
+
|
|
512
|
+
これらの仕組みは、いずれも「一部が壊れても全体は止まらない」という可用性の本質を、宣言的なマニフェストで実現するものです。Kubernetes は、こうした宣言された望ましい状態(desired state)を維持し続けるよう自動で働きます。運用者は「どうあってほしいか」を宣言するだけでよく、そのための個別操作を手で行う必要がありません。これこそが、Kubernetes が「変更を楽に安全にできる」運用基盤たりうる理由です。
|
|
513
|
+
|
|
514
|
+
---
|
|
515
|
+
|
|
516
|
+
## まとめ
|
|
517
|
+
|
|
518
|
+
この章では、コンテナを本番で運用し続けるための 2 つの柱、ロギングと可用性について学びました。
|
|
519
|
+
|
|
520
|
+
- **ロギングの運用**
|
|
521
|
+
- コンテナは標準出力・標準エラーにログを出すのが原則であり、保存・転送はコンテナの外側(Docker・Kubernetes)の責務とする。
|
|
522
|
+
- アプリ側では構造化ログ(`nginx-web` の JSON ログ)や診断ログ(`mysql` のスロークエリログ)を出力しておくと、後段の分析が容易になる。
|
|
523
|
+
- Docker のロギングドライバ(`fluentd` ドライバ)でログを Fluentd に転送し、`ch08_1_3` の Compose 構成では Elasticsearch + Fluentd + Kibana の **EFK スタック** を組んだ。`fluent.conf` の `<source>`(入力)と `<match>`(出力)で収集と転送先を定義する。
|
|
524
|
+
- Kubernetes では `ch08_1_4` のように、各ノードに Fluentd を常駐させる **DaemonSet** でノード上の全コンテナのログを集約し、Elasticsearch に蓄積、Kibana(NodePort)で可視化する。
|
|
525
|
+
|
|
526
|
+
- **可用性の高い Kubernetes の運用**
|
|
527
|
+
- **HPA**(`hpa.yaml`)は CPU 使用率などのメトリクスに応じて Pod 数を自動増減させ、負荷変動に追従する。
|
|
528
|
+
- **Node Affinity**(`node-affinity-deployment.yaml`)は Pod を特定の性質を持つノードに配置し、ワークロードを隔離する。
|
|
529
|
+
- **Pod Anti-Affinity**(`pod-affinity-deployment.yaml`)は同種の Pod を別々のノードに分散させ、単一ノード障害の影響を抑える。
|
|
530
|
+
- さらに一般論として、複数レプリカ・PodDisruptionBudget・リソースの requests/limits・ヘルスチェックを組み合わせることで、多層的に可用性を確保する。
|
|
531
|
+
|
|
532
|
+
ログによってシステムの内部を観測でき、オートスケールとアフィニティによって負荷と障害に耐えられる構成を宣言的に組めること。これらは「変更を楽に安全にできて役に立つソフトウェア」を本番で維持し続けるための土台です。
|
|
533
|
+
|
|
534
|
+
次章では、運用負荷とリスクをさらに下げるために、コンテナイメージそのものを最適化・セキュア化する方法を扱います。
|
|
535
|
+
|
|
536
|
+
- 前章: [第 8 章 Kubernetes アプリケーションのパッケージング](./08-kubernetes-packaging.md)
|
|
537
|
+
- 次章: [第 10 章 最適なコンテナイメージ作成と運用](./10-optimal-container-image.md)
|