Edu/Support

オンライン定期点検
サービス開始

クバネティス(Kubernetes) 環境で Redis-Cluster 構築実戦ガイド ②

構築(ポッド(Pod) 生成)

1. YAML ファイルの順次適用(生成)

1) Config 生成

💻 Terminal

$ kubectl apply -f redis-cluster-config.yaml	➡ 適用(作成)
  configmap/redis-cluster-config created	➡ 新規作成
  configmap/redis-cluster-config configured	➡ 変更があるとき
  configmap/redis-cluster-config unchanged	➡ 変更がないとき
$ kubectl get configmap redis-cluster-config	➡ 確認
  NAME                   DATA   AGE
  redis-cluster-config   2      8m5s
* 'DATA 2' は redis.conf, users.acl ファイル2つを意味する。

2) Service 生成

💻 Terminal

$ kubectl apply -f redis-cluster-service.yaml	➡ 適用(作成)
  service/redis-cluster-service created
$ kubectl get service redis-cluster-service	➡ 確認
  NAME                  TYPE      CLUSTER-IP EXTERNAL-IP PORT(S)          AGE
  redis-cluster-service ClusterIP None       <none>   18504/TCP,28504/TCP 1m

3) Statefulset 生成

💻 Terminal

$ kubectl apply -f redis-cluster-statefulset.yaml	➡ 適用(作成)
  statefulset.apps/redis-cluster created
$ kubectl get pods -o wide	➡ ポッド照会 🧮
  NAME              READY   STATUS    RESTARTS   AGE   IP            NODE  
  redis-cluster-0   1/1     Running   0          33s   10.42.0.231   rocky9
  redis-cluster-1   1/1     Running   0          27s   10.42.0.233   rocky9
  redis-cluster-2   1/1     Running   0          23s   10.42.0.235   rocky9
  redis-cluster-3   1/1     Running   0          18s   10.42.0.237   rocky9
  redis-cluster-4   1/1     Running   0          14s   10.42.0.239   rocky9
  redis-cluster-5   1/1     Running   0          10s   10.42.0.241   rocky9

ここまで単独(standalone) Redis 6個が実行された状態です。まだ Redis クラスタは構成されていません。

2. Redis-Cluster 構成

1) Redis-Cluster 構成スクリプトの作成、実行

'cluster_create.sh' を実行すると Master 3個、Replica 3個で Redis-Cluster が構成(生成)されます。

💻 Terminal

$ cat -n cluster_create.sh 
#!/bin/bash
# =========================================================================
# Redis Cluster 作成スクリプト (3 Master / 3 Replica)
# =========================================================================
# 設定変数
PORT="18504"
PASSWORD="password"
SERVICE_NAME="redis-cluster-service"
NAMESPACE="default"
echo "====================================================================="
echo "🚀 Redis Cluster 構成を開始します..."
echo "====================================================================="
# --cluster-yes オプションを追加してプロンプト(yes)を自動応答処理
# -it の代わりに -i のみを使い自動化スクリプトに最適化 (TTY 関連警告を防止)
kubectl exec -i redis-cluster-0 -- redis-cli -p ${PORT} -a ${PASSWORD} --cluster create \
  redis-cluster-0.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT} \
  redis-cluster-1.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT} \
  redis-cluster-2.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT} \
  redis-cluster-3.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT} \
  redis-cluster-4.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT} \
  redis-cluster-5.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT} \
  --cluster-replicas 1 \
  --cluster-yes

🧑‍💻 主な内容の説明

VM では IP:Port を書きますが、クバネティス(Kubernetes)では次のように書きます。
redis-cluster-0.${SERVICE_NAME}.${NAMESPACE}.svc.cluster.local:${PORT}
redis-cluster-0~5 まですべて書きます。
--cluster-replicas 1 # Master 1 -> Replica 1 に設定します。
--cluster-yes # このオプションを使うと、次の質問に自動で 'yes' と答えます。
Can I set the above configuration? (type 'yes' to accept): yes
このオプションなしで実行すると 'yes' を入力する必要があります。

🖧 Redis クラスタ構成(生成)過程

📍 3個の Master にスロットが均等に割り当てられました。
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
📍 Replica -> Master 関係の設定
Adding replica redis-cluster-4 to redis-cluster-0
Adding replica redis-cluster-5 to redis-cluster-1
Adding replica redis-cluster-3 to redis-cluster-2
📍 OK 成功! すべてのスロットが割り当てられました。
[OK] All 16384 slots covered.

内容をすべて見る ▼

💻 Terminal

======================================================================
🚀 Redis Cluster 構成を開始します...
======================================================================
>>> Performing hash slots allocation on 6 nodes...
📍 3つの Master にスロットが均等に割り当てられた。
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
📍 Replica -> Master 関係設定
Adding replica redis-cluster-4.redis-cluster-service.default.svc.cluster.local:18504 to redis-cluster-0.redis-cluster-service.default.svc.cluster.local:18504
Adding replica redis-cluster-5.redis-cluster-service.default.svc.cluster.local:18504 to redis-cluster-1.redis-cluster-service.default.svc.cluster.local:18504
Adding replica redis-cluster-3.redis-cluster-service.default.svc.cluster.local:18504 to redis-cluster-2.redis-cluster-service.default.svc.cluster.local:18504
M: 66390566e7f48211e8bed3a6a0e49155cbe8b54b redis-cluster-0.redis-cluster-service.default.svc.cluster.local:18504
   slots:[0-5460] (5461 slots) master
M: 3b690009fb9a90ff6b43765363c4c0b81b63d103 redis-cluster-1.redis-cluster-service.default.svc.cluster.local:18504
   slots:[5461-10922] (5462 slots) master
M: 02069ae6b4f98c31d5f4e70f243bc9a006b68443 redis-cluster-2.redis-cluster-service.default.svc.cluster.local:18504
   slots:[10923-16383] (5461 slots) master
S: 3722046802e006615ac1d976e62e4c94c58af586 redis-cluster-3.redis-cluster-service.default.svc.cluster.local:18504
   replicates 02069ae6b4f98c31d5f4e70f243bc9a006b68443
S: ee5c1d85271bb86d2c0bb2e943fc9f546e4321c1 redis-cluster-4.redis-cluster-service.default.svc.cluster.local:18504
   replicates 66390566e7f48211e8bed3a6a0e49155cbe8b54b
S: 541fa7cc95095c4b0390bb8ae9d787aa1201c9e2 redis-cluster-5.redis-cluster-service.default.svc.cluster.local:18504
   replicates 3b690009fb9a90ff6b43765363c4c0b81b63d103
Can I set the above configuration? (type 'yes' to accept): yes 	➡📍 ここで 'yes' を入力
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join

>>> Performing Cluster Check (using node redis-cluster-0.redis-cluster-service.default.svc.cluster.local:18504)
M: 66390566e7f48211e8bed3a6a0e49155cbe8b54b redis-cluster-0.redis-cluster-service.default.svc.cluster.local:18504
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
M: 02069ae6b4f98c31d5f4e70f243bc9a006b68443 10.42.0.235:18504
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
M: 3b690009fb9a90ff6b43765363c4c0b81b63d103 10.42.0.233:18504
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
S: 541fa7cc95095c4b0390bb8ae9d787aa1201c9e2 10.42.0.241:18504
   slots: (0 slots) slave
   replicates 3b690009fb9a90ff6b43765363c4c0b81b63d103
S: 3722046802e006615ac1d976e62e4c94c58af586 10.42.0.237:18504
   slots: (0 slots) slave
   replicates 02069ae6b4f98c31d5f4e70f243bc9a006b68443
S: ee5c1d85271bb86d2c0bb2e943fc9f546e4321c1 10.42.0.239:18504
   slots: (0 slots) slave
   replicates 66390566e7f48211e8bed3a6a0e49155cbe8b54b
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
📍 OK 成功！すべてのスロットが割り当てられた。 
[OK] All 16384 slots covered.

2) cluster info 照会

💻 Terminal

$ kubectl exec -it redis-cluster-0 -- redis-cli -a redisgate -p 18504 cluster info
cluster_state:ok	➡📍 ok: 異常なし
cluster_slots_assigned:16384	➡📍 割り当て済み総スロット数 assigned = ok + pfail + fail
cluster_slots_ok:16384  ➡📍 正常スロット数
cluster_slots_pfail:0	➡📍 Possible Fail(sdown) なし。特定ノードが応答せず障害が疑われる状態
cluster_slots_fail:0 ➡📍 Fail(odown) なし。過半数以上のマスターノードがそのノードを障害と判定。そのノードが持つスロット数が表示される。
cluster_known_nodes:6  ➡📍 全ノード(マスター+レプリカ)数
cluster_size:3  ➡📍 マスターノード数
... 以下省略 ...

3) cluster nodes 照会

便宜上、ノード(Node)順に表示しました。実際はランダムに出ます。
nodes.conf ファイルの内容と同じです。

💻 Terminal

$ kubectl exec -it redis-cluster-0 -- redis-cli -a redisgate -p 18504 cluster nodes
66390566e7f48211e8bed3a6a0e49155cbe8b54b 10.42.0.231:18504@28504,redis-cluster-0.redis-cluster-service.default.svc.cluster.local master - 0 1786164478296 1 connected 0-5460
3b690009fb9a90ff6b43765363c4c0b81b63d103 10.42.0.233:18504@28504,redis-cluster-1.redis-cluster-service.default.svc.cluster.local myself,master - 0 0 2 connected 5461-10922
02069ae6b4f98c31d5f4e70f243bc9a006b68443 10.42.0.235:18504@28504,redis-cluster-2.redis-cluster-service.default.svc.cluster.local master - 0 1786164478000 3 connected 10923-16383
3722046802e006615ac1d976e62e4c94c58af586 10.42.0.237:18504@28504,redis-cluster-3.redis-cluster-service.default.svc.cluster.local slave 02069ae6b4f98c31d5f4e70f243bc9a006b68443 0 1786164478000 3 connected
ee5c1d85271bb86d2c0bb2e943fc9f546e4321c1 10.42.0.239:18504@28504,redis-cluster-4.redis-cluster-service.default.svc.cluster.local slave 66390566e7f48211e8bed3a6a0e49155cbe8b54b 0 1786164479099 1 connected
541fa7cc95095c4b0390bb8ae9d787aa1201c9e2 10.42.0.241:18504@28504,redis-cluster-5.redis-cluster-service.default.svc.cluster.local slave 3b690009fb9a90ff6b43765363c4c0b81b63d103 0 1786164478000 2 connected

3. 🖧 Redis-Cluster ポッド(Pod) ダイアグラム

┌────────────────┐ ┌────────────────┐ ┌───────────────┐ │🟢Redis-0(231) │ │🟢Redis-1(233) │ │🟢Redis-2(235) │ │ Master-1 │ │ Master-2 │ │ Master-3 │ └──────┬─────────┘ └──────┬─────────┘ └──────┬────────┘ │ │ │ │ ┌──────────────────│────────────────────┘ │ │ └────────────────────┐ └──────────────────┐ │ │ │ │ ▼ ▼ ▼ ┌────────────────┐ ┌────────────────┐ ┌───────────────┐ │🟡Redis-3(237) │ │🟡Redis-4(239) │ │🟡Redis-5(241) │ │ Replica-1 │ │ Replica-2 │ │ Replica-3 │ └────────────────┘ └────────────────┘ └───────────────┘

4. 💽 データ入力

Failover(障害対応)テストをしようとして Redis-0 ポッド(Pod)をダウン(削除)すると、2秒以内に redis-0 ポッド(Pod)が復活します。 cluster-node-timeout が3秒なので Redis-0 のダウンを検知できません。そこでデータを約1千万件入力して、5秒以上かかるようにします。

💻 Terminal

$ kubectl exec -it redis-cluster-1 -- redis-benchmark -p 18504 -a redisgate -t set -d 100 -r 100000000 -n 10000000 --cluster   
Cluster has 3 master nodes:
Master 0: 66390566e7f48211e8bed3a6a0e49155cbe8b54b 10.42.0.231:18504
Master 1: 3b690009fb9a90ff6b43765363c4c0b81b63d103 10.42.0.233:18504
Master 2: 02069ae6b4f98c31d5f4e70f243bc9a006b68443 10.42.0.235:18504

====== SET ======                                                     
  10000000 requests completed in 59.01 seconds
  50 parallel clients
  100 bytes payload
  cluster mode: yes (3 masters)

Summary:
  throughput summary: 169462.81 requests per second
  latency summary (msec):
          avg       min       p50       p95       p99       max
        0.243     0.048     0.239     0.367     0.487    12.383

1) データ入力の確認

① 各ノード(Node)のキー確認: dbsize

💻 Terminal

$ kubectl exec -it redis-cluster-0 -- redis-cli -p 18504 -a redisgate dbsize -> 3053053
$ kubectl exec -it redis-cluster-1 -- redis-cli -p 18504 -a redisgate dbsize -> 3241431
$ kubectl exec -it redis-cluster-2 -- redis-cli -p 18504 -a redisgate dbsize -> 3107105

② AOF ファイルサイズの確認

💻 Terminal

[root]$ chmod 755 /var/lib/rancher/k3s/storage -> redis user も読み取り(read)できるように root で実行 
[storage]$ ls -lh pvc*/aof
pvc-8f6..._default_redis-data-redis-cluster-0/aof:	->  877M aof.1.incr.aof
pvc-cbf..._default_redis-data-redis-cluster-1/aof:	-> 1011M aof.1.incr.aof
pvc-f9d..._default_redis-data-redis-cluster-2/aof:	->  887M aof.1.incr.aof
pvc-37e..._default_redis-data-redis-cluster-3/aof:	->  887M aof.2.incr.aof
pvc-63a..._default_redis-data-redis-cluster-4/aof:	->  877M aof.2.incr.aof
pvc-0ff..._default_redis-data-redis-cluster-5/aof:	-> 1011M aof.2.incr.aof

③ メモリ確認

💻 Terminal

$ kubectl top pod
NAME              CPU(cores)   MEMORY(bytes)   
redis-cluster-0   2m           672Mi
redis-cluster-1   3m           701Mi
redis-cluster-2   3m           679Mi
redis-cluster-3   2m           678Mi
redis-cluster-4   2m           670Mi
redis-cluster-5   2m           701Mi

➡ ポッド(Pod)も生成し、データも入力したので、Failover(障害対応)テストに行きましょう。

<< K8s Redis-Cluster 準備 ①	K8s Redis-Cluster テスト ③ >>

Email 返事がかかってなれば、メールでお知らせします。

クバネティス(Kubernetes) 環境で Redis-Cluster 構築 実戦ガイド ②

構築(ポッド(Pod) 生成)

1. YAML ファイルの順次適用(生成)

1) Config 生成

2) Service 生成

3) Statefulset 生成

2. Redis-Cluster 構成

1) Redis-Cluster 構成スクリプトの作成、実行

🧑‍💻 主な内容の説明

🖧 Redis クラスタ構成(生成)過程

2) cluster info 照会

3) cluster nodes 照会

3. 🖧 Redis-Cluster ポッド(Pod) ダイアグラム

4. 💽 データ入力

1) データ入力の確認

クバネティス(Kubernetes) 環境で Redis-Cluster 構築実戦ガイド ②