Server

Redis RESP

Redis 内部構造教育 Redis Internel Course	Redis 定期点検/技術支援 Redis Technical Support	Redis エンタープライズサーバ Redis Enterprise Server

RESP (REdis Serialization Protocol)

개요

RESP(REdis Serialization Protocol)는 레디스 통신 프로토콜(포멧) 이름입니다.
redis-cli, 마스터-복제간 통신, redis client library(lettuce, jedis)가 이 프로토콜에 따라 통신합니다.

버전

RESP는 버전 2와 3이 있는데, RESP 버전 2는 레디스의 기본 출력 프로토콜입니다. 레디스 6.x 부터는 RESP 버전 3을 선택해서 사용할 수 있습니다.
RESP 3는 2018년 5월 부터 시작해서 2019년에 개발이 완료되었고, 2020년 4월에 발표된 레디스 6에 적용되었습니다.
RESP 3를 사용하려면 hello 3 명령을 실행해야 하고, 접속 컨텍션(connection)별로 적용됩니다.

RESP 버전 2

프로토콜(포멧)

다섯 가지 포멧으로 구성됩니다.

status: 구분자 + 특수문자가 포함되지 않는 일반 문자열을 표시할 때 사용한다.
포멧: +<String><CR><LF> 예) OK
error: 구분자 - 특수문자가 포함되지 않는 에러 문자열을 표시할 때 사용한다.
포멧: -<ERR msg><CR><LF> 예) ERR no such key
integer: 구분자 : 정수를 표시할 때 사용한다.
포멧: :<1234><CR><LF> 예) 1234
사용하는 명령: llen, scard
bulk: 구분자 $ 특수문자가 포함된 문자열을 표시할 때 사용한다.
포멧: $11<CR><LF><hello world><CR><LF>
값(value)를 표시할 때 사용하고, 실수(double)도 이것을 사용한다.
사용하는 명령: get, hget, 등
multibulk: 구분자 * 배열을 표시할 때 사용한다.
포멧: *10<CR><LF>
*3<CR><LF> $6<CR><LF>value1<CR><LF> $6<CR><LF>value2<CR><LF> $7<CR><LF>value10<CR><LF>
사용하는 명령: mget, lrange, smembers, zrange, hgetall, 등

RESP 버전 3

개발 배경

RESP 2에서 부족한 점

정수(integer)와 실수(floating point number)의 구분이 없습니다.
정수는 ':'로 구분했지만, 실수는 bulk('$') 문자열을 사용했습니다.
불린(boolean, 참 거짓)을 명시적으로 표현하는 방법이 없었습니다.
그래서 1/0로 대신 했습니다.
널(null)도 구분 방법이 없어서 bulk $-1을 사용했습니다.
JAVA같은 프로그래밍 언어에서 제공하는 array, set, map을 따로 구분하지 않고 모두 multibulk(array)를 사용했습니다.
레디스 데이터 타입과 대응해보면 List -> array, Set -> set, Hash -> map에 해당합니다.
그리고 status(+), error(-) 같은 메시지도 CR, LF 같은 특수문자를 포함할 필요도 발생했습니다.

이런 부족한 부분을 개선하기 위해서 RESP 3를 개발하게 되었습니다.

프로토콜(포멧) - 일반 데이터 타입

Simple string: '+' v2 status
특수문자가 포함되지 않는 일반 문자열을 표시할 때 사용한다.
포멧: +String<CR><LF> +OK<CR><LF> -> OK
Simple error: '-' v2 error
특수문자가 포함되지 않는 에러 문자열을 표시할 때 사용한다.
포멧: -ERR msg<CR><LF> -ERR no such key<CR><LF> -> ERR no such key
Blob string: '$' v2 bulk
특수문자가 포함된 문자열을 표시할 때 사용한다. binary safe
포멧: $<length><CR><LF><String value><CR><LF>
$11<CR><LF>hello world<CR><LF> -> hello world
Blob error: '!'
특수문자가 포함된 문자열로 에러를 표시할 때 사용한다. binary safe
포멧: !<length><CR><LF><Error String><CR><LF>
!15<CR><LF>ERR no such key<CR><LF> -> ERR no such key
Number: ':' v2 integer
정수를 표시할 때 사용한다. 사용 명령: LLEN, SCARD, 등
포멧: :<number><CR<<LF>
:1234<CR><LF> -> 1234
Big number: '(' v2 bulk
큰 정수를 표시할 때 사용한다.
포멧: (<big number><CR><LF> (3492890328409238509324850943850943825024385<CR><LF>
Double: ',' v2 bulk
실수를 표시할 때 사용한다. ZSet의 스코어는 이 포멧을 사용한다.
포멧: ,<double><CR><LF> ,12.34<CR><LF> -> 12.34 ,inf<CR><LF> ,-inf<CR><LF>
Null: '_' v2 bulk "$-1\r\n"
널을 표시할 때 사용한다.
포멧: _<CR><LF> _<CR><LF> -> Null
Boolean: '#' v2 1/0
참/거짓을 표시할 때 사용한다.
포멧: #t<CR><LF> #f<CR><LF> #t<CR><LF> -> true
Verbatim string: '='
text를 그대로 출력할 때 사용
사용하는 명령: INFO, MEMORY, CLIENT, LATENCY, CLUSTER
포멧: =<length><CR><LF> txt:Some string <CR><LF> txt: plain text
포멧: =<length><CR><LF> mkd:Some string <CR><LF> mkd: markdown
mkd는 정의는 되어 있으나 아직 사용되지는 않는다. 위 명령은 모두 txt를 사용한다.

프로토콜(포멧) - 반복 지정

Array, Set, Map을 지정할 수 있습니다.

Array: *
반복을 지정할 때 사용한다. Array 안에 array를 또 지정할 수 있다.
포멧: *<length><CR><LF> v2 multibulk

List에서 사용 예 CLI> lrange mylist 0 -1 1) "AA" 2) "BBB" 3) "CCCC" *3<CR><LF> $2<CR><LF>AA<CR><LF> $3<CR><LF>BBB<CR><LF> $4<CR><LF>CCCC<CR><LF>

ZSet에서 사용 예 CLI> zrange myzset 0 -1 withscores 1) 1) "AAA" 2) (double) 12.34 2) 1) "BBB" 2) (double) 23.45 3) 1) "CCC" 2) (double) 200 *3<CR><LF> *2<CR><LF> $3<CR><LF>AAA<CR><LF> ,12.34<CR><LF> *2<CR><LF> $3<CR><LF>BBB<CR><LF> ,23.45<CR><LF> *2<CR><LF> $3<CR><LF>CCC<CR><LF> ,200<CR><LF>

레디스에서 아래와 같이 사용하는 경우는 없습니다만, 프로토콜 상으로는 가능합니다. [[1, "hello", 2], false] *2<CR><LF> *3<CR><LF> :1<CR><LF> $5<CR><LF>hello<CR><LF> :2<CR><LF> #f<CR><LF>
Set: ~
반복을 지정할 때 사용한다. 레디스 데이터 타입 Set에서 사용한다.
이 구분자로 데이터를 받으면 Java의 Set 컬렉션을 사용하면 된다.
포멧: ~<length><CR><LF> v2 multibulk

Set에서 사용 예: ~3 CLI> smembers myset 1) "AAA" 2) "BBB" 3) "CCC" ~3<CR><LF> $3<CR><LF>AAA<CR><LF> $3<CR><LF>BBB<CR><LF> $3<CR><LF>CCC<CR><LF>

레디스에서 아래와 같이 사용하는 경우는 없습니다만, 프로토콜 상으로는 가능합니다. ~5 ~5<CR><LF> +orange<CR><LF> +apple<CR><LF> #t<CR><LF> :100<CR><LF> :999<CR><LF>
Map: %
Map 반복을 지정할 때 사용한다. 레디스 데이터 타입 Hash에서 사용한다.
이 구분자로 데이터를 받으면 Java의 Map 컬렉션을 사용하면 된다.
포멧: %<length><CR><LF> v2 multibulk

Hash에서 사용 예: %2 CLI> hgetall myhash 1# "field1" => "value1" 2# "field2" => "value2" 3# "field3" => "value3" %3<CR><LF> $6<CR><LF>field1<CR><LF> $6<CR><LF>value1<CR><LF> $6<CR><LF>field2<CR><LF> $6<CR><LF>value2<CR><LF> $6<CR><LF>field3<CR><LF> $6<CR><LF>value3<CR><LF> 레디스에서 아래와 같이 사용하는 경우는 없습니다만, 프로토콜 상으로는 가능합니다. %2<CR><LF> +first<CR><LF> :1<CR><LF> +second<CR><LF> :2<CR><LF> 1) first => 1 2) second => 2

프로토콜(포멧) - 스트리밍(Streaming)

전체 데이터의 길이를 모를 경우 사용할 수 있습니다.
*, %, $ 다음에 '?'를 사용합니다.
*, %의 END 구분자는 .<CR><LF> 이고
$의 END 구분자는 ;0<CR><LF> 입니다.
레디스에서 실제 사용되지는 않습니다.

Array *? 사용 예 *?<CR><LF> :1<CR><LF> :2<CR><LF> :3<CR><LF> .<CR><LF>
Map %? 사용 예 %?<CR><LF> +a<CR><LF> :1<CR><LF> +b<CR><LF> :2<CR><LF> .<CR><LF>
Bulk $? 사용 예 $?<CR><LF> ;4<CR><LF> Hell<CR><LF> ;5<CR><LF> o wor<CR><LF> ;1<CR><LF> d<CR><LF> ;0<CR><LF>

RESP 버전 2 - Functions

공통

void addReply(client *c, robj *obj)
- addReply(c,shared.mbulkhdr[ll]); - "*%d\r\n"
- addReply(c,shared.bulkhdr[ll]); - "$%d\r\n"
- addReply(c,shared.nullbulk); - "$-1\r\n" --> RESP3: addReplyNull(c);
- addReply(c,shared.czero); - ":0\r\n"
- addReply(c,shared.cone); - ":1\r\n"
- addReply(c,shared.ok); - "+OK\r\n"
- addReply(c,shared.syntaxerr); "-ERR syntax error\r\n"
RESP2와 3에서 이름이 변경된 functions.
- void addReplyString(client *c, const char *s, size_t len) --> RESP3:
  void addReplyProto(client *c, const char *s, size_t len)
- void *addDeferredMultiBulkLength(client *c) --> RESP3:
  void *addReplyDeferredLen(client *c)
- void setDeferredMultiBulkLength(client *c, void *node, long length) --> RESP3:
  void setDeferredReply(client *c, void *node, const char *s, size_t length)
- void addReplyMultiBulkLen(client *c, long length) --> RESP3:
  void addReplyArrayLen(client *c, long length)
- void _addReplyStringToList(client *c, const char *s, size_t len) --> RESP3:
  void _addReplyProtoToList(client *c, const char *s, size_t len)

Status: 구분자 +

void addReplyStatus(client *c, const char *status)
void addReplyStatusLength(client *c, const char *s, size_t len)
void addReplyStatusFormat(client *c, const char *fmt, ...)

Error: 구분자 -

void addReplyError(client *c, const char *err)
void addReplyErrorLength(client *c, const char *s, size_t len)
void addReplyErrorFormat(client *c, const char *fmt, ...)

Integer: 구분자 :

void addReplyLongLong(client *c, long long ll)
void addReplyLongLongWithPrefix(client *c, long long ll, char prefix)

Bulk: 구분자 $

void addReplyString(client *c, const char *s, size_t len)
void addReplyBulk(client *c, robj *obj)
void addReplyBulkLen(client *c, robj *obj)
void addReplyBulkCBuffer(client *c, const void *p, size_t len)
void addReplyBulkSds(client *c, sds s)
void addReplyBulkCString(client *c, const char *s)
void addReplyBulkLongLong(client *c, long long ll)
void addReplySds(client *c, sds s)
void addReplyDouble(client *c, double d) - $%d\r\n%s\r\n
void addReplyHumanLongDouble(client *c, long double d)

Multibulk: 구분자 *

void addReplyMultiBulkLen(client *c, long length)
--> RESP3: addReplyArrayLen(client *c, long length)
void *addDeferredMultiBulkLength(client *c)
--> RESP3: addReplyDeferredLen(client *c)
void setDeferredMultiBulkLength(client *c, void *node, long length)
--> RESP3: setDeferredArrayLen(client *c, void *node, long length)

RESP 버전 3 - Functions

공통

void addReply(client *c, robj *obj)

Simple string: '+' v2 status

void addReplyStatus(client *c, const char *status)
void addReplyStatusLength(client *c, const char *s, size_t len)
void addReplyStatusFormat(client *c, const char *fmt, ...)

Simple error: '-' v2 error

void addReplyError(client *c, const char *err)
void addReplyErrorLength(client *c, const char *s, size_t len)
void addReplyErrorFormat(client *c, const char *fmt, ...)
void afterErrorReply(client *c, const char *s, size_t len)
void addReplyErrorObject(client *c, robj *err)
void addReplyErrorSds(client *c, sds err)

Blob string: '$' v2 bulk

void addReplyProto(client *c, const char *s, size_t len)
void addReplyBulk(client *c, robj *obj)
void addReplyBulkLen(client *c, robj *obj)
void addReplyBulkCBuffer(client *c, const void *p, size_t len)
void addReplyBulkSds(client *c, sds s)
void addReplyBulkCString(client *c, const char *s)
void addReplyBulkLongLong(client *c, long long ll)
void addReplySds(client *c, sds s)

Blob error: '!'

Blob error를 사용하는 function은 없다.

Number: ':' v2 integer

void addReplyLongLong(client *c, long long ll)
void addReplyLongLongWithPrefix(client *c, long long ll, char prefix)

Big number: '(' v2 bulk

void addReplyBigNum(client *c, const char* num, size_t len) - resp2 $, resp3 (

Double: ',' v2 bulk

void addReplyDouble(client *c, double d) - ,%.17g\r\n
void addReplyHumanLongDouble(client *c, long double d)

Null: '_' v2 bulk "$-1\r\n"

void addReplyNull(client *c) - resp2 "$-1\r\n", resp3 "_\r\n"

Boolean: '#' v2 1/0

void addReplyBool(client *c, int b) - resp2 shared.cone, shared.czero, resp3 "#t\r\n", "#f\r\n"

Verbatim string: '='

void addReplyVerbatim(client *c, const char *s, size_t len, const char *ext) - "=%zu\r\nxxx:" txt, mkd

Aggregate: *,~,%,|,>

void addReplyAggregateLen(client *c, long length, int prefix)
void setDeferredAggregateLen(client *c, void *node, long length, char prefix)

Array: *

void addReplyArrayLen(client *c, long length)
void *addReplyDeferredLen(client *c)
void setDeferredArrayLen(client *c, void *node, long length)

Set: ~

void addReplySetLen(client *c, long length) -> int prefix = c->resp == 2 ? '*' : '~';
void setDeferredSetLen(client *c, void *node, long length) int prefix = c->resp == 2 ? '*' : '~';

Map: %

void addReplyMapLen(client *c, long length) -> int prefix = c->resp == 2 ? '*' : '%';
void setDeferredMapLen(client *c, void *node, long length) int prefix = c->resp == 2 ? '*' : '%';

Attribute: |

void addReplyAttributeLen(client *c, long length) c->resp >= 3
void setDeferredAttributeLen(client *c, void *node, long length) -> '|' c->resp >= 3

Push: >

void addReplyPushLen(client *c, long length) c->resp >= 3
void setDeferredPushLen(client *c, void *node, long length) -> '>' c->resp >= 3

RESP 관련 소스: networking.c

RESP 개발자의 글

<< Stream	RESP

Email 返事がかかってなれば、メールでお知らせします。