這年頭,你看到的東西未必就是你認(rèn)為的東西。一個(gè)mysql協(xié)議的后面,可能是tidb;一個(gè)linux機(jī)器后面,可能是一個(gè)精簡的docker;你覺得xjjdog是個(gè)女的,但可能ta自己也不太清楚;而當(dāng)你大呼php萬歲的時(shí)候,可能是研發(fā)人員和你開個(gè)玩笑,重寫了后綴,而后端用的卻是java。
大家都知道redis速度快,但它的容量和內(nèi)存容量有關(guān),很容易達(dá)到瓶頸。有些互聯(lián)網(wǎng)公司,直接使用redis作為后端數(shù)據(jù)庫(在下佩服)。當(dāng)業(yè)務(wù)量暴增,就面臨一個(gè)redis容量和價(jià)格的權(quán)衡問題。改業(yè)務(wù)代碼是來不及了,只好用一些持久化存儲(chǔ) ,來模擬redis的一些數(shù)據(jù)結(jié)構(gòu)。
redis支持近十種數(shù)據(jù)類型,最常用的有5種。string、hash、zset、set、list等。本文將針對幾種常見的數(shù)據(jù)結(jié)構(gòu),探討一下常用操作的模擬實(shí)現(xiàn)。
其實(shí),我們所需要開發(fā)的,就是一個(gè)redis代理proxy。redis的客戶端,連接上我們的代理之后,會(huì)進(jìn)行協(xié)議解析。解析出來的命令,將會(huì)被模擬,然后根據(jù)配置的路由,定位到相應(yīng)的mysql中。
也就是你所使用的redis,其實(shí)使用mysql來存儲(chǔ)數(shù)據(jù)的。沒有rdb,也沒有aof。
Redis是文本協(xié)議
redis是文本協(xié)議,協(xié)議名稱叫做RESP。RESP 是 Redis 序列化協(xié)議的簡寫。它是一種直觀的文本協(xié)議,優(yōu)勢在于實(shí)現(xiàn)異常簡單,解析性能極好。
如圖,Redis 協(xié)議將傳輸?shù)慕Y(jié)構(gòu)數(shù)據(jù),可以總結(jié)為 5 種最小單元類型。每個(gè)單元結(jié)束時(shí),統(tǒng)一加上回車換行符號(hào)/r/n 。
下面是幾個(gè)規(guī)則:
比如,下面這個(gè)就是數(shù)組[9,9,6]的報(bào)文。
所以這個(gè)協(xié)議的解析和拼裝,是非常簡單的。拿netty來說,就有codec-redis 模塊供我們使用。
實(shí)現(xiàn):數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)
在數(shù)據(jù)表的設(shè)計(jì)上,我們發(fā)現(xiàn),kv和hash在效率上沒有什么差別,因?yàn)樗軌蛑苯痈鶕?jù)key定位到。
反倒是zset,由于有排序的功能,造成了很多操作的執(zhí)行效率都不盡人意。
另外,由于我們不同的數(shù)據(jù)結(jié)構(gòu),是使用不同的表進(jìn)行存儲(chǔ)的。所以刪除操作,要在每張表上都執(zhí)行一遍。
kv設(shè)計(jì)
kv,即string,是redis里最基本的數(shù)據(jù)類型。一個(gè)key對應(yīng)一個(gè)value,string類型的值最大能存儲(chǔ)512MB。
設(shè)計(jì)專用的數(shù)據(jù)庫表rstore_kv,其中,rkey是主鍵。
set操作
get操作
del操作
exists操作
ttl操作
hash設(shè)計(jì)
hash 是一個(gè)鍵值(key=>value)對集合。hash 特別適合用于存儲(chǔ)對象。
設(shè)計(jì)專用的數(shù)據(jù)庫表rstore_hash,其中,rkey和hkey是聯(lián)合主鍵。
hset操作
hget操作
hgetall操作
hdel操作
del操作
hlen,hexists操作
ttl操作
zset設(shè)計(jì)
Redis zset 和 set 一樣也是string類型元素的集合,且不允許重復(fù)的成員。不同的是每個(gè)元素都會(huì)關(guān)聯(lián)一個(gè)double類型的分?jǐn)?shù)。redis正是通過分?jǐn)?shù)來為集合中的成員進(jìn)行從小到大的排序。它的底層結(jié)構(gòu)是跳躍表,效率特別高,但是會(huì)占用大量內(nèi)存。
設(shè)計(jì)專用的數(shù)據(jù)庫表rstore_zset,其中,rkey和member是聯(lián)合主鍵。
zadd操作
zscore操作
zrem操作
zcard,exists操作
zcount操作
zremrangebyscore操作
zrangebyscore操作
zrange操作
zrank操作
ttl操作
del操作
set設(shè)計(jì)
sadd操作
scard操作
sismember操作
smembers操作
srem操作
del操作
ttl操作
End
本篇文章僅僅模擬了常用數(shù)據(jù)結(jié)構(gòu)的常用功能,有很多很多功能是不支持的,比較明顯的就是分布式鎖setnx等。所以這個(gè)proxy層的開發(fā),要想做到ok,并不是那么簡單。
同時(shí),我們以一種模擬的視角,來看一下redis的數(shù)據(jù)結(jié)構(gòu),在關(guān)系型數(shù)據(jù)庫中的表現(xiàn)形式。這樣,更能夠加深我們對redis的認(rèn)識(shí),明白它存在的價(jià)值。
【責(zé)任編輯:武曉燕 TEL:(010)68476606】