Redis初识

安装与应用

切切实进行使:

  • 服务端启动:将下令 redis-server.exe
    redis.windows.conf 写入 .bat 文件,间接运行 StartWithConf.bat 启动服务端;
  • 客户端启动:直接运行 redis-cli.exe 即可;

    redis.windows.conf:配置文件
    redis-benchmark.exe:Redis读写性能测试工具
    redis-check-aof.exe:aof修复检查日志
    redis-check-dump.exe:dump检查数据库文件
    redis-cli.exe:Redis客户端程序
    redis-server.exe:Redis服务器程序
    StartWithConf.bat:启动Redis

部署文件

redis.windows.conf

Redis服务端的运作参数全部靠配置文件落实,此处详细介绍Redis配置文件的多少个举足轻重参数:

network

  • bind 127.0.0.1:绑定地址(外网连接:0.0.0.0)  
  • port 6379:默认绑定本机的6379端口;
  • timeout:连接超时时间(秒)
  • requirepass pass:配置redis连接认证密码

general

  • loglevel
    debug/notice/warning/verbose:日志级别(开发测试/生产环境/只记录警告错误新闻/详细音讯)
  • logfile
    ./Logs/redis_log.txt:日志文件保留路径
  • databases 16:数据库数量,默认0

snapshotting

  • save TimeInterval ChangeCnt

append only mode

  • appendonly yes:开启命令日志形式;

limits

  • maxclients 64:最亚松森接数,0为不限量
  • maxmemory <bytes>:内存清理临界值
  • maxmemory-policy
    volatile-lru:内存清理采纳的默认策略,对设置过期时间的key举办LRU算法删除

服务命令

ping:启动服务连接情况
info:查看server/client配置信息
info commandstats + config resetstat:显示/清除名次调用统计信息
config get/set:获取/设置配信息
flushdb/flushall:删除当前所选/所有数据库中的所有key
save/bgsave:数据保存到硬盘/异步保存
lastsave: 上次成功保存到磁盘的unix时间戳
dbsize:查看所有key的数目 
get/set和mget/mset:获取/设置键
incr/decr和incrby/decrby:自增/自减
exists/type key:键key是否存在/键类型
expire key secondTime:设置键的过期时间
rename oldKey newKey:重命名
ttl key:键key的剩余存活时间
select db_index:选择数据库
move key db_index:将键key移动到指定数据库

基本概念

Redis是百里挑一的NoSQL数据库服务器,其License是Apache
License、完全免费。首先看下内存数据库的基本概念:

内存数据库

In-Memory DataBase,以内存为机要存储介质的数量库.

  • 享有的表及索引在内存中、消除I/O瓶颈,为访问内存设计最佳访问方法和目录形式,读写速度快、性能好;
  • 内存数据库的容量大小受物理内存的范围;
  • 安全性问题是硬伤,帮忙遵照政策与磁盘数据库进行多少同步,以及数据库的可靠性苏醒机制;

Redis

REmote DIctionary Server(远程字典服务),远程内存数据库(Memory Database + Data Structure
Server),开源的应用ANSI-C语言编写、协理网络、可遵照内存亦可持久化的日志型、高性能的key-value数据库,Redis不约定义且不使用表,适应高并发、海量数据存储场景。

  • A persistent key-value database with built-in net interface
    written in ANSI-C for Posix systems.
  • Redis is an open source, BSD licensed, advanced key-value cache
    and store.

下边是Redis扶助的5连串型数据结构的其中图解(图一):

图片 1

redisObject对象是Redis内部的着力目标,用于表示拥有的key和value。

typedef struct redisObject {
    unsigned type:4;  // 数据类型
    unsigned encoding:4;  // 编码方式
    unsigned lru:REDIS_LRU_BITS;   /* lru time (relative to server.lruclock) */
    int refcount;   // 对象的引用计数
    void *ptr;   // 指向真正的存储结构
} robj;

其中,REDIS_LRU_BITS表示当内存超限时采纳LRU算法清除内存中的靶子。redisObject对象的创造在object.c文件中:

robj *createObject(int type, void *ptr) {
    robj *o = zmalloc(sizeof(*o));
    o->type = type;
    o->encoding = OBJ_ENCODING_RAW;
    o->ptr = ptr;
    o->refcount = 1;

    /* Set the LRU to the current lruclock (minutes resolution). */
    o->lru = LRU_CLOCK();
    return o;
}    

Redis的键类型为string,值类型协助:

  •  字符串:string
  •  列表:list
  •  集合:set
  •  有序集合:zset (SortedSet)
  •  散列:hash

具体内存结构示意图(图二):

图片 2

参考:Redis数据库入门教程; Redis学习笔记

特点

  • 方方面面数据In-Momory,作为Memcached的替代者;
  • key-value存储系统(Key:数据检索的唯一标识、Value:数据存储的紧要目的),扶助多系列型的value(数据结构服务器);
  • redis的起点是cache,缓存,高速缓存;
  • 数据存储于内存中或被安排为运用虚拟内存;
  • 持久化特性(Persistence):可以持久化到磁盘(周期性把改进数据写入磁盘或把修改操作追加写入记录文件);
  • 主从复制特性(Master/Slave
    Replication):负载均衡,扩展读性能;
  • 客户端分片(Client-Side
    Sharding):数据划分为四个部分,扩充写性能,线性级其余性质提高;
  • 补助各个不同形式的排序;
  • 支撑简单的作业(仅实现一回性执行多条命令的法力,不扶助回滚);
  • 帮助设置数据过期时间;

内存优化

  • string和数字:Redis内部维护一个数字池,可以省去存储空间,默认 REDIS_SHARED_INTEGERS = 10000 
  • 复杂类型的存储优化:Redis内部使用紧凑格式存储数据(适合集合包含的Entry不多并且每个Entry包含的Value不是很长的意况),遍历复杂度下降为O(n)、但节省存储空间。以ZIPMap的数据结构为例:

  图片 3

 
其中,字段free用于冗余空间,空间换时间、一定情状下防止插入操作引起的扩容操作。

  • list、set、hash采用非凡规编码,优化存储空间;
  • byte、bit级其余操作:getrange/setrange、getbit/setbit以及bitmap高效存储;

Redis .vs.
Memcached

  • 双方均是高性能键值缓存服务器,Memcached只提供数据缓存服务,Redis提供数据缓存和持久化;
  • Memcached:多线程服务器;Redis:单线程服务器,部分性能通过多线程实现;
  • Memcached只协理一般字符串键;Redis提供充裕的数目存储结构,同时帮助主数据库(Primary
    Database)+ 协理数据库(Auxiliary Database)使用;
  • Memcached:预分配内存池形式,Redis:现场申请内存的形式存储数据、且可以安排虚拟内存

数据类型

string

图片 4

list

双向链表、允许再次,帮助lpush/rpush和lpop/rpop;实现音讯队列等;

图片 5

set

不允许再度,内部是哈希表实现、查找/删除/插入均O(1); 集合提供SINTER、SUNION、SDIFF分别匡助交集、并集、差集操作。

图片 6

hash

键值对(父键+子键:值)。存储键key的五个属性数据,完全可以用Json格式存储、间接作为string类型操作,但对性能有影响,所以Redis提议Hash类型。

图片 7 

正如,图一是普通的key/value结构,需要封装一个对象保存value的音信;图二是Redis的Hash类型:

图片 8

zset

稳步键值对(父键+成员:分值),键值对实际是成员和分值(Member-Score)的投射关系(字符串成员member与浮点数分值score之间的雷打不动映射,按分值大小排序),分值必须为浮点数; 既能够遵照成员访问元素(同散列),又有何不可依照分值按序访问元素结构。

图片 9

持久化

内存提供主存储帮忙、硬盘作持久性存储。默认开启RDB形式,默认优先加载AOF文件。一回性将数据加载到内存中,一回性预热。

问题:当服务器被关闭时,服务器内存存储的多中校何去何从?

RDB .vs. AOF

  • RDB方式二进制形式存储数据,文件较小且格式紧凑(RDB文件的积存格式和Redis数据在内存中的编码格式一致)、加载速度快;AOF格局文本文件增添写操作命令,文件较大、信息冗余,加载速度慢,但rewrite命令会压缩aof文件;
  • RDB模式按部署的save策略实现定期批量数额存储、效率相对较高;AOF格局准实时日志记录、效用相对较低;
  • 相相比RDB形式,AOF模式可靠性较高、最少的数据丢失和较高的数据复苏能力;

不重启Redis从RDB情势切换来AOF情势

redis-cli> config set appendonly yes:启用AOF
redis-cli> config set save "":关闭RDB

参考:Redis数据持久化; Redis作者:深度剖析Redis持久化

RDB

半持久化形式(快照情势:File-Snap-Shotting,即时间点转储:Point-in-提姆e Dump),Redis
DataBase
,将数据先存储在内存,当直接调用save/bgsave命令时或数额修改满意设置的save条件时触发bgsave操作,将内存数据一次性写入RDB文件。相比相符灾难苏醒(Disaster
Recovery),若Redis至极crash,如今的数量会丢掉。

rdbcompression yes:创建快照时对数据进行压缩  
dbfilename dump.rdb:快照名称
dir ./saveFile/:快照保存路径(AOF文件存放目录)

原理Copy-on-Write(写时复制)技术

  • Redis forks;
  • 子进程将数据写到临时RDB文件中;
  • 当子进程完成写RDB文件,用新文件替换旧文件;

该原理保证其他时候复制RDB文件都是纯属安全的。

AOF

全持久化形式(日志情势),Append-Only-File,将数据存在内存,同时调用fsync将此次写操作命令举行日志记录到aof文件,基于Redis网络交互协议的由Redis标准命令组成的可识其余纯文本文件,只允许扩展不容许改写。

写策略:默认并推荐 appendfsync everysec ,速度和六盘水兼顾。

  • appendfsync always:每提交一个修改命令调用fsync刷新到AOF文件,非凡慢、但要命安全;
  • appendfsync everysec:每秒调用fsync刷新到AOF文件,很快、但也许会丢掉一秒之内的数目;
  • appendfsync no:依靠OS被动刷新、redis不主动刷新AOF,最快、但安全性差;

AOF最要害的布局就是有关调用fsync追加日志文件持久化数据的效用。磁盘空间满、断电等气象不会影响日志的完整性和可用性。

保存:支持2种方式

  • 调用flushaofbuf,把aof_buf中的命令写入aof文件,再清空aof_buf,进入下四回loop;

    sds aof_buf; / AOF buffer, written before entering the event loop /

  • aof_rewrite:依照现有的数据库数据反向生成命令,然后把命令写入aof文件中;

加载

fakeClient = createFakeClient();   // 创建伪客户端
while(命令不为空) {
   // 获取一条命令的参数信息 argc, argv
      . . . 
   // 执行
   fakeClient->argc = argc;
   fakeClient->argv = argv;
   cmd->proc(fakeClient);
}

AOF重写

bgrewriteAOF,重新生成一份AOF文件,新的AOF文件只包含对相同个值的一再操作的最后一条记下(可以还原数据的矮小指令集),过程和RDB类似(Copy-on-Write机制):

  • fork一个子过程,直接遍历旧的AOF文件,将数据写入新的AOF临时文件;
  • 在写新文件过程中,所有的新的写操作日志记录在内存缓冲区中、同时会写入到原有的AOF文件中;
  • 做到写新文件操作后,发出信号公告父进程将内存缓冲区中的写指令四次性追加到临时AOF文件中;
  • 扩张完毕,Redis将暂时AOF文件作为新AOF文件替代旧AOF文件(调用原子性的rename命令用新的AOF文件替代老的AOF文件); 

当同时满意以下2个标准时触发rewrite操作:

auto-aof-rewrite-percentage 100  // 当前写入日志文件的大小占到初始日志文件大小的某个百分比时触发rewrite
auto-aof-rewrite-min-size 64mb   // 本次Rewrite最小的写入数据量

小心,bgrewriteaof和bgsave不可能而且举办,避免五个Redis后台过程同时对磁盘实行大气的I/O操作。

修复

Redis提供 redis-check-aof.exe 工具襄助日志修复功效:

  • 备份坏的AOF文件;
  • 运转redis-check-aof
    –fix修复坏的AOF文件;
  • 用diff
    -u比较多个公文的歧异,确认问题点;
  • 重启Redis,加载修复后的AOF文件;

主旨机制

master-slave,为了进步持久化机制,在持久化基础上Redis提供复制功效:将一个主服务器(master)数据自动同步到三个从服务器(slave),实现主旨同步:

  • 纯粹的冗余备份
  • 升级读性能

具体地:

  • 起步从服务器,先向主服务器发送SYNC命令;
  • 主服务器收到SYNC命令后fork子进程始起保存快照,期间有所发给主服务器的一声令下都会被缓存到内存;
  • 快照保存完成后,主服务器把快照和缓存的指令全部发送给从服务器;

  • 从服务器保存收到的快照文件并加载到内存中,然后依次执行收到的缓存命令;

在着力同步过程中(异步实现),从服务器不会堵塞,期间默认使用同步以前的数额持续响应客户端命令。主从机制匡助增量同步策略,降低连接断开的还原资本。

实际使用中一般是:Redis+MySQL

图片 10

发表订阅机制

publish-subscribe,观望者格局,订阅者(Subscriber)订阅频道(Channel),宣布者(Publisher)将音信发到指定频道(Channel),通过这种措施将音信的发送者和接收者解耦,可以兑现四个浏览器之间的音信同步和实时更新。

图片 11

  • 音信的传递是多对多的;
  • 支撑形式匹配;
  • 运行稳定、急忙;

    publish myChannel “xxx”:发表
    subscribe myChannel:订阅
    unsubscribe myChannel:撤消订阅

Redis的Pub/Sub形式允许动态的Subscribe/Unsubscribe,提升系统的油滑和可扩大性。  

其他

排序

问题:数据库匡助排序,为何要把排序功用放在缓存中实现?

  • 排序会扩展数据库的负载,难以支撑高并发的利用;
  • 在缓存中排序不会碰到表锁定的题目;

    sort key [BY pattern] [LIMIT offset cnt] [GET pattern [GET pattern …]] [asc | desc] [ALPHA] [STORE destination]

  • by:即order by,指定排序字段,by
    *->子键名;

  • limit:限制排序后回来元素的数码,表示跳过前offset个因素、再次回到之后的连天cnt个要素,可以实现分页功能;
  • get:再次回到指定的字段值,get
    *->子键名;
  • store:将排序结果存入指定地点;  

事务

Transaction。

  • multi:原子操作,通告Redis,接下去的多少发令属于同一业务;
  • 输入若干下令,存储在命令队列中而不会被当即实施;
  • exec:原子操作,公告Redis,属于同一业务的兼具命令输入完成,起始执行工作;

管道

pipilining,允许Redis一遍性接收多少个指令、执行后一遍性重返结果,减弱客户端与Redis服务器的通信次数、降低往返时延。类似事情,通过原子操作multi/exec完成。

先行级队列

blpop/brpop。

使用场景

率先,将Redis与SQL Server/MySQL等相比一下:

  • Redis的持久化是增大效用,且其flushdb、flushall命令会直接清空数据库,
    SQL Server/MySQL的持久化是主导效用;
  • Redis全量持久数据从内存到磁盘、大数量下影响属性,SQL
    Server/MySQL增量持久化被涂改的数据;

利用场景

 - 在主页中显示最新的项目列表;
 - 删除和过滤:lrem;
 - 排行榜(Leader Board)及相关问题;
 - 按照用户投票和时间排序;
 - 过期项目处理:unix时间作为得分;
 - 计数(Counting Stuff):INCR,DECR命令构建计数器系统;
 - 特定时间内的特定项目:Redis特色特性;
 - 实时分析正在发生的情况,用于数据统计与防止垃圾邮件等;
 - Pub/Sub:发布订阅机制;
 - 队列(Priority Queue);
 - 缓存(Caching);  

接下来交由使用Redis中的几点注意事项:

  • keys * —>  scan
  • 指出利用hash
  • expire安装key的现有时间 + volatile-lru策略;
  • Redis所在机械物理内存使用最好不用跨越实际内存总量的3/5;

以及经过阅读 ALCA in
Redis-land
 得到的提出:

图片 12

参考:Redis应用场景; Redis作者谈Redis应用场景; Redis应用指出

Redis for C#

初识Redis时接触到的.Net-Redis组件是ServiceStack.Redis,其V3体系的风行版本是:ServiceStack.Redis.3.9.29.0

ServiceStack.Redis

ServiceStack.Common.dll
ServiceStack.Interfaces.dll
ServiceStack.Redis.dll
ServiceStack.Text.dll

摸底RedisClient类的现实新闻:

  • 基本操作

    public void Init();
    public bool ContainsKey(string key);
    public bool Remove(string key);
    public void RemoveByPattern(string pattern);
    public void RemoveByRegex(string pattern);
    public IEnumerable GetKeysByPattern(string pattern);
    public List SearchKeys(string pattern);
    public List GetAllKeys(); // 数据库内的所有键(慎用)
    public string GetRandomKey();
    public T Get(string key);
    public IRedisTypedClient As(); // / 重要 /
    public bool Add(string key, T value [, DateTime expiresAt]); // [设置过期时间]
    public bool Add(string key, T value [, TimeSpan expiresIn]);
    public bool Set(string key, T value [, DateTime expiresAt]); // [设置过期时间]
    public bool Set(string key, T value [, 提姆eSpan expiresIn]);
    public bool ExpireEntryAt(string key, Date提姆e expireAt); // 设置过期时间
    public bool ExpireEntryIn(string key, 提姆(Tim)eSpan expireIn);
    public 提姆eSpan Get提姆eToLive(string key); // TTL时间
    public long DecrementValue(string key); // 减
    public long DecrementValueBy(string key, int count);
    public long IncrementValue(string key); // 增
    public long IncrementValueBy(string key, int count);

  • string

    public long GetStringCount(string key);
    public string GetValue(string key);
    public void SetValue(string key, string value [, TimeSpan expireIn]);
    public void RenameKey(string fromName, string toName);
    public int AppendToValue(string key, string value);
    public string GetAndSetValue(string key, string value);
    public string GetSubstring(string key, int fromIndex, int toIndex);
    public List GetValues(List keys);
    public Dictionary GetValuesMap(List keys);

  • List  

    // 基本操作
    public int GetListCount(string listId);
    public int RemoveItemFromList(string listId, string value);
    public string RemoveStart/End/AllFromList(string listId);
    public void SetItemInList(string listId, int listIndex, string value);
    public void AddItemToList(string listId, string value);
    public void AddRangeToList(string listId, List values);
    public List GetAllItemsFromList(string listId);
    public string GetItemFromList(string listId, int listIndex);
    public List GetRangeFromList(string listId, int startingFrom, int endingAt);
    public List GetRangeFromSortedList(string listId, int startingFrom, int endingAt);
    public List GetSortedItemsFromList(string listId, SortOptions sortOptions);
    public List GetValues(List keys);
    public Dictionary GetValuesMap(List keys);
    // List作为队列
    public void EnqueueItemOnList(string listId, string value);
    public string DequeueItemFromList(string listId);
    // List作为栈
    public void PushItemToList(string listId, string value);
    public string PopItemFromList(string listId);
    public string PopAndPushItemBetweenLists(string fromListId, string toListId);

  • Set

    public int GetSetCount(string setId);
    public bool SetContainsItem(string setId, string item);
    public void RemoveItemFromSet(string setId, string item);
    public void AddItemToSet(string setId, string item);
    public void AddRangeToSet(string setId, List items);
    public HashSet GetAllItemsFromSet(string setId);
    public string GetRandomItemFromSet(string setId);
    public List GetSortedEntryValues(string setId, int startingFrom, int endingAt);
    public HashSet GetDifferencesFromSet(string fromSetId, params string[] withSetIds);
    public HashSet GetIntersectFromSets(params string[] setIds);
    public HashSet GetUnionFromSets(params string[] setIds);
    public void StoreDifferencesFromSet(string intoSetId, string fromSetId, params string[] withSetIds);
    public void StoreIntersectFromSets(string intoSetId, params string[] setIds);
    public void StoreUnionFromSets(string intoSetId, params string[] setIds);
    public void MoveBetweenSets(string fromSetId, string toSetId, string item);
    public string PopItemFromSet(string setId); 

  • Hash

    public int GetHashCount(string hashId);
    public bool HashContainsEntry(string hashId, string key);
    public bool RemoveEntryFromHash(string hashId, string key);
    public bool SetEntryInHash(string hashId, string key, string value);
    public List GetHashKeys(string hashId);
    public List GetHashValues(string hashId);
    public Dictionary GetAllEntriesFromHash(string hashId);
    public string GetValueFromHash(string hashId, string key);
    public List GetValuesFromHash(string hashId, params string[] keys);
    public T GetFromHash(object id);

  • SortedSet(zset)

    public int GetSortedSetCount(string setId);
    public bool SortedSetContainsItem(string setId, string value);
    public bool RemoveItemFromSortedSet(string setId, string value);
    public bool AddItemToSortedSet(string setId, string value [, double score]);
    public bool AddRangeToSortedSet(string setId, List values [, double score]);
    public List GetRangeFromSortedSet(string setId, int fromRank, int toRank);
    public IDictionary GetRangeWithScoresFromSortedSet(string setId, int fromRank, int toRank);
    public List GetAllItemsFromSortedSetDesc;
    public IDictionary GetAllWithScoresFromSortedSet(string setId);

个中,方法 public IRedisTypedClient<T>
As<T>(); 搭配接口 public interface
IRedisTypedClient<T> : IEntityStore<T>{} 和
public interface IEntityStore<T>{}
中提供的措施能够形成各类操作。

在V3.0版本的基本功上,其V4.0版本 ServiceStack.Redis-4.0.52 提供了更多的方法:

  • Scan方法;
  • 赢得设置配置消息;
  • 支持Lua脚本; 

    public RedisText Custom(params object[] cmdWithArgs); // 执行命令
    public RedisClient CloneClient();
    public string GetClient();
    public void SetClient(string name);
    public void KillClient(string address);
    public void ChangeDb(long db);
    public Date提姆e GetServer提姆(Tim)e();
    public Date提姆e ConvertToServerDate(Date提姆(Tim)e expiresAt);
    public List> GetClientsInfo();
    public string GetConfig(string configItem);
    public void SetConfig(string configItem, string value);
    public void SaveConfig();
    public void ResetInfoStats();

其中,Custom()方法可以进行绝大多数的Redis命令,瑟维斯(Service)(Service)Stack.Redis.Commands概念命令,用于Custom()方法的第一个参数:

public static class Commands{   
        public static readonly byte[] CommandName;
}   

参考

StackExchange.Redis

出于ServiceStack.Redis的V4.0版本商业化开首收费,推荐应用:StackExchange.Redis

StackExchange.Redis是专为.Net/C#的Redis客户端API,目前被StackOverFlow使用、微软官方RedisSessionStateProvider也运用StackExchange.Redis实现。

StackExchange.Redis的骨干是ConnectionMultiplexer类(线程安全),在命名空间StackExchange.Redis中定义,封装了Redis服务的操作细节,该类的实例被全体应用程序域共享和任用。

ConnectionMultiplexer redisClient = ConnectionMultiplexer.Connect("localhost");
IDatabase db = redisClient .GetDatabase();

其基础和动用待学习…

参考

 


参考

相关文章