教你个命令 KEYS *

KEYS 命令

Warning: consider KEYS as a command that should only be used in production environments with extreme care. It may ruin performance when it is executed against large databases. This command is intended for debugging and special operations, such as changing your keyspace layout. Don't use KEYS in your regular application code. If you're looking for a way to find keys in a subset of your keyspace, consider using sets.

上面是官方文档声明，KEYS命令不能用在生产的环境中，这个时候如果数量过大效率是十分低的。同时也不要用KEYS正则匹配，官方建议直接用集合类型。

`keys * wxdb（此处省略）cf8*`

这样的命令，导致redis锁住，导致CPU飙升，引起所有链路卡住，等十几秒结束后，所有的请求流量全部挤压到了rds数据库中，使数据库产生了雪崩效应，发生了数据库宕机事件。

一条铁律

在业内，redis开发规范中有一条铁律如下所示：线上Redis禁止使用Keys正则匹配操作！然而大家都知道，却一直忘记，所以事故会不断的发生。下面讲一讲在线上执行正则匹配操作，引起缓存雪崩，最终数据库宕机的原因。

分析原因

OK，先说两句废话：

redis是单线程的，其所有操作都是原子的，不会因并发产生数据异常；
使用高耗时的Redis命令是很危险的，会占用唯一的一个线程的大量处理时间，导致所有的请求都被拖慢。（例如时间复杂度为O(N)的KEYS命令，严格禁止在生产环境中使用）；

有上面两句作铺垫，原因就显而易见了！

运维人员进行keys *操作，该操作比较耗时，又因为redis是单线程的，所以redis被锁住；
此时QPS比较高，又来了几万个对redis的读写请求，因为redis被锁住，所以全部Hang在那；
因为太多线程Hang在那，CPU严重飙升，造成redis所在的服务器宕机；
所有的线程在redis那取不到数据，一瞬间全去数据库取数据，数据库就宕机了；

除了Flushdb这类和redis安全隐患有关的命令意外，但凡发现时间复杂度为O(N)的命令，都要慎重，不要在生产上随便使用。例如hgetall、lrange、smembers、zrange、sinter等命令，它们并非不能使用，但这些命令的时间复杂度都为O(N)，使用这些命令需要明确N的值，否则也会出现缓存宕机。

改良建议

Redis从2.8版本开始支持scan命令，SCAN命令的基本用法如下：

复杂度虽然也是 O(n)，通过游标分步进行不会阻塞线程;
有限制参数 COUNT ；
同 keys命令一样提供模式匹配功能;
服务器不需要为游标保存状态，游标的唯一状态就是 scan 返回给客户端的游标整数;

SCAN cursor [MATCH pattern] [COUNT count]
scan 命令提供三个参数，第一个是cursor，第二个是要匹配的正则，第三个是单次遍历的槽位
第一个遍历是 cursor 值为0，然后将返回结果的第一个整数作为下一个遍历的游标，如果最后返回的到cursor的值为0就代表结束。

127.0.0.1:6379> scan 0 MATCH tony*
1) "42"
2)  1) "tony25"
    2) "tony2519"
    3) "tony2529"
    4) "tony2510"
    5) "tony2523"
    6) "tony255"
    7) "tony2514"
    8) "tony256"
    9) "tony2511"
   10) "tony15"
127.0.0.1:6379> scan 42 MATCH tony* COUNT 1000
1) "0"
2)  1) "tony3513"
    2) "tony359"
    3) "tony4521"
    4) "tony356"
    5) "tony30"
    6) "tony320"
    7) "tony3"
    8) "tony312"

批量删除scan命令

因为KEYS命令的时间复杂度为O(n)，而SCAN命令会将遍历操作分解成m次，然后每次去执行，从而时间复杂度为O(1)。也解决使用keys命令遍历大量数据而导致Redis服务器阻塞的情况。所以建议使用下边的指令进行批量的删除操作：

redis-cli --scan --pattern "key前缀*" | xargs -L 1000 redis-cli del

顺便普及下xargs命令，这是Linux下的一个命令

xargs命令是给其他命令传递参数的一个过滤器，也是组合多个命令的一个工具。它擅长将标准输入数据转换成命令行参数，xargs能够处理管道或者stdin并将其转换成特定命令的命令参数。xargs也可以将单行或多行文本输入转换为其他格式，例如多行变单行，单行变多行。xargs的默认命令是echo，空格是默认定界符。这意味着通过管道传递给xargs的输入将会包含换行和空白，不过通过xargs的处理，换行和空白将被空格取代。xargs是构建单行命令的重要组件之一。