0%

Shell学习

1.流程控制

  • for
    使用格式如下:
    1
    2
    3
    4
    for loop in 1 2 3 4 5
    do
    echo "The value is: $loop"
    done
    其中需要循环的数据用空格分离开
  • while
    1
    2
    3
    4
    5
    6
    int=1
    while(( $int<=5 ))
    do
    echo $int
    let "int++"
    done
  • if/else
    以下实例判断两个变量是否相等:
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    a=10
    b=20
    if [ $a == $b ]
    then
    echo "a 等于 b"
    elif [ $a -gt $b ]
    then
    echo "a 大于 b"
    elif [ $a -lt $b ]
    then
    echo "a 小于 b"
    else
    echo "没有符合的条件"
    fi

2.数组

  • 数组定义
    1
    array_name=(value1 ... valuen)
    数组用括号来表示,元素用”空格”符号分割开
  • 读取数组
    1
    ${array_name[index]}
  • 数组长度
    1
    ${#my_array[*]}
  • 遍历数组
    1
    2
    3
    4
    5
    arr=(1 2 3 4 5)
    for var in ${arr[@]};
    do
    echo $var
    done
    循环输出
    1
    2
    3
    4
    5
    for j in $(seq 7000 7005)
    do
    echo $j
    done

3.函数

  • 函数传参
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    #/bin/sh
    function addslots()
    {
    for i in `seq $2 $3`;do
    src/redis-cli -p $1 cluster addslots $i
    done
    }
    case $1 in
    addslots)
    echo "add slots ..."
    addslots $2 $3 $4;
    ;;
    *)
    echo "Usage: inetpanel [addslots]"
    ;;
    esac

4.$0,$?,$!等的特殊用法

变量 说明
$$ Shell本身的PID(ProcessID)
$! Shell最后运行的后台Process的PID
$? 最后运行的命令的结束代码(返回值)
$- 使用Set命令设定的Flag一览
$* 所有参数列表。如”$*”用「”」括起来的情况、以”$1 $2 … $n”的形式输出所有参数。
$@ 所有参数列表。如”$@”用「”」括起来的情况、以”$1” “$2” … “$n” 的形式输出所有参数。
$# 添加到Shell的参数个数
$0 Shell本身的文件名
$1~$n 添加到Shell的各参数值。$1是第1参数、$2是第2参数…

5.变量判断

  • -n
    可以使用-n来判断一个string不是NULL值
    1
    2
    3
    if [ ! -f "/bin/redis-cli" ]; then 
    ln -s $LOGSTASH_HOME/bin/redis-cli /bin/redis-cli
    fi
  • -f
    可以使用-f来判断一个文件是否存在
    1
    2
    3
    4
    5
    PID=`cat logs/$confName.pid`
    if [ -n "$PID" ];then
    kill -9 $PID
    rm -f logs/$confName.pid
    fi
  • 更多
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    [ -f "$file" ] 判断$file是否是一个文件

    [ $a -lt 3 ] 判断$a的值是否小于3,同样-gt和-le分别表示大于或小于等于

    [ -x "$file" ] 判断$file是否存在且有可执行权限,同样-r测试文件可读性

    [ -n "$a" ] 判断变量$a是否有值(空),测试空串用-z

    [ -n $a ] 判断变量$a是否为null

    [ "$a" = "$b" ] 判断$a和$b的取值是否相等

    [ cond1 -a cond2 ] 判断cond1和cond2是否同时成立,-o表示cond1和cond2有一成立

6.写文件

  • 两种方式

两种方式:>重写>>追加

  • 写log
    1
    2
    3
    4
    5
    6
    7
    shell上:
    0表示标准输入
    1表示标准输出
    2表示标准错误输出
    > 默认为标准输出重定向,与 1> 相同
    2>&1 意思是把 标准错误输出 重定向到 标准输出.
    &>file 意思是把 标准输出 和 标准错误输出 都重定向到文件file中

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase访问接口如下:

  1. Native Java API,最常规和高效的访问方式,适合Hadoop MapReduce Job并行批处理HBase表数据
  2. HBase Shell,HBase的命令行工具,最简单的接口,适合HBase管理使用
  3. Thrift Gateway,利用Thrift序列化技术,支持C++,PHP,Python等多种语言,适合其他异构系统在线访问HBase表数据
  4. REST Gateway,支持REST 风格的Http API访问HBase, 解除了语言限制
  5. Pig,可以使用Pig Latin流式编程语言来操作HBase中的数据,和Hive类似,本质最终也是编译成MapReduce Job来处理HBase表数据,适合做数据统计
  6. Hive,当前Hive的Release版本尚没有加入对HBase的支持,在Hive 0.7.0中支持HBase,可以使用类似SQL语言来访问HBase
    本文针对HBase Shell,做一个详细讲解。
阅读全文 »

HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务,HBase利用Zookeeper作为对应。

阅读全文 »

Info信息


以下信息是在redis-cli中执行info命令,可能和redis cluster版本有点不同的地方,仅此作为参考。

阅读全文 »

内存淘汰


获取内存淘汰配置策略

1
127.0.0.1:6379>config get maxmemory-policy
  • volatile-lru:使用LRU算法从已设置过期时间的数据集合中淘汰数据。
  • volatile-ttl:从已设置过期时间的数据集合中挑选即将过期的数据淘汰。
  • volatile-random:从已设置过期时间的数据集合中随机挑选数据淘汰。
  • allkeys-lru:使用LRU算法从所有数据集合中淘汰数据。
  • allkeys-random:从数据集合中任意选择数据淘汰
  • no-enviction:禁止淘汰数据。

延时追踪及慢查询


Redis的延迟数据是无法从info信息中获取的。倘若想要查看延迟时间,可以用 Redis-cli工具加–latency参数运行,如:

1
Redis-cli --latency -h 127.0.0.1 -p 6379

结果为查询ID、发生时间、运行时长和原命令 默认10毫秒,默认只保留最后的128条。单线程的模型下,一个请求占掉10毫秒是件大事情,注意设置和显示的单位为微秒,注意这个时间是不包含网络延迟的。

1
127.0.0.1:6379>slowlog get

查看aof是否影响延迟,在info Stats中查看,数字代表有多少次fork延迟操作

1
2
latest_fork_usec:1724##单位微妙

查看最近一次fork延迟耗时

1
aof_delayed_fsync:0###被延迟的 fsync 调用数量

主从切换

在运维过程中,整体断电后,集群重启后,master与slave节点分布可能会出现变化,为了保证集群master分布均匀,可使用命令主动切换master.
在需要提升为master的节点执行以下命令

1
127.0.0.1:6379>cluster failover

指定slave数量

可在redis.conf中配置

1
cluster-migration-barrier 1

该参数指定slave最小数量为1,当前节点无法满足的话,会从别的节点漂移一个作为master的slave

Hbase学习

Hbase shell操作

一、建表

1.新建不带namespace表

1
create 'testTable','t1','t2'

2.新建带namespace表

  • 首先建一个namespace
    1
    create_namespace 'truman'
  • 其次再新建表
    1
    create_namespace 'truman:test','t1','t2'
    备注:t1,t2为column family
    1
    2
    create'reason:user_test','bs',{NUMREGIONS=>2,SPLITALGO=>'HexStringSplit'}

二、查表

  • 列出所有表
    1
    list
  • 浏览某个表
    1
    scan 'testTable'

三、数据操作

  • 增加数据
    1
    2
    3
    put 'testTable','row1','t1:name','value1'
    put 'testTable','row2','t1:name','value2'
    put 'testTable','row3','t1:name','value3'
  • 获取数据
    1
    get 'testTable','row1'
  • 删除数据
    1

其他

待完善

参考

1.https://hbase.apache.org/book.html

利用winscp与putty构建自动化部署

前言

在运维过程中,会经常遇到维护的机器很多,更新软件版本比较繁杂,在此借鉴winscp与putty支持脚本的功能之上,使用window bat命令实现在window平台便捷部署linux上的应用。

方案

上传文件

此处利用winscp。updateLoadScript.txt 具体操作代码如下:

1
2
3
4
5
6
7
option batch on 
option confirm off
open scp://root:12345678@192.168.*.**
put E:\deploy\tt.txt /data/projects/
close
exit

此处主要,要提前用winscp连接到相应主机上,猜测要从缓存中取一些东西

执行命令

此处利用 putty。 command.txt 具体命令如下:

1
2
3
4
5
6
7
export JAVA_HOME=/opt/jdk1.8.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
cd /data/projects/redis-client
./start.sh stop
./start.sh start
ps -ef|grep redis-client

bat文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
@echo off 
echo ===============================
echo deploy RedisClient app
echo ===============================
echo please input "y" to continue......
set /p input=
if "%input%"=="y" (
rem --打开控制台
call D:\WinSCP\WinSCP.exe /script=updateLoadScript.txt /log=upload_log.txt
call D:\WinSCP\PuTTY\putty.exe -ssh -pw 12345678 root@192.168.*.** -m command.txt
call D:\WinSCP\PuTTY\putty.exe -ssh -pw 12345678 root@192.168.*.** -m command.txt
echo deploy RedisClient successed!
) else echo Does not execute any command
pause

参考

  1. winscp 使用 http://www.5iadmin.com/post/1014.html

RedisCluster构建批量操作探讨

前言

众所周知,jedis仅支持redis standalone mset,mget等批量操作,在最新的redis cluster中是不支持的,这个和redis cluster的设计有关,将不同的实例划分不同的槽。不同的key会落到不同的槽上,所在的实例也就不同,这就对jedis的批量操作提出问题,即无法同时支持多个实例上的批量操作。(理解可能不是很深入,希望有人看到可以指教一下)

分布式储存产品存储方式

在分布式存储产品中,哈希存储与顺序存储是两种重要的数据存储和分布方式,这两种方式不同也直接决定了批量获取数据的不同,所以这里需要对这两种数据的分布式方式进行简要说明:

  1. hash分布:
    hash分布应用于大部分key-value系统中,例如memcache, redis-cluster, twemproxy,即使像MySQL在分库分表时候,也经常会用user%100这样的方式。
    hash分布的主要作用是将key均匀的分布到各个机器,所以它的一个特点就是数据分散度较高,实现方式通常是hash(key)得到的整数再和分布式节点的某台机器做映射,以redis-cluster为例子:

    问题:和业务没什么关系,不支持范围查询。
  2. 顺序分布
  3. 两种分布方式的比较:
分布方式 特点 典型产品
哈希分布 1. 数据分散度高
2.键值分布与业务无关
3.无法顺序访问
4.支持批量操作
一致性哈希memcache
redisCluster其他缓存产品
顺序分布 1.数据分散度易倾斜
2.键值分布与业务相关
3.可以顺序访问
4.支持批量操作
BigTable
Hbase

分布式缓存/存储四种Mget解决方案

1. IO的优化思路:

  • 命令本身的效率:例如sql优化,命令优化
  • 网络次数:减少通信次数
  • 降低接入成本:长连/连接池,NIO等。
  • IO访问合并:O(n)到O(1)过程:批量接口(mget),

2. 如果只考虑减少网络次数的话,mget会有如下模型:

3. 四种解决方案:

(1).串行mget

将Mget操作(n个key)拆分为逐次执行N次get操作, 很明显这种操作时间复杂度较高,它的操作时间=n次网络时间+n次命令时间,网络次数是n,很显然这种方案不是最优的,但是足够简单。

(2). 串行IO

将Mget操作(n个key),利用已知的hash函数算出key对应的节点,这样就可以得到一个这样的关系:Map<node, somekeys>,也就是每个节点对应的一些keys 。它的操作时间=node次网络时间+n次命令时间,网络次数是node的个数,很明显这种方案比第一种要好很多,但是如果节点数足够多,还是有一定的性能问题。

(3). 并行IO

此方案是将方案(2)中的最后一步,改为多线程执行,网络次数虽然还是nodes.size(),但网络时间变为o(1),但是这种方案会增加编程的复杂度。它的操作时间=1次网络时间+n次命令时间

(4).hash-tag实现

第二节提到过,由于hash函数会造成key随机分配到各个节点,那么有没有一种方法能够强制一些key到指定节点到指定的节点呢? redis提供了这样的功能,叫做hash-tag。什么意思呢?假如我们现在使用的是redis-cluster(10个redis节点组成),我们现在有1000个k-v,那么按照hash函数(crc16)规则,这1000个key会被打散到10个节点上,那么时间复杂度还是上述(1)~(3)

那么我们能不能像使用单机redis一样,一次IO将所有的key取出来呢?hash-tag提供了这样的功能,如果将上述的key改为如下,也就是用大括号括起来相同的内容,那么这些key就会到指定的一个节点上。
例如:

例如下图:它的操作时间=1次网络时间+n次命令时间

4. 四种批量操作解决方案对比:

方案 优点 缺点 网络IO
串行mget 1.编程简单
2.少量keys,性能满足要求
大量keys请求延迟严重 o(keys)
串行IO 1.编程简单
2.少量节点,性能满足要求
大量node延迟严重 o(nodes)
并行IO 1.利用并行特性
2.延迟取决于最慢的节点
1.编程复杂
2.超时定位较难
o(max_slow(node))
hash tags 性能最高 1.tag-key业务维护成本较高
2.tag分布容易出现数据倾斜
o(1)

总结

目前我们项目中采用第一种方式,使用多线程解决批量问题,减少带宽时延,提高效率,这种做法就如上面所说简单便捷(我们目前批量操作类型比较多),有效。但问题比较明显。批量操作数量不大即可满足。最近研究cachecloud发现搜狐他们采用第二点,先将key获取槽点,然后分node pipeline操作。这种做法相对比第一种做法较优。推荐第二种方法,后期对性能有要求的话,考虑修改成第二种方式。
附加cachecloud-client代码中mget追踪路径
类PipelineCluster======>mget======>类pipelineCommand=====>run=====>getPoolKeyMap====>getResult

参考

[1]http://carlosfu.iteye.com/blog/2263813
[2]https://github.com/sohutv/cachecloud/wiki/5.%E8%AE%BE%E8%AE%A1%E6%96%87%E6%A1%A3