json文件offset-json-file.jsonKnu拜客生活常识网

Knu拜客生活常识网

{
    "partitions": [
        {
            "topic": "topic_name",
            "partition": 0,
            "offset": 1024
        }
    ],
    "version": 1
}

Knu拜客生活常识网

kafka-delete-records --bootstrap-server xxxxxx:9092 
--offset-json-file offset-json-file.json

Knu拜客生活常识网

查看Broker磁盘信息

Knu拜客生活常识网

查询指定topic磁盘信息Knu拜客生活常识网

Knu拜客生活常识网

kafka-log-dirs --bootstrap-server xxxxxx:9090 
--describe --topic-list topic1,topic2

Knu拜客生活常识网

查询指定Broker磁盘信息Knu拜客生活常识网

Knu拜客生活常识网

kafka-log-dirs --bootstrap-server xxxxxx:9090 
--describe --topic-list topic1 --broker-list 0

Knu拜客生活常识网

Hive

Knu拜客生活常识网

启动类

Knu拜客生活常识网

hive 启动元数据服务（metastore和hiveserver2）和优雅关闭脚本Knu拜客生活常识网

Knu拜客生活常识网

启动： hive.sh start
关闭： hive.sh stop
重启： hive.sh restart
状态： hive.sh status

Knu拜客生活常识网

脚本如下Knu拜客生活常识网

Knu拜客生活常识网

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs

mkdir -p $HIVE_LOG_DIR

#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

Knu拜客生活常识网

常用交互命令

Knu拜客生活常识网

SQL类(特殊的)

相关阅读: