Happywzy

Hbase关于TTL

• ColumnFamilies可以以秒为单位来设置 TTL（Time To Live）长度，一旦达到到期时间，HBase 将自动删除行。
• 设置 hbase.store.delete.expired.storefile 为 false 将禁用此功能。将最小版本数设置为 0 以外的值也会禁用此功能。
• 也支持设置时间以每个单元为基础生存。单元TTL 是使用突变 setTTL 作为突变请求（例如：Appends、Increments、Puts）的属性提交的.
• 单元 TTL 以毫秒为单位而不是秒;
• 单元 TTL 不能将一个单元的有效生命周期延长超过 ColumnFamily 级 TTL 设置.

设置TTL

1. 创建表的时候指定

create 't_task_log',{NAME => 'cf', TTL=>'86400'}

2. 查看TTL

desc "t_task_log"
-- 默认: TTL => 'FOREVER'

3. 修改TTL

-- 禁用表
disable "t_task_log"
-- 设置TTL值，作用于列族cf
alter "t_task_log",NAME=>'cf',TTL=>'86400'
-- 恢复表
enable  "t_task_log"

高版本hbase可以不需要先禁用表,可直接在线修改TTL.

4. 编码设置列族TTL

// 1. 创建一个测试表,并添加列族cf
TableName tableName = TableName.valueOf("test");
TableDescriptor tableDescriptor = TableDescriptorBuilder.newBuilder(tableName)
        .setColumnFamily(ColumnFamilyDescriptorBuilder.newBuilder("cf".getBytes()).build())
        .build();

admin.createTable(tableDescriptor);
System.out.println("创建表并添加列族cf成功");

// 2.为当前的表添加一个ttl的列族(默认设定时间为10秒)
ColumnFamilyDescriptor cfDesc = ColumnFamilyDescriptorBuilder.newBuilder("ttl-cf".getBytes()).setTimeToLive(10)
        .build();
admin.addColumnFamily(tableName, cfDesc);
System.out.println("为表添加一个具有TTL的列族ttl-cf,设定超时时间为10s");

5. 编码设置单元TTL

Put put = new Put(Bytes.toBytes("row1"));
put.setTTL(86400L);

怎么重置TTL为FOREVER

-- HBase TTL 最大值为INT最大值 2147483647，只需将TTL设为该整数即可
alter 'test',{NAME => 'cf',TTL => '2147483647'}

参考链接

• https://www.cnblogs.com/zpb2016/p/12649831.html
• https://blog.csdn.net/weixin_45492007/article/details/106804808
• https://www.w3cschool.cn/hbase_doc/hbase_doc-x41d2mmo.html

问题

docker-compose配置容器启动顺序,有时依靠depends_on并不能完全解决,主要原因是:

• depends_on只能保证容器进入了running状态,而不保证进入ready状态.
• Control startup and shutdown order in Compose

解决方案

启动命令前增加判断依赖服务状态的工具

• wait-for-it
• dockerize
• wait-for

示例:

version: "2"
services:
  web:
    build: .
    ports:
      - "80:8000"
    depends_on:
      - "db"
    command: ["./wait-for-it.sh", "db:5432", "--", "python", "app.py"]
  db:
    image: postgres

自己编写script

#!/bin/sh
# wait-for-postgres.sh

set -e
  
host="$1"
shift
cmd="$@"
  
until PGPASSWORD=$POSTGRES_PASSWORD psql -h "$host" -U "postgres" -c '\q'; do
  >&2 echo "Postgres is unavailable - sleeping"
  sleep 1
done
  
>&2 echo "Postgres is up - executing command"
exec $cmd

测试：

command: ["./wait-for-postgres.sh", "db", "python", "app.py"]

wait-for命令测试

• 下载wait-for

[root@node1 ~]# chmod a+x wait_for 
[root@node1 ~]# ./wait_for localhost:3306 -- echo "Mysql site is up"
Eficode site is up

配置selinux标签

如果使用selinux，则可以添加z或Z选项来修改要装入容器的主机文件或目录的selinux标签。这会影响主机本身上的文件或目录，并可能导致超出Docker范围的后果。

• 该z选项指示绑定安装内容在多个容器之间共享。
• 该Z选项指示绑定安装内容是私有的且未共享。

这些选项请格外小心。绑定安装系统目录（例如/home或/usr带有该Z选项）会使主机无法操作，并且您可能需要手动重新标记主机文件。

重要说明：将绑定安装与服务一起使用时，selinux标签（:Z和:z）以及将:ro被忽略。

本示例设置z选项以指定多个容器可以共享绑定安装的内容：

无法使用该--mount标志修改selinux标签。

docker run -d \
  -it \
  --name devtest \
  -v "$(pwd)"/target:/app:z \
  nginx:latest

原文地址

申请证书

• FreeSSL.cn,一个提供免费HTTPS证书申请的网站

下载下来的证书.pem格式可以直接修改成.crt格式.
私钥.key格式的文件.

更新harbor证书

服务器harbor由docker-compose启动.

1. 更新这个目录下证书文件

cat harbor.yml

# https related config
https:
#   # https port for harbor, default is 443
  port: 443
#   # The path of cert and key files for nginx
  certificate: /usr/local/bin/harbor/certs/harbor.crt
  private_key: /usr/local/bin/harbor/certs/harbor.key

2. 找到harbor的nginx映射的cert目录,更新其中的证书.

cat docker-compose.yml 

proxy:
    image: goharbor/nginx-photon:v1.9.1
    container_name: nginx
    volumes:
      - ./common/config/nginx:/etc/nginx:z
      - /data/harbor/secret/cert:/etc/cert:z
    networks:
      - harbor
    dns_search: .
# ...

3. 重启nginx

docker-compose restart proxy

流程图

• 网页端生成随机code,携带code去请求一张二维码图片;
• 网页端轮询code是否登录成功状态;
• APP端扫描二维码,获取二维码内容;
• APP端验证二维码是否过期/无效;
• 如果二维码有效,展示确认登录/取消按钮;
• APP端携带登录信息token确认登陆;
• 后端为code绑定登录信息(token,userName),网页端轮询获得登录成功信息.

查看mysql是否开启定时任务

mysql> show variables like '%scheduler%';
+-----------------+-------+
| Variable_name   | Value |
+-----------------+-------+
| event_scheduler | OFF   |
+-----------------+-------+
1 row in set

开启mysql定时任务

-- 临时开启
SET GLOBAL event_scheduler = ON;

-- 永久开启,my.cnf中[mysqld]添加,并重启服务
event_scheduler=on

删除某表2天前的数据SQL

-- task_history:表名,start_time:日期字段
delete From task_history where DATE(start_time) <= DATE(DATE_SUB(NOW(),INTERVAL 2 day));

创建event

• 方法一：直接创建删除数据event

create event del_task_history on SCHEDULE every 1 DAY do delete from compare.task_history where DATE(start_time) <= DATE(DATE_SUB(NOW(),INTERVAL 2 day));

• 方法二：先创建删除数据的存储过程

-- 创建存储过程,先use database_name;
DELIMITER // 
create procedure del_task_history()
BEGIN
    DELETE FROM task_history WHERE DATE(start_time) <= DATE(DATE_SUB(NOW(),INTERVAL 2 day));
END//
DELIMITER ;
-- 查看存储过程
select * from mysql.proc where db='数据库名';
-- 调用存储过程
call del_task_history();
-- 删除存储过程
DROP PROCEDURE IF EXISTS del_task_history;


-- 创建event
create event del_task_history  
on schedule 
EVERY 1 DAY  
STARTS '2020-10-01 00:00:00'  
ON COMPLETION NOT PRESERVE ENABLE DO CALL del_task_history();

开启和关闭event

--  开启某事件
ALTER EVENT del_task_history ON COMPLETION PRESERVE ENABLE;
--  关闭某事件
ALTER EVENT del_task_history ON COMPLETION PRESERVE DISABLE;

查询event

-- 查询event列表
show events;
-- 根据event名称查询
show create event del_task_history;

-- 查询执行记录
select * from information_schema.events;
select * from mysql.event;

删除event

DROP EVENT IF EXISTS del_task_history;

写一个带参数的存储过程

存储过程一般不能以表名作为参数，不然会报错，所以采用prepare方式.

• prepare: 预处理
• execute: 执行
• deallocate: 释放资源

-- 参数1：要删除的表, 参数2：时间戳列名, 参数3：删除多少天前的数据
DELIMITER // 
create procedure delete_table_data(IN table_name varchar(50),IN column_name varchar(50),IN interval_day int)
BEGIN
    set @statements = concat('DELETE FROM ',table_name, ' WHERE DATE(',column_name,') <= DATE(DATE_SUB(NOW(),INTERVAL ',interval_day,' day))');
    prepare stmt from @statements;
    execute stmt;
    deallocate prepare stmt;
END//
DELIMITER ;

-- 调用
call delete_table_data('t_test','create_time',90);