datax不太常见配置项querySql、preSql、postSql、splitPk_water admin 2021年1月29日 数据库 0 原文作者：water___Wang 原文标题：datax(27):不太常见配置项querySql、preSql、postSql、splitPk 原文地址：https://blog.csdn.net/WANTAWAY314/article/details/113505791 发布时间：2021-02-02 16:11:51 每个datax的json都有自己的j…
近期生成数据需要生成唯一id用作数据主键，下面介绍三种方法。 1、使用md5随机生成； SELECT uuid_in(md5(random()::text || now()::text)::cstring); SELECT uuid_in(md5(random()::text || clock_timestamp()::text)::cstring); SELECT md5(random()::text || clock_timestamp()::text)::uuid 2、使用postgresql函数生成。 CR…
log_format json_analytics escape=json '{' '"msec": "$msec", ' # request unixtime in seconds with a milliseconds resolution '"connection": "$connection", ' # connection serial number '"connection_requests": "$connection_requests", ' # number of requests made in…
MySQL的sql_mode模式说明及设置 MySQL的sql_mode合理设置 sql_mode是个很容易被忽视的变量,默认值是空值,在这种设置下是可以允许一些非法操作的,比如允许一些非法数据的插入。在生产环境必须将这个值设置为严格模式,所以开发、测试环境的数据库也必须要设置,这样在开发测试阶段就可以发现问题. sql model 常用来解决下面几类问题 (1) 通过设置sql mode, 可以完成不同严格程度的数据校验，有效地保障数据准备性。 (2) 通过设置sql model 为宽松模式，来保证…
1、安装postgresql基础包； yum -y install postgresql-devel 2、进入php源码ext/pgsql目录进行php编译安装； cd php-7.1.25/ext/pgsql/ /home/xshop/php71/bin/phpize ./configure --with-php-config=/home/xshop/php71/bin/php-config make && make install 同时需要进入以下目录进行安装 [root@xshop 20210…
最近在做docker pull镜像时，突然报了个错误，提示docker镜像证书无效或过期了，具体报错如下： [root@zabbix docker]# docker pull mysql Using default tag: latest Error response from daemon: Head https://registry-1.docker.io/v2/library/mysql/manifests/latest: Get https://auth.docker.io/token?scope=repo…
最近看docker相关文章，考虑到原有zabbix使用的是zabbix 4.5版本，想着就将zabbix 4.5升级到5.4。原有zabbix是采用rpm安装在linux服务器，本次采用docker进行快速升级。 1、安装docker环境 yum -y install docker-ce docker-ce-cli containerd.io 2、修改docker文件以便可以加速docker下载。 vi /etc/docker/daemon.json { "registry-mirrors": ["https://…
Analyze Table 详细说明 MySQL 的Optimizer（优化元件）在优化SQL语句时，首先需要收集一些相关信息，其中就包括表的cardinality（可以翻译为“散列程度”），它表示某个索引对应的列包含多少个不同的值——如果cardinality大大少于数据的实际散列程度，那么索引就基本失效了。 我们可以使用SHOW INDEX语句来查看索引的散列程度： SHOW INDEX FROM PLAYERS; TABLE KEY_NAME COLUMN_NAME CARDINALITY -------…
MySQL中analyze table的作用是？生产上操作会有什么风险？ 一、analyze table的作用 1、analyze table 会统计索引分布信息。 2、对于 MyISAM 表，相当于执行了一次 myisamchk --analyze 3、支持 InnoDB、NDB、MyISAM 等存储引擎，但不支持视图（view） 4、执行 analyze table 时，会对表加上读锁（read lock） 5、该操作会记录binlog 二、生产上操作的风险 1、analyze table的需要扫描的page代…