阿里巴巴 MySQL binlog 增量订阅&消费组件支持多语言客户端

 canal [kə'næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、倒排索引等)业务 cache 刷新带业务逻辑的增量数据处理当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x工作原理MySQL主备复制原理MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events,可以通过 show binlog events 进行查看)MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)MySQL...

PHP,软件工具,Golang,.Net,数据库,解决方案 2024-04-29 AM 210次 0条

阿里云redis数据库迁移工具RedisShake

 RedisShake是阿里云开源的高性能redis数据库迁移工具简单易用快速,上手非常简单 现在 redis-shake 有两个主版本:redis-shake 2.x:持续更新 3 年,目前停止更新与答疑,遇到问题推荐尝试 3.x 版本。redis-shake 3.x:基于 redis-shake 2.x 重写,代码可读性高,性能较佳。安装RedisShake安装方式有两种二进制包安装直接下载打包后的压缩包二进制包从版本下载:https://github.com/alibaba/RedisShake/releases从源代码编译git clone https://github.com/alibaba/RedisShake cd RedisShake sh build.sh下载打包压缩包下载并解压:https://github.com/alibaba/RedisShake/releases/download/v3.1.10/redis-shake-linux-amd64.tar.gz配置RedisShake 点击配置 scan.toml , restore.toml , sync...

软件工具,数据库,Linux,解决方案 2023-03-13 PM 665次 0条

windows系统一键激活,安全无毒亲测有效

 分享一种一劳永逸的windows系统一键激活方法,很简单命令行输入直接回车就行了,因为不是软件激活所以说安全无毒核心命令slmgr /skms kms.03k.org slmgr /ato方式一 保存为bat文件新建文本文件复制以上命令到文本文件并保存将文件后缀修改为bat然后双击运行即可方式二 命令行输入powershell或者cmd找到下面的命令行软件输入回车即可 以上就是楼主亲测最新的windows系统一键激活方式感兴趣的同学可以试一下.

软件工具,解决方案 2022-06-01 PM 10971次 0条

使用UU加速器访问国外网站加速github

 之前无意间发现 网易uu加速器 竟然可以 加速 一些国内访问不到的 国外学术 网站,又很惊喜的发现他竟然对 github 有效,下面分享下使用 UU加速器 访问国外网站 加速github 的具体流程。## 下载或者更新UU加速器到最新版本https://uu.163.com/ 博主当前的UU加速器版本为 V4.21搜索学术资源 我们打开最新版本的 UU加速器 搜索 学术资源 可以看到有一个选项,然后我们点击选项。启动学术资源 可以看到学术资源已经启动成功了。 并且uu加速器提供几百个高速节点支持国外网站https://baike.uu.163.com/scholar/ 虽然说上面没有列出来 github 的站点但是我们经过测试依旧可以 加速github 网站。 可以看到 加速github 访问起来还是很快的。 关于通过使用UU加速器访问国外网站加速github详细步骤已经分享完毕了,有兴趣的小伙伴可以测试下。

软件工具,解决方案 2022-04-15 AM 5393次 0条

最新jetbrains全家桶及phpstorm激活方法支持全系列全版本支持更新永久有效

  继 IDE Eval Reset 失效后,今天我们分享一个最新的jetbrains全家桶及phpstorm激活方法,并且支持全系列,全版本可更新使用并且有效。 我们知道 jetbrains 家的产品用过的都知道非常好用,其中包括 phpstorm , goland , pycharm , webstorm , intellij idea 等等这些都是非常强大及好用的开发工具,但是奈何 jetbrains 系列的工具都是要收费激活的虽然淘宝上有便宜的 学生邮箱 和 破解版 但是这些非常 容易被封 ,博主已经入了两次淘宝的坑了。 博主之前分享的 phpstorm及jetbrains永久免费激活工具插件无限试用使用 奈何对2021年6月份之后的版本已经无效了,插件的开发者已经停止对激活插件的更新了所以说2021年6月份之后的版本就不能再使用了。最新jetbrains全家桶激活方法 原理是我们主要通过代码搜索其他授权服务器进行永久激活激活。方式一 通过censyshttps://search.censys.io/主要用到的代码services.http.response.head...

PHP,软件工具,Golang,前端,解决方案 2022-03-23 AM 18602次 0条

ab压测工具的使用

ab压测工具 是一款 跨平台 的 轻量级 的压测工具,本文我们将简单介绍下 ab压测工具 的使用方法。centos安装ab压测工具yum -y install httpd-tools常用命令查看版本ab -V帮助ab -h并发测试并发5,测试100个请求,请求目标地址百度ab -c 5 -n 100 https://www.baidu.com/主要使用参数-c 即concurrency用于指定的并发数。-n 即requests用于指定压力测试总共的执行次数。-t 即timelimit等待响应的最大时间(单位:秒)。-b 即windowsizeTCP发送/接收的缓冲大小(单位:字节)。-p 即postfile发送POST请求时需要上传的文件,此外还必须设置-T参数。-u 即putfile发送PUT请求时需要上传的文件,此外还必须设置-T参数。-T 即content-type用于设置Content-Type请求头信息,例如:application/x-www-form-urlencoded,默认值为text/plain。-v 即verbosity指定打印帮助信息的冗余...

软件工具,Linux 2022-01-04 PM 1109次 0条

phpstorm配置使用comoposer远程php版本

 在开发环境中我们可以通过 phpstorm 配置使用 comoposer 远程虚拟机的指定版本 php 。配置本地文件和虚拟机文件共享 例如本地 E:\wwwroot = /www/wwwroot使用安装,更新,显示日志 打开compose.json文件这个时候顶部会显示三个可点击文字 install/update/show log 。清理composer缓存 点击 clear Cache 清理 composer 缓存诊断环境 点击 diagnose 诊断 composer 环境模拟更新包 点击 simulate update 模拟更新 composer 包更新composer版本 点击 self-update 更新 composer 版本测试运行composer更新后运行的脚本 配置 composer 静默运行 --no-interaction

PHP,软件工具,Linux 2022-01-04 PM 1079次 0条

一键优化宝塔面板补丁适用宝塔面板版本7.7+

 第三方网友提供的一键优化宝塔面板补丁,听说很好用,博主未测试感兴趣的同学可以在本地测试下玩玩。补丁代码 提供源代码,远程代码两种补丁安装方式,推荐使用源代码自行执行更安全。宝塔面板源代码补丁(推荐)#!/bin/bash PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin export PATH if [ $(whoami) != "root" ];then echo "请使用root权限执行命令!" exit 1; fi if [ ! -d /www/server/panel ] || [ ! -f /etc/init.d/bt ];then echo "未安装宝塔面板" exit 1 fi if [ ! -f /www/server/panel/data/userInfo.json ]; then echo "{\"uid\":1000,\"username\":\"admin\",\"serverid\":1}" > /www/ser...

软件工具,Linux,其他 2021-12-29 AM 1149次 0条

spug轻量级自动化运维平台

什么是Spug Spug 是面向中小型企业设计的轻量级无 Agent 的自动化运维平台,整合了主机管理、主机批量执行、主机在线终端、文件在线上传下载、应用发布部署、在线任务计划、配置中心、监控、报警等一系列功能。Spug功能特色批量执行: 主机命令在线批量执行在线终端: 主机支持浏览器在线终端登录文件管理: 主机文件在线上传下载任务计划: 灵活的在线任务计划发布部署: 支持自定义发布部署流程配置中心: 支持 KV、文本、json 等格式的配置监控中心: 支持站点、端口、进程、自定义等监控报警中心: 支持短信、邮件、钉钉、微信等报警方式优雅美观: 基于 Ant Design 的 UI 界面开源免费: 前后端代码完全开源​Docker安装安装步骤以下安装步骤使用 Centos7.x 操作系统。安装dockeryum install docker systemctl start docker拉取镜像docker pull registry.aliyuncs.com/openspug/spug启动容器docker run -d --restart=always --name=spug -...

软件工具,Linux 2021-12-15 AM 1189次 0条

phpstorm常用扩展插件

 记录分享常用的phpstorm常用优秀扩展插件。查看PHP中文文档Chinese PHP Documentenv 语法高亮.env files supportGit辅助工具GitToolBox无限重置试用时长IDE Eval Reset时间戳/日期格式互转Magic Time代码优化检查Php Inspections (EA Extended)tp5框架辅助Thinkphp5 Plugin翻译工具TranslationMarkdown解析工具MarkdownIDEA中文语言包chineseIDEA美化主题Material Theme UIcomposer自动检查PHP composer.json supportphp工具箱PHP Toolbox块美化Rainbow Brackets

PHP,软件工具,Linux 2021-12-09 PM 1522次 0条