阿里巴巴 MySQL binlog 增量订阅&消费组件支持多语言客户端

 canal [kə'næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、倒排索引等)业务 cache 刷新带业务逻辑的增量数据处理当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x工作原理MySQL主备复制原理MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events,可以通过 show binlog events 进行查看)MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)MySQL...

PHP,软件工具,Golang,.Net,数据库,解决方案 2024-04-29 AM 167次 0条

阿里云redis数据库迁移工具RedisShake

 RedisShake是阿里云开源的高性能redis数据库迁移工具简单易用快速,上手非常简单 现在 redis-shake 有两个主版本:redis-shake 2.x:持续更新 3 年,目前停止更新与答疑,遇到问题推荐尝试 3.x 版本。redis-shake 3.x:基于 redis-shake 2.x 重写,代码可读性高,性能较佳。安装RedisShake安装方式有两种二进制包安装直接下载打包后的压缩包二进制包从版本下载:https://github.com/alibaba/RedisShake/releases从源代码编译git clone https://github.com/alibaba/RedisShake cd RedisShake sh build.sh下载打包压缩包下载并解压:https://github.com/alibaba/RedisShake/releases/download/v3.1.10/redis-shake-linux-amd64.tar.gz配置RedisShake 点击配置 scan.toml , restore.toml , sync...

软件工具,数据库,Linux,解决方案 2023-03-13 PM 614次 0条

搭建开源对象储存系统MinIO

适用于中小型的物联网高性能对象储存系统 MinIOMinIO 是一种高性能对象存储解决方案,提供与亚马逊网络服务 S3 兼容的 API,并支持所有核心 S3 功能。MinIO 旨在部署在任何地方 - 公共云或私有云、裸机基础架构、编排环境和边缘基础架构。本文将带领大家一步一步的完成搭建开源对象储存系统MinIOLinux 以下提供了使用 RPM、DEB 或二进制文件将 MinIO 安装到 64 位 Linux 操作系统上的示例。RPM 和 DEB 软件包会自动将 MinIO 安装到必要的系统路径,并创建一个服务文件来自动运行 MinIO。米尼奥强烈建议使用 RPM 或 DEB 安装路由。systemdRPMwget https://dl.min.io/server/minio/release/linux-amd64/archive/minio-20221008201100.0.0.x86_64.rpm -O minio.rpm sudo dnf install minio.rpmDEBwget https://dl.min.io/server/minio/release/linu...

解决方案 2022-10-15 AM 548次 0条

spug轻量级自动化运维平台

什么是Spug Spug 是面向中小型企业设计的轻量级无 Agent 的自动化运维平台,整合了主机管理、主机批量执行、主机在线终端、文件在线上传下载、应用发布部署、在线任务计划、配置中心、监控、报警等一系列功能。Spug功能特色批量执行: 主机命令在线批量执行在线终端: 主机支持浏览器在线终端登录文件管理: 主机文件在线上传下载任务计划: 灵活的在线任务计划发布部署: 支持自定义发布部署流程配置中心: 支持 KV、文本、json 等格式的配置监控中心: 支持站点、端口、进程、自定义等监控报警中心: 支持短信、邮件、钉钉、微信等报警方式优雅美观: 基于 Ant Design 的 UI 界面开源免费: 前后端代码完全开源​Docker安装安装步骤以下安装步骤使用 Centos7.x 操作系统。安装dockeryum install docker systemctl start docker拉取镜像docker pull registry.aliyuncs.com/openspug/spug启动容器docker run -d --restart=always --name=spug -...

软件工具,Linux 2021-12-15 AM 1144次 0条

keepass好用的密码管理工具

 KeePass 一款好用的 密码管理工具 ,在生活工作中我们与 帐号密码 息息相关几乎每天所用的 程序网站 以及 系统 都要用到 帐号密码 ,但是随着时间的推移我们用到的 帐号密码 会变得很多很多,经常会忘记密码和那些东西用的了这个 帐号密码 ,这个时候我们就需要一块智能好用安全的密码管理工具来管理我们的帐号密码。 与很多付费的密码管理工具不一样 KeePass 是一款 免费 , 开源 , 轻量级 和易于使用的 密码管理器 。 使用 KeePass 我们可以很好的管理不同的账号密码不用全部记得那些乱七八糟的英文字母和数据,使用KeePass 一切都变得很简单,它把你的密码全部保存在高度加密的数据库文件中,密码很难安全很泄露,它也很轻易进行 数据迁移 。KeePass 密码管理工具 特点免费,开源,持续更新,这代表它是一个安全的工具支持中文及其多语言高密度加密账号密码数据很好地管理账号密码以及其他数据自动化输入对应程序的账号密码可以使用密码和秘钥文件管理密码支持分类管理对应数据数据本地保存方便迁移和自定义同步更多优点KeePass 密码管理工具 下载地址官方下载官方网站相关插件工...

软件工具 2021-09-16 AM 828次 0条