基于 Kafka 与 Debezium 构建实时数据管道

这篇文章我最初是发表于公司技术部公众号, 原题” 实时数据管道探索”, 公开后就搬运到了自己的博客上, 基本上算是对自己 2017 年上半年工作的一些总结. 对于其中提到的 Kafka, Debezium, Otter, Canal 等项目, 其实都踩了不少坑. 下面的内容是一个概览的方案分享, 各
2023年02月03日 503次浏览

docker-compose搭建zookeeper集群

1. 编写docker-compose.ymlversion: '2'services: zoo1: image: zookeeper:latest restart: always container_name: zoo1 ports:
2023年01月29日 228次浏览

基于Alpine制作精简镜像#jre_8u202

java基础docker镜像精简jre-8u202-linux-x64.tar.gz(可选)精简jre_8u202rm -rf ./lib/plugin.jar \./lib/ext/jfxrt.jar \./bin/javaws \./lib/javaws.jar \./lib/desktop \
Docker 2023年01月17日 226次浏览

基于AmazonLinux2制作docker镜像jdk_8u202 mvn3.8.7

1. 提前准备好文件：jdk-8u202-linux-x64.rpmapache-maven-3.8.7maven 3.8.7的文件准备; 按需注释掉maven https 0.0.0.0的安全限制wget https://dlcdn.apache.org/maven/maven-3/3.8.7/b
Docker 2023年01月16日 166次浏览

随笔

老黄牛--臧克家块块荒田水和泥，深耕细作走东西；老牛亦解韶光贵，不待扬鞭自奋蹄。骏马自知前程远,无需扬鞭自奋蹄
随笔 2022年10月24日 256次浏览

AWS EC2配置swap

mkdir /swap# config 32G swapdd if=/dev/zero of=./swapfile bs=1G count=32# grant permissionchmod 600 /swap/swapfilechmod 600 /swapmkswap /swap/swapfile
linux 2022年10月17日 605次浏览

AWS DMS配置Mysql时指定数据库

AWS DMS异构同步，在向指定的Mysql同步数据时，如果不指定数据库，会同步失败，可按需配置指定库。此时则需要两个参数指定TargetDbType:specific-database使用此参数声明需要指定数据库DatabaseName:xxxxxxxxxxxxxxxx配合第一个参数，使用此参数声
数据库运维 DMS 2022年09月05日 288次浏览

杂念

公平真正的公平并不存在，“公平”的呼号，只不过是下层完图通过道理来制约上层的一个拙劣的手法。但凡下层晋升得以加爵，都势必要为不公平推波助澜。不公平，无可厚非，它更应该是一种常态。财富如歌词所唱：“冥冥中都早注定你富或贫”。出身、经历，犹如操作系统一般，写入、引导启动，windows直至关机都不会变为
2022年09月04日 317次浏览

aws ec2 组合使用CloudWatch和collectd的记录及踩坑

plugin_load: Could not find plugin "ping" in /usr/lib64/collectd Found a configuration for the `ping' plugin, but the plugin isn't loaded or didn't register a configuration callback.
ec2 cloudwatch aws collectd 2022年08月03日 349次浏览

[转载]ffmpeg 下载m3u8被识别为图片的解决办法

Could not find codec parameters for stream 0 (Video: png, none(pc)): unspecified size Consider increasing the value for the 'analyzeduration' (0) and 'probesize' (5000000) options
奇门遁甲 转载 2022年07月28日 860次浏览