源码分析 - Flink FileSystemTableSink 中自定义分区策略的创建与调用机制详解在使用 Flink 通过 Table API 或 SQL 写入文件系统时，若启用了自定义分区，系统如何注入并应用参数 sink.partition-commit.policy.kind 来控制分区提交行为？本文将从源码角度梳理这套机制的调用路径与实现细节。 本人实现的 [FLINK-32388]A

Druid AWS 部署中的 Ingress 与 Route53 问题背景在 AWS 上使用 Kubernetes 部署 Druid 时，通常会使用 AWS ALB（Application Load Balancer）来做流量路由与负载均衡。通过配置 Kubernetes 的 Ingress 资源，ALB 可以将流量路由到不同的服务。与此同时，还需要配置 Route 53 来处理 DNS 域名解析

Druid 中帧大小配置及 RowTooLarge 错误解决方案背景在 Apache Druid 中，数据处理通常会将大规模数据划分为多个 “frame”（帧）进行处理。在这个过程中，frame size（帧大小）是一个关键参数，它决定了每个 frame 最多可以处理多少数据。frame size 过大或过小都可能影响性能，甚至导致处理失败。此错误日志表明，在处理某条数据时，遇到了一行数据其大小超

HistoryServer 介绍HistoryServer 是 Spark 内置的一个 HTTP 服务，我们可以通过下面的命令启动它。HistoryServer 启动后，会开启两个线程分别用于解析和清理日志文件。 1./sbin/start-history-server.sh 该命令会在 http://<server-url>:8080 上创建一个 Web 界面，用于展示尚未完成以及

Kubernetes 的亲和性调度K8s 中的 POD 是由调度器自动选择某个 NODE 的。默认情况下，调度器会考虑资源是否充足，并尽量让各节点的负载保持均衡。但在某些场景下，我们需要更细粒度地控制 POD 的调度，比如要求多个 POD 调度到同一个 NODE 上。此时就需要借助 Kubernetes 中的一个重要概念：亲和性。亲和性主要分为两大类：nodeAffinity 和 podAffin

探针简介 存活性探测 (Liveness probes): 存活性探针，用于判断容器是不是健康，如果不满足健康条件，那么 Kubelet 将根据 Pod 中设置的 restartPolicy （重启策略）来判断，Pod 是否要进行重启操作。 LivenessProbe 按照配置去探测 ( 进程、或者端口、或者命令执行后是否成功等等)，来判断容器是不是正常。如果探测不到，代表容器不健康（可以配置连

背景最近的机器磁盘容量经常报警,发现以下目录的磁盘占用较多 1sudo du -sh ./* --exclude ./proc | sort -rh | head -n 5 /run/log/journal 是 Systemd 的日志目录，用于存储 Systemd 日志文件。你可以使用 journalctl 工具来管理和清理这些日志文件。以下是清理 Systemd 日志的方法. 解决方案1.

背景正在使用 Kubernetes 进行 Druid 部署，发现更改 sts 的 replica 之后 pod 一直处于 pending 状态。接下来通过 describe 查看 pod 的部署状态，发现以下日志。 12345678nodeSelector_new: dedicated: druid-middlemanagertolerations: - key: "dedicate

HDFS Decommission 代码解读与分析HDFS 节点退役背景目前有 200+ 台、1.22PB 的 HDFS3 集群，以及 100- 台、480T 的 HDFS 集群，节点退役（decommission）速度较慢，每小时只能迁移大约 150k 个 block，平均每台节点有约 600k 个 block，单台退役需要约 4 小时。 节点掉线与节点退役的区别节点退役（Node Decomm