归档: 2023 | rejovial

2023

10

27

凌晨三点的告警，把整个数据平台团队都拖入了泥潭。一个核心的Hadoop聚合任务失败，导致下游所有报表数据错乱。日志里充斥着通用的NullPointerException，但失败的根源却难以追溯。这个任务处理的数据来自十几个上游任务，而这些任

2023-10-27 数据工程

可观测性 Git OpenTelemetry Hadoop 核心库数据血缘

27

项目中的一个搜索优化需求摆在了面前：提升对专业领域文档的查询相关性。问题根源很明确，标准的同义词过滤器 (SynonymGraphFilterFactory) 无法处理一词多义的场景。例如，在我们的混合技术与农业数据集中，用户搜索“苹果”，

2023-10-27 搜索引擎

NLP Solr Java Lucene 搜索引擎优化

27

现成的 APM (Application Performance Monitoring) 方案在功能上很强大，但它们的成本和灵活性往往成为我们团队的掣肘。例如，当我们需要追踪某个自定义 Metal 渲染阶段的耗时，或是某个特定用户路径下 C

2023-10-27 后端架构

InfluxDB Nuxt.js iOS 开发

27

我们面临一个棘手的UI状态同步问题。用户在界面上执行一个写操作，比如更新一条复杂的配置。前端应用（React + Redux）立即向后端API发送请求，API将一个指令（Command）推送到消息队列（RabbitMQ）后，迅速返回202

2023-10-27 架构设计

MySQL Redux 消息队列 CQRS 最终一致性

27

我们团队维护着一个服役了近十年的PHP单体应用，它的产品推荐模块终于在一个季度复盘会上被正式标记为“高优先级技术债”。症结显而易见：它依赖一套陈旧的协同过滤算法，通过cron触发的PHP脚本，在每天凌晨流量低谷时进行批处理计算。这意味着用户

2023-10-27 架构设计

Vercel Functions Kubeflow Scrum PHP 框架 (Python)

27

一个trivy fs --format json . > scan.json命令的执行成功，不应该是一次安全检查的终点，而是一个高度自动化、高容错流程的起点。在真实项目中，单纯的CI门禁和告警轰炸只会导致开发团队的麻木。真正的挑战在于

2023-10-27 架构设计

ChromaDB 依赖扫描分布式事务 ISR Dead Letter Queue