归档: 2023/10

2023

10

27

我们团队最初同步 Algolia 索引的方式非常直接：在部署流程的最后，执行一个 PHP 脚本，调用 scout:import 命令。对于一个只有几千条记录的小型项目，这没什么问题。但当数据量增长到百万级别，这个操作就成了发布的噩梦。一次完

2023-10-27 DevOps

CI/CD Algolia GitHub Actions PHP DevOps

27

我们的技术栈从来不是单一的。模型训练团队主力使用 Python 和 MLflow，而核心业务后端则由一个稳定的 ASP.NET Core 集群承载。最近，一个新的需求是将模型推理能力暴露为高性能、低延迟的 API，前端和移动端团队则更偏爱

2023-10-27 架构与设计

Fastify DigitalOcean ASP.NET Core MLflow OCI

27

我们的一个核心业务严重依赖Celery进行异步任务处理，随着系统复杂度的攀升，这套体系逐渐变成了一个难以捉摸的“黑盒”。当任务失败时，追溯其根源就像大海捞针；性能瓶颈隐藏在成千上万个执行节点中，无法定位；更关键的是，审计需求要求我们能明确追

2023-10-27 DevOps

Fluentd Terraform OpenID Connect Solr Celery

27

一个常见的痛点在于，当核心业务数据发生变更时，如何高效且可靠地同步到搜索引擎中。传统的做法是在业务逻辑中直接调用搜索引擎的API进行同步更新。这种强耦合的设计在生产环境中脆弱不堪：搜索引擎一次抖动或网络延迟，就会直接拖慢主业务的API响应时

2023-10-27 后端架构

Solr Go-Fiber Vue.js Redis Streams

27

在一个典型的微服务架构中，服务间的通信默认是明文的。这是一个长期被忽视但却致命的安全隐患。传统的解决方案是手动管理TLS证书，但这在服务数量增多时会迅速演变成一场运维灾难。我们的目标是为一套基于JavaScript的CQRS（命令查询职责分

2023-10-27 分布式系统

CQRS Jest JavaScript Consul Connect

27

Hadoop YARN 的 JobTracker 对于许多特定场景而言，是一个过于庞大且迟钝的黑箱。任务提交后，我们能做的往往只有等待，并通过一个刷新率感人的 Web UI 艰难地追踪进度。当任务失败时，诊断过程无异于一场考古，需要在成堆的

2023-10-27 分布式系统

Go MapReduce WebSockets Raft 协议 Hadoop 分布式调度