cozyqh
本站致力于IT相关技术的分享
  文章分类
可观测性 2 后端架构 5 云原生 2 分布式架构 6 DevOps 5 平台工程 1 架构与设计 2 云原生与DevOps 1 全栈开发 1 DevSecOps 1 数据工程 1 架构设计 1 分布式系统 2
使用 Tyk Python 插件与事件驱动架构实现数据库分片的动态路由 使用 Tyk Python 插件与事件驱动架构实现数据库分片的动态路由
我们的用户服务扛不住了。单体 PostgreSQL 实例的写入 I/O 已经饱和，垂直扩展的成本曲线变得异常陡峭。唯一的出路是水平扩展，也就是数据库分片 (Sharding)。这个决定不难做，但随之而来的问题却极其棘手：分片逻辑应该放在哪里
2023-10-27 分布式架构
Python 事件驱动架构 (EDA) Tyk 数据库分片 API网关
将WebSocket视频流路由到动态CV工作节点的负载均衡与服务发现实现 将WebSocket视频流路由到动态CV工作节点的负载均衡与服务发现实现
一个独立的Python CV处理服务，通过WebSocket接收视频帧，进行模型推理，再将结果发回，这套原型工作得很好。问题出现在尝试水平扩展时。简单地启动多个服务实例，在前面挂一个Nginx做轮询负载均衡，立刻就暴露了架构的脆弱性。Web
2023-10-27 分布式架构
CV WebSockets 服务发现 gRPC Consul
实现Java向Python Celery通过Azure Service Bus的透明任务分发 实现Java向Python Celery通过Azure Service Bus的透明任务分发
一个常见的企业级场景是：核心业务系统由Java构建，稳定而健壮；而数据处理、机器学习或异步任务则由Python生态下的Celery集群负责。当Java系统需要触发一个Python任务时，问题就出现了。如何在两个完全不同的技术栈之间，搭建一个
2023-10-27 分布式架构
Java Azure Service Bus Celery 异构系统 消息队列
使用 Koa GitHub Actions 和分布式锁构建一个健壮的 Python SciPy 计算工作流 使用 Koa GitHub Actions 和分布式锁构建一个健壮的 Python SciPy 计算工作流
我们面临一个棘手的需求：为内部的风控团队提供一个API，能够对上传的数百万条交易记录进行实时的异常点检测。Node.js生态，特别是Koa，处理高并发的I/O请求是家常便饭，但这次的核心计算依赖于Python的SciPy库，特别是其中的信号
2023-10-27 分布式架构
GitHub Actions Koa SciPy 分布式锁
基于BDD规范与Nacos动态配置的时序事件处理引擎实现 基于BDD规范与Nacos动态配置的时序事件处理引擎实现
项目中的监控告警规则一开始是硬编码在代码里的。每次业务需要调整一个阈值、增加一个告警维度，或者改变一个时间窗口，都意味着一次完整的“修改-测试-发布”流程。这不仅响应缓慢，而且风险很高。特别是对于时序数据驱动的复杂规则，比如“当A服务在过去
2023-10-27 分布式架构
BDD Nacos MyBatis TimescaleDB Redux
构建从Oracle CDC到Recoil前端的实时数据流架构 Ray Actor的实现与Rollup集成考量 构建从Oracle CDC到Recoil前端的实时数据流架构 Ray Actor的实现与Rollup集成考量
一个棘手的技术挑战摆在面前：一套承载着核心交易的Oracle OLTP系统，其性能已经高度优化，任何额外的查询负载都可能引发连锁反应。然而，业务方要求为这套系统构建一个全新的、高交互性的实时监控驾驶舱，延迟必须控制在秒级。直接轮询数据库的方
2023-10-27 分布式架构
Ray Oracle Recoil Rollup CDC 分布式