背景 中小型公司很少有自建机房，多使用云商的 Spot 机器，为了保障能分配足够的机器，通常会选多种机型。不同机型因为制造商、代际的差异，相同核心和内存的情况下，性能差异也非常大。 且中小公司通常没有成建制的基础组件开发维护小组，甚至没有在维护的公共服务发现组件，需要在此背景下解决推理服务在不同机型
发布于 2025-08-29
前言 性能优化系列的初篇，起笔前有些犹豫，在大语言模型盛行的当下，再去写技术文章还有意义吗？想到一个很搞的理由，大模型没有经历过切肤之痛，写不出那种感同身受的感觉，哈。 最近这几年一直在做程序化广告的算法引擎，偏重在线部分，对高并发服务的性能和稳定性优化有一些经验。不管是汇量还是易点，流量仿佛取之不
发布于 2025-08-26
