背景 中小型公司很少有自建机房,多使用云商的 Spot 机器,为了保障能分配足够的机器,通常会选多种机型。不同机型因为制造商、代际的差异,相同核心和内存的情况下,性能差异也非常大。 且中小公司通常没有成建制的基础组件开发维护小组,甚至没有在维护的公共服务发现组件,需要在此背景下解决推理服务在不同机型
前言 性能优化系列的初篇,起笔前有些犹豫,在大语言模型盛行的当下,再去写技术文章还有意义吗?想到一个很搞的理由,大模型没有经历过切肤之痛,写不出那种感同身受的感觉,哈。 最近这几年一直在做程序化广告的算法引擎,偏重在线部分,对高并发服务的性能和稳定性优化有一些经验。不管是汇量还是易点,流量仿佛取之不
背景 来到易点之后,并没有什么 C++ 的语言环境,配置中心依赖 Apollo,又苦于没有合适的 Apollo Client 可用,故周末抽出一些时间,写了一个简单的 C++ 版本的 Apollo Client。 功能 目前只实现了简单的读和订阅功能。 class ApolloClient { pu
背景 在业务系统中,多语言混合的工程架构是常态,服务之间使用 IDL (Interactive Data Language) 实现进行多语言的目标代码生成、数据的通讯是当前的主流方式。 在近些年的开发实践中,主要接触 Protobuf 和 Flatbuffers,Protobuf 使用更为广泛,这里
简介 功夫熊猫(Kung Fu Panda),目标是想做成一个通用的请求录制、回放、响应对比、压测平台,目前请求录制、回放、响应对比完成度已经很高,支持 http、grpc 协议。 这件事的背景是,业务系统会有非常大的改动,但是没有测试流程,甚至无法通过回放请求来验证改动。 接口 下面是 HTTP
工作以来一直在围绕数据转,算法引擎无非是搭建数据流通管道并做存储,再进行知识提取得到模型,最后再应用模型(使用知识)。 其实一直想做一个数据相关的网站,为此还买过两个域名。打算搭建一个爬虫系统,先爬取一部分公开信息,期待哪天能有些用处。 欢迎交流,技术或想法都可。