分布式RPC框架性能大比拼

article/2025/10/2 13:53:54

点击上方“后端技术精选”,选择“置顶公众号”

技术文章第一时间送达!


来源:鸟窝

链接:http://985.so/aXe2

(点击即可跳转阅读)

1. SpringBoot内容聚合

2. 面试题内容聚合

3. 设计模式内容聚合

4. 排序算法内容聚合

5. 多线程内容聚合

Dubbo 是阿里巴巴公司开源的一个Java高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输出和输入功能,可以和 Spring框架无缝集成。

不过,略有遗憾的是,据说在淘宝内部,dubbo由于跟淘宝另一个类似的框架HSF(非开源)有竞争关系,导致dubbo团队已经解散,反到是当当网的扩展版本仍在持续发展,墙内开花墙外香。

参见:

http://www.oschina.net/news/55059/druid-1-0-9 中的评论

其它的一些知名电商如当当、京东、国美维护了自己的分支或者在dubbo的基础开发,但是官方的库缺乏维护,相关的依赖类比如Spring,Netty还是很老的版本(Spring 3.2.16.RELEASE, netty 3.2.5.Final),倒是有些网友写了升级Spring和Netty的插件。

Motan是新浪微博开源的一个Java 框架。它诞生的比较晚,起于2013年,2016年5月开源。Motan 在微博平台中已经广泛应用,每天为数百个服务完成近千亿次的调用。

rpcx是Go语言生态圈的Dubbo, 比Dubbo更轻量,实现了Dubbo的许多特性,借助于Go语言优秀的并发特性和简洁语法,可以使用较少的代码实现分布式的RPC服务。

gRPC是Google开发的高性能、通用的开源RPC框架,其由Google主要面向移动应用开发并基于HTTP/2协议标准而设计,基于ProtoBuf(Protocol Buffers)序列化协议开发,且支持众多开发语言。本身它不是分布式的,所以要实现上面的框架的功能需要进一步的开发。

thrift是Apache的一个跨语言的高性能的服务框架,也得到了广泛的应用。

以下是它们的功能比较:

640?wx_fmt=png

对于RPC的考察, 性能是很重要的一点,因为RPC框架经常用在服务的大并发调用的环境中,性能的好坏决定服务的质量以及公司在硬件部署上的花费。

本文通过一个统一的服务,测试这四种框架实现的完整的服务器端和客户端的性能。

这个服务传递的消息体有一个protobuf文件定义:

syntax = "proto2";package main;option optimize_for = SPEED;message BenchmarkMessage {  required string field1 = 1;  optional string field9 = 9;  optional string field18 = 18;  optional bool field80 = 80 [default=false];  optional bool field81 = 81 [default=true];  required int32 field2 = 2;  required int32 field3 = 3;  optional int32 field280 = 280;  optional int32 field6 = 6 [default=0];  optional int64 field22 = 22;  optional string field4 = 4;  repeated fixed64 field5 = 5;  optional bool field59 = 59 [default=false];  optional string field7 = 7;  optional int32 field16 = 16;  optional int32 field130 = 130 [default=0];  optional bool field12 = 12 [default=true];  optional bool field17 = 17 [default=true];  optional bool field13 = 13 [default=true];  optional bool field14 = 14 [default=true];  optional int32 field104 = 104 [default=0];  optional int32 field100 = 100 [default=0];  optional int32 field101 = 101 [default=0];  optional string field102 = 102;  optional string field103 = 103;  optional int32 field29 = 29 [default=0];  optional bool field30 = 30 [default=false];  optional int32 field60 = 60 [default=-1];  optional int32 field271 = 271 [default=-1];  optional int32 field272 = 272 [default=-1];  optional int32 field150 = 150;  optional int32 field23 = 23 [default=0];  optional bool field24 = 24 [default=false];  optional int32 field25 = 25 [default=0];  optional bool field78 = 78;  optional int32 field67 = 67 [default=0];  optional int32 field68 = 68;  optional int32 field128 = 128 [default=0];  optional string field129 = 129 [default="xxxxxxxxxxxxxxxxxxxxx"];  optional int32 field131 = 131 [default=0];}

相应的Thrift定义文件为

namespace java com.colobu.thriftstruct BenchmarkMessage{  1:  string field1,  2:  i32 field2,  3:  i32 field3,  4:  string field4,  5:  i64 field5,  6:  i32 field6,  7:  string field7,  9:  string field9,  12:  bool field12,  13:  bool field13,  14:  bool field14,  16:  i32 field16,  17:  bool field17,  18:  string field18,  22:  i64 field22,  23:  i32 field23,  24:  bool field24,  25:  i32 field25,  29:  i32 field29,  30:  bool field30,  59:  bool field59,  60:  i32 field60,  67:  i32 field67,  68:  i32 field68,  78:  bool field78,  80:  bool field80,  81:  bool field81,  100:  i32 field100,  101:  i32 field101,  102:  string field102,  103:  string field103,  104:  i32 field104,  128:  i32 field128,  129:  string field129,  130:  i32 field130,  131:  i32 field131,  150:  i32 field150,  271:  i32 field271,  272:  i32 field272,  280:  i32 field280,}service Greeter {    BenchmarkMessage say(1:BenchmarkMessage name);}

事实上这个文件摘自gRPC项目的测试用例,使用反射为每个字段赋值,使用protobuf序列化后的大小为 581 个字节左右。因为Dubbo和Motan缺省不支持Protobuf,所以序列化和反序列化是在代码中手工实现的。

服务很简单:

service Hello {  // Sends a greeting  rpc Say (BenchmarkMessage) returns (BenchmarkMessage) {}}

接收一个BenchmarkMessage,更改它前两个字段的值为"OK" 和 100,这样客户端得到服务的结果后能够根据结果判断服务是否正常的执行。

Dubbo的测试代码改自:

https://github.com/alibaba/dubbo/tree/master/dubbo-demo

Motan的测试代码改自:

https://github.com/weibocom/motan/tree/master/motan-demo

rpcx和gRPC的测试代码在:

https://github.com/smallnest/rpcx/tree/master/_benchmarks

Thrift使用Java进行测试。

正如左耳朵耗子对Dubbo批评一样,Dubbo官方的测试不正规 (性能测试应该怎么做?)。

本文测试将用吞吐率、相应时间平均值、响应时间中位数、响应时间最大值进行比较(响应时间最小值都为0,不必比较),当然最好以Top Percentile的指标进行比较,但是我没有找到Go语言的很好的统计这个库,所以暂时比较中位数。

另外测试中服务的成功率都是100%。

测试是在两台机器上执行的,一台机器做服务器,一台机器做客户端。

两台机器的配置都是一样的,比较老的服务器:

  • CPU: Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10GHz, 24 cores

  • Memory: 16G

  • OS: Linux 2.6.32-358.el6.x86_64, CentOS 6.4

  • Go: 1.7

  • Java: 1.8

  • Dubbo: 2.5.4-SNAPSHOT (2016-09-05)

  • Motan: 0.2.2-SNAPSHOT (2016-09-05)

  • gRPC: 1.0.0

  • rpcx: 2016-09-05

  • thrift: 0.9.3 (java)

分别在client并发数为100、500、1000、2000 和 5000的情况下测试,记录吞吐率(每秒调用次数, Throughput)、响应时间(Latency) 、成功率。

(更精确的测试还应该记录CPU使用率、内存使用、网络带宽、IO等,本文中未做比较)

首先看在四种并发下各RPC框架的吞吐率:

640?wx_fmt=png

rpcx的性能遥遥领先,并且其它三种框架在并发client很大的情况下吞吐率会下降。
thrift比rpcx性能差一点,但是还不错,远好于gRPC,dubbo和motan,但是随着client的增多,性能也下降的很厉害,在client较少的情况下吞吐率挺好。

在这四种并发的情况下平均响应:

640?wx_fmt=png

这个和吞吐率的表现是一致的,还是rpcx最好,平均响应时间小于30ms, Dubbo在并发client多的情况下响应时间很长。

我们知道,在微服务流行的今天,一个单一的RPC的服务可能会被不同系统所调用,这些不同的系统会创建不同的client。如果调用的系统很多,就有可能创建很多的client。

这里统计的是这些client总的吞吐率和总的平均时间。

平均响应时间可能掩盖一些真相,尤其是当响应时间的分布不是那么平均,所以我们还可以关注另外一个指标,就是中位数。

这里的中位数指小于这个数值的测试数和大于这个数值的测试数相等。

gRPC框架的表现最好。

另外一个就是比较一下最长的响应时间,看看极端情况下各框架的表现:

640?wx_fmt=png

rpcx的最大响应时间都小于1秒,Motan的表现也不错,都小于2秒,其它两个框架表现不是太好。

本文以一个相同的测试case测试了四种RPC框架的性能,得到了这四种框架在不同的并发条件下的性能表现。期望读者能提出宝贵的意见,以便完善这个测试,并能增加更多的RPC框架的测试。

看到这里了,关注一个?

640?wx_fmt=jpeg



http://chatgpt.dhexx.cn/article/8ddZaVbe.shtml

相关文章

C++微服务RPC框架,一文带你彻底搞懂 RPC

RPC(Remote Procedure Call),是一个大家既熟悉又陌生的词,只要涉及到通信,必然需要某种网络协议。我们很可能用过HTTP,那么RPC又和HTTP有什么区别呢?RPC还有什么特点,常见的选型有哪…

手动实现一个RPC框架 (一):RPC的介绍

手动实现RPC框架 最近在备战22年暑假实习的招聘,由于之前也没有实习的经验,所以在项目经验这方面也比较缺乏。在跟着B站尚硅谷的课程学习完微服务和分布式组件的内容后又跟着写了尚医通的微服务实战项目。尚医通项目中有使用到OpenFeign和FeignClient来远…

[转]php中流行的rpc框架有哪些?

什么是rpc框架 先回答第一个问题:什么是RPC框架? 如果用一句话概括RPC就是:远程调用框架(Remote Procedure Call) 那什么是远程调用? 通常我们调用一个php中的方法,比如这样一个函数方法: loc…

中间件 rpc是什么?php中流行的中间件rpc框架有哪些

rpc是什么?php中流行的rpc框架有哪些。 更好的排版:https://www.zybuluo.com/phper/note/76641 什么是rpc框架 先回答第一个问题:什么是RPC框架? 如果用一句话概括RPC就是:远程调用框架(Remote Procedure C…

rpc是什么?php中流行的rpc框架有哪些?

什么是rpc框架 先回答第一个问题:什么是RPC框架?如果用一句话概括RPC就是:远程调用框架(Remote Procedure Call) 那什么是远程调用? 通常我们调用一个php中的方法,比如这样一个函数方法: localA…

常用的RPC框架

为什么要使用RPC? RPC(remote procedure call)是指远程过程调用,比如两台服务器A和B,A服务器上部署一个应用,B服务器上部署一个应用,A服务器上的应用想调用B服务器上的应用提供的接口&#xff0…

Go语言 - RPC框架

1.什么是RPC RPC - Remote Procedure Calls 远程函数调用 相当于本地将参数上传到云端,云端根据形参计算返回结果,并返还给本地。 2.RPC需要解决的问题 函数映射 数据转换成字节流 网络传输 3.一次RPC的完整过程 IDL文件:通过一种中立…

主流的RPC框架有哪些

RPC是远程过程调用的简称,广泛应用在大规模分布式应用中,作用是有助于系统的垂直拆分,使系统更易拓展。Java中的RPC框架比较多,各有特色,广泛使用的有RMI、Hessian、Dubbo等。RPC还有一个特点就是能够跨语言。 1、RMI&…

简单使用iPhone自带视频播放器

利用苹果自带的视频播放器播放视频 在调用方法前&#xff0c;我们需要包含头文件 #import <MediaPlayer/MediaPlayer.h> 然后调用系统的方法&#xff0c;来实现视频播放。只需简单几步即可 1.获取要播放的视频的路径 NSString *path [[NSBundle mainBundle]pathForR…

iOS 音视频录制之播放视频,AVPlayer可播放本地视频和在线视频

文章目录 在开发中&#xff0c;单纯使用AVPlayer类是无法显示视频的&#xff0c;要将视频层添加至AVPlayerLayer中&#xff0c;这样才能将视频显示出来&#xff0c;所以先在ViewController的interface中添加以下属性 property (nonatomic ,strong) AVPlayer *player; property …

【iOS】视频播放之AVPlayer

【iOS】视频播放之AVPlayer iOS平台使用播放视频&#xff0c;可用的选项一般有这四个&#xff0c;他们各自的作用和功能如下&#xff1a; 使用环境优点缺点AVPlayerViewControllerAVKit简单易用不可定制MPMoviePlayerControllerMediaPlayer简单易用不可定制IJKPlayerIJKMedi…

【iOS】AVPlayer 播放音视频

1、常见的音视频播放器 iOS开发中不可避免地会遇到音视频播放方面的需求。 常用的音频播放器有 AVAudioPlayer、AVPlayer 等。不同的是&#xff0c;AVAudioPlayer 只支持本地音频的播放&#xff0c;而 AVPlayer 既支持本地音频播放&#xff0c;也支持网络音频播放。 常用的视…

【iOS】AVPlayer 视频播放

视频播放器的类别 iOS开发中不可避免地会遇到音视频播放方面的需求。 常用的音频播放器有 AVAudioPlayer、AVPlayer 等。不同的是&#xff0c;AVAudioPlayer 只支持本地音频的播放&#xff0c;而 AVPlayer 既支持本地音频播放&#xff0c;也支持网络音频播放。 常用的视频播放…

iOS音视频播放-AVPlayer简单使用

按公司需求需要对音频文件进行后台播放,借此机会对音频播放做了个总结.主要针对 AVPlayer 进行详细说明. iOS 各播放器比较 名称使用环境优点确点System Sound ServicesAVFoundationC语言的底层写法&#xff0c;节省内存支持的格式有限&#xff0c;音量无法通过音量键控制&…

iOS音视频播放指南(二)

1. 让你的App支持画中画 画中画指可以让视频在小窗中播放,可以一边看视频一边刷知乎 你可以使用AVPlayerViewController或者AVPictureInPictureController来实现画中画播放。 其中AVPictureInPictureController支持你自定义一些播放控件 在支持画中画播放之前,确保你按照iOS音视…

iOS音视频播放指南(一)

1. 简介 苹果目前提供两个框架用来处理音视频播放 1.AVFoundation AVFoundation用于播放、处理音视频。可以通过结构图看到AVFoundation位于UIKit之下,很好理解AVFoundation并不提供用户界面,你可以自己自己构建用户界面来控制媒体的播放处理等功能。 但是苹果更推荐使用AVKit来…

iOS视频播放的基本方法

本文总结了iOS中最常见的视频播放方法&#xff0c;不同的方法都各具特点&#xff0c;我希望能够总结它们的不同&#xff0c;方便在开发中选择合适的技术方案。 Apple为我们提供了多种方法来实现视频播放&#xff0c;包括MPMoviePlayerController&#xff0c;MPMoviePlayerView…

【计算机系统1】4 Nim游戏

目录 目的与要求 内容与方法 步骤与过程 程序总体设计 核心数据结构及算法流程 核心代码 调试过程 界面展示子程序DISPLAY&#xff08;嵌套&#xff1a;球数展示子程序PUTBALL&#xff09; 游戏子程序GAME&#xff08;嵌套&#xff1a;单人每轮子程序PLAY&#xff09; 结论或体…

java nim游戏_LeetCode 292. Nim游戏

题目描述&#xff1a; 你和你的朋友&#xff0c;两个人一起玩 Nim游戏&#xff1a;桌子上有一堆石头&#xff0c;每次你们轮流拿掉 1 - 3 块石头。 拿掉最后一块石头的人就是获胜者。你作为先手。 你们是聪明人&#xff0c;每一步都是最优解。 编写一个函数&#xff0c;来判断你…

Nim游戏、3的幂、4的幂

&#x1f345; Java学习路线&#xff1a;Java学习路线 &#x1f345; 简介&#xff1a;Java领域优质创作者&#x1f3c6;、CSDN哪吒公众号作者✌ 、Java架构师奋斗者&#x1f4aa; &#x1f345; 百日刷题计划&#xff1a;第 12 / 100 天。 &#x1f345; 扫描主页左侧二维码&a…