Kafka为什么会这么快

摘要:北京时间20200330关于【Kafka为什么会这么快】的具体情况和说明,让www.seektobao.com新闻频道以图文形式为您慢慢道来。

向您推荐
继续播放

性能对比

为什么kafka会这么快呢?发布订阅模式

一个普通的发布订阅模型如下图所示:

发布订阅模式

顺序写入

kafka每次收到新的消息之后都会将消息存储在尾部,按照顺序存储消息。但是消息一旦存储无法删除。

当消费者消费时也是顺序消费,每个消费者会有一个偏移量,记录当前消费的消息的位置。如下图所示:

顺序消费

write操作

数据会先从用户空间拷贝到内核空间,然后再由内核空间写入IO设备。而MMFile则省去了一次用数据从户空间到内核空间复制的开销。读取快

读取快主要是因为零拷贝(Zero Copy)技术。上面介绍到数据从内存空间写入磁盘的步骤,那么从磁盘读取数据刚好相反,具体过程如下:

read操作

数据先从磁盘读取到内核空间,然后再从内核空间复制到用户空间,然后再到Socket,最后传输到消费者。

Linux提供了一种sendFile系统调用,可以将数据直接由磁盘拷贝到内核空间。省去了一次数据从用户空间到内核空间的复制。这就是所谓的零拷贝技术。

上面从读写两个角度分析了为什么kafka吞吐量高,其实还有一个重要的原因。批量数据压缩

kafka不会对每个消息都做压缩,而是对一批消息压缩,然后将数据统一发送。将所有的消息变为一个批量文件,然后直接丢给消费者。

综上所述,kafka通过MMFile技术快速将数据顺序写入磁盘,在读取时通过零拷贝技术快速读取,然后通过批量数据压缩将数据传输到消费者。这就是kafka快的秘诀。然而鱼与熊掌不可兼得,速度和可靠性不可能同时满足,需要根据实际业务情况在二者之间作出取舍。例如当用kafka做日志聚合和网站用户行为分析时速度要比可靠性重要,而在某些消息不允许丢失的场景,可靠性可能是首选。


查看更多

实时推荐

赛康智能2019年净利2314.05万增长9.55% 应急防护一体化装置销售数量增加
推荐 国产av在线播放 2020-05-29 20:35 667 8102
平安环保2019年净利2808.95万增长16.63% 业务增加
推荐 国产av在线播放 2020-05-29 20:35 259 6193
平顶山尼龙新材料产业集聚区管委会考察团来青岛高新区考察学习
推荐 国产av在线播放 2020-05-29 20:35 413 1133
大团结2019年净利1658.99万增长26.71% 政府补助有所增加
推荐 国产av在线播放 2020-05-29 20:35 289 3374
慧源书城2019年亏损273.19万亏损增加 毛利率下降
推荐 国产av在线播放 2020-05-29 20:35 830 2690
政协荔波县第九届委员会第四次会议胜利闭幕
推荐 国产av在线播放 2020-05-29 20:35 199 1419
神州安信2019年亏损173.32万亏损减少 毛利率上涨
推荐 国产av在线播放 2020-05-29 20:35 782 3962
超然科技2019年亏损12.79万亏损减少 智能硬件销售增加
推荐 国产av在线播放 2020-05-29 20:35 994 5195
这么年轻就一头白发,有这种情况的,需引起重视
推荐 国产av在线播放 2020-05-29 20:35 373 5921
铁岭市妇婴医院成功召开第四届第二十二次职工代表大会
推荐 国产av在线播放 2020-05-29 20:35 873 5349
银联信2019年亏损69.12万亏损减少 营业成本的减少
推荐 国产av在线播放 2020-05-29 20:35 476 6603
众事达2019年亏损246.28万亏损减少 网店运营托管服务收入增加
推荐 国产av在线播放 2020-05-29 20:35 134 9610
评测 | 雷克萨斯 UX:后浪人生,不能不浪,也不能太浪
推荐 国产av在线播放 2020-05-29 20:35 960 7332
蓝宇传媒2019年亏损141.54万由盈转亏 计提坏帐金额所增加
推荐 国产av在线播放 2020-05-29 20:35 995 9661
聚“四力”促“四合”厚植税务文明沃土
推荐 国产av在线播放 2020-05-29 20:35 268 4614
全市“十三五”易地扶贫搬迁项目市级竣工验收靖远县反馈会议召开
推荐 国产av在线播放 2020-05-29 20:35 627 6647
ST喜乐航2019年亏损3584.75万亏损减少 销售费用降低
推荐 国产av在线播放 2020-05-29 20:35 178 7270
力佳科技2019年净利3099.81万增长48.35% 销售收入显著提高
推荐 国产av在线播放 2020-05-29 20:35 757 9859
濉溪县铁佛中心学校团委举行“关爱女生,呵护成长”主题讲座
推荐 国产av在线播放 2020-05-29 20:35 928 7240
黄冈“最牛”的3所高中,黄冈中学强势领跑,另外两所是谁?
推荐 国产av在线播放 2020-05-29 20:35 92 5484
新电电气2019年净利200.5万增长2.4% 其他应收款增加
推荐 国产av在线播放 2020-05-29 20:35 968 1743
博太科2019年净利39.79万下滑82.44% 子公司杭州麦狐营业收入大幅度下降
推荐 国产av在线播放 2020-05-29 20:35 988 2134
汇购科技2019年亏损193.11万由盈转亏 保险用户汽车后市场服务毛利率较低
推荐 国产av在线播放 2020-05-29 20:35 266 3883
保山市检察机关开展“同舟共济,检护明天”检察开放日活动
推荐 国产av在线播放 2020-05-29 20:35 308 9818
楚古兰街道举办“不忘初心、凝魂聚气、 固本强基”主题宣传活动
推荐 国产av在线播放 2020-05-29 20:35 484 1992
健康中原行科普专家徐凤梅:不少名人患糖尿病,高龄去世,没什么并发症
推荐 国产av在线播放 2020-05-29 20:35 993 4256
长沙天心区:创新“协商 基层治理”新模式 释放基层治理新力量
推荐 国产av在线播放 2020-05-29 20:35 832 1180
马金岛战役,美军兵力是日军的9倍,为何赢得那么“难看”?
推荐 国产av在线播放 2020-05-29 20:34 921 6889
上交所:在把好质量关基础上适当提高科创板审核速度
推荐 国产av在线播放 2020-05-29 20:34 652 7584
积成电子:中标1.16亿元国家电网项目
推荐 国产av在线播放 2020-05-29 20:34 161 1748
天津市医疗器械质量监督检验中心资质认定证书被注销
推荐 国产av在线播放 2020-05-29 20:34 135 1374
微视频也有大力量——六盘水市税务局《税收对对碰》网络节目初放异彩
推荐 国产av在线播放 2020-05-29 20:34 505 9298
海南政法职业学院为学生备好“开学第一课”
推荐 国产av在线播放 2020-05-29 20:34 168 8240
这种病,死亡率最高可达80%,每个女人都有可能遇到
推荐 国产av在线播放 2020-05-29 20:34 939 9456
安全性超高的沃尔沃S90,销量不佳,受品牌影响还是产品力?
推荐 国产av在线播放 2020-05-29 20:34 493 7010
水泉镇开展“5.29计生协会”宣传活动
推荐 国产av在线播放 2020-05-29 20:34 614 8023
耳鸣的故事,给你的提示
推荐 国产av在线播放 2020-05-29 20:34 432 6045
青岛西海岸新区六汪镇:全域布局健康产业 倾力打造健康小镇
推荐 国产av在线播放 2020-05-29 20:34 236 2375
襄阳围攻战:南宋与蒙古帝国的强弱之势倒影
推荐 国产av在线播放 2020-05-29 20:34 630 5451
十几岁就喝汾酒的诗人杜甫,才华横溢,还称自己是酒豪
推荐 国产av在线播放 2020-05-29 20:34 927 5816
深交所发布交易与关联交易信披指引,规则“瘦身”+放管结合
推荐 国产av在线播放 2020-05-29 20:33 386 761
北部湾港:近几年公司的港口收费标准比较平稳
推荐 国产av在线播放 2020-05-29 20:33 235 1800
《甄嬛传》剧中湖水太脏,眉庄落水后就一直长痘,戏拍完都没好!
推荐 国产av在线播放 2020-05-29 20:33 912 9370
实战练兵出成效,上饶经开交警连续查获两辆套牌车
推荐 国产av在线播放 2020-05-29 20:33 320 3350
养左肝只为切右肝,专家巧施妙完成胆管癌根治术
推荐 国产av在线播放 2020-05-29 20:33 125 8893
ST国重装:公司股票将于6月8日在上交所重新上市交易
推荐 国产av在线播放 2020-05-29 20:33 311 9957
西洛街道武装部组织开展防汛救灾演练
推荐 国产av在线播放 2020-05-29 20:33 501 5535
国内初创企业布局汽车芯片挑战几何?
推荐 国产av在线播放 2020-05-29 20:33 834 4060
有毒的果实,你敢吃吗?
推荐 国产av在线播放 2020-05-29 20:33 481 6095
日常生活中,开奔驰E300L需要啥样的经济基础?老司机说出了实话
推荐 国产av在线播放 2020-05-29 20:33 568 2074
种植莲藕的重要方式,掌握田间管理技术,提高农民经济效益
推荐 国产av在线播放 2020-05-29 20:33 609 2484
《甄嬛传》里最贵的5个道具,华妃占3个,最珍贵的在皇上手里
推荐 国产av在线播放 2020-05-29 20:33 708 6499
路虎设计师没白请,长城哈弗新车很硬气!网友:怪不得像卫士
推荐 国产av在线播放 2020-05-29 20:33 499 3235
在国奥下课253天后,希丁克获韩国巨星盛赞:真正的大师级名帅
推荐 国产av在线播放 2020-05-29 20:33 629 6450
姚嵩到杜康酒厂参观华夏第一窖
推荐 国产av在线播放 2020-05-29 20:33 312 5799
沈阳和平区启动“品质社区”建设 提升居民的幸福感
推荐 国产av在线播放 2020-05-29 20:33 404 6731
避免心脑血管B找上门,睡醒时千万不要做这4件事
推荐 国产av在线播放 2020-05-29 20:33 516 7455
库伦旗:打好脱贫攻坚收官战 向贫困最后堡垒总攻
推荐 国产av在线播放 2020-05-29 20:33 333 1958
中国银行燕郊大厂支行疫情期间服务不打烊
推荐 国产av在线播放 2020-05-29 20:33 893 2437
玉门:“个人品牌”调解调出和谐新天地
推荐 国产av在线播放 2020-05-29 20:33 998 9651
鸭脚木枝软萎蔫,长势弱怎么办?“扦插、上盆”双管齐下,获新生
推荐 国产av在线播放 2020-05-29 20:33 816 9445
山东师大附小大学城校区举行春季复学升旗仪式
推荐 国产av在线播放 2020-05-29 20:32 794 5633
“应进必进”!江苏推动政务服务事项“一门”办理
推荐 国产av在线播放 2020-05-29 20:32 425 7212
上市不到一个月,新君越就降到19万左右了,性价比果然高
推荐 国产av在线播放 2020-05-29 20:32 657 6139
英国男家中玩创意“抓娃娃机”,倒抱女儿浴缸抓玩具引发网友热议
推荐 国产av在线播放 2020-05-29 20:32 356 3110
手机“关机”再启动和重启有何区别?做到这五点,手机寿命多三年
推荐 国产av在线播放 2020-05-29 20:32 459 7773
多尔衮坠马而死?其真实死因揭秘,皇太极也极有可能命丧于此
推荐 国产av在线播放 2020-05-29 20:32 986 3413
北京劳动者之歌|大兴区庞各庄镇东南次村:筑牢三道抗“疫”防线
推荐 国产av在线播放 2020-05-29 20:32 263 6964
聊城市人民代表大会选举和通过的国家工作人员向宪法宣誓
推荐 国产av在线播放 2020-05-29 20:32 683 6875
原创 开心一刻笑话:今天周末在家休息,突然接到一个陌生的电话
推荐 国产av在线播放 2020-05-29 20:32 655 6978
这两款“固体饮料”又来冒充“特医奶粉”
推荐 国产av在线播放 2020-05-29 20:32 823 2223
原创 殷桃素颜丑是假的,只是光线不好衬得肤色黄,其实她皮肤紧致!
推荐 国产av在线播放 2020-05-29 20:32 675 3442
原创 夺冠概率不到1%!火箭一顿操作毁掉多年努力,双MVP成最大笑话?
推荐 国产av在线播放 2020-05-29 20:32 166 9145
黑龙江省首批企业“头雁”工作站在齐齐哈尔揭牌
推荐 国产av在线播放 2020-05-29 20:31 369 7765
男子家住17楼发现承重墙开裂,上楼一查看发现楼上竟多建起了3层
推荐 国产av在线播放 2020-05-29 20:31 841 6735
“电动车不等于新能源”,能源专家为何这样说?
推荐 国产av在线播放 2020-05-29 20:31 863 3376
西吉县马莲乡开展大排查大管控大宣传专项行动
推荐 国产av在线播放 2020-05-29 20:31 956 2499
未满6个月的宝宝,父母别有这3种行为,容易影响宝宝的脊柱发育
推荐 国产av在线播放 2020-05-29 20:31 315 5145
这几个时间点不要给宝宝喂奶,百害无一利
推荐 国产av在线播放 2020-05-29 20:31 808 4815
对私搭乱建“零容忍”,助力文明城市建设
推荐 国产av在线播放 2020-05-29 20:31 602 1033
陈学冬居家生活照,展现硬朗结实好身材,网友:谁的男友请领走
推荐 国产av在线播放 2020-05-29 20:31 355 1315
荣县青阳街道“四在前”吹响脱贫攻坚总攻号
推荐 国产av在线播放 2020-05-29 20:31 978 5711
26家酒店集团与支付宝达成战略合作,25000家“数字酒店”会员特权可一键领取
推荐 国产av在线播放 2020-05-29 20:31 667 5309
被人遗忘的女演员,因《甄嬛传》走红,但因太懒失去“华妃”一角
推荐 国产av在线播放 2020-05-29 20:31 352 7474
【创建全国禁毒示范城市--榆中在行动】城关镇持续开展禁种铲毒工作
推荐 国产av在线播放 2020-05-29 20:31 813 938
里岔镇卫生院开展形式多样、丰富多彩的“5.29会员活动日”宣传服务活动
推荐 国产av在线播放 2020-05-29 20:31 470 1384
严塘小学上"防溺安全课"
推荐 国产av在线播放 2020-05-29 20:31 161 1579
「工作动态」海晏县公安局“三步”加强工作职能,提升村警工作效率
推荐 国产av在线播放 2020-05-29 20:31 818 3242
潍坊市寿光:改善乡村环境 提升乡村“颜值”
推荐 国产av在线播放 2020-05-29 20:31 524 895
为“荣耀”而战,武汉冠军战队携手荣耀X10王者归来
推荐 国产av在线播放 2020-05-29 20:31 802 8775
许昌隆源长葛分公司:带电作业不惧高温炎热用心服务客户
推荐 国产av在线播放 2020-05-29 20:31 967 4846
《报告》起草组:今年政策执行可能面临两个挑战
推荐 国产av在线播放 2020-05-29 20:31 803 1888
创新宣讲载体 讲好红色故事
推荐 国产av在线播放 2020-05-29 20:31 669 798
戴黔山到羊坪镇调研
推荐 国产av在线播放 2020-05-29 20:31 410 5928
临武县乡镇第一片区基层党建工作推进会召开
推荐 国产av在线播放 2020-05-29 20:31 742 5038
用人工智能识别垃圾暴露、共享单车乱放,上海试点“AI+一网统管”
推荐 国产av在线播放 2020-05-29 20:31 478 5353
NBA交易传闻:今夏NBA的三大超巨交易,字母哥下家会是勇士吗?
推荐 国产av在线播放 2020-05-29 20:31 265 3944
预计更多棋战在网上进行 广泛引入有难度
推荐 国产av在线播放 2020-05-29 20:31 145 9834
世锦赛记忆中的那些年、那些城:格拉斯哥,老将坚守,新人担当
推荐 国产av在线播放 2020-05-29 20:31 573 6413
华金国际资本(00982):浦永灏已获委任为独立非执行董事
推荐 国产av在线播放 2020-05-29 20:30 300 7245