拿下它,解决分布式系统 80% 核心问题

来源:QQ快报
责任编辑:
字体:

文探讨了在分布式系统中,如何基于业务方面的考量、将RESTful与MQ(消息中间件)结合、解决事务完整性/数据一致性问题的架构设计。一、面向业务考量的最终一致性方案考虑这里先举两个例子。1、支付宝的“WS Transaction标准”尝试:支付宝在他们的分布式系统中为解决事务完整性的问题,曾经尝试过WS Transaction标准,但是经过实际做测试,最后发现成本实在是太高了。完成一个事务,为确保事务完整性,20多条的消息的交互,其中只有1条是业务消息,其他都是系统之间的协议消息。这就会导致客户端响应太慢,客户无法承受这样的性能。2、Ebay架构师的最终一致性方案:来自Ebay的架构师根据他们的最佳实践给出过解决方案。就是关于数据一致性的,比如他们的分布式存储如何保持数据一致性。其中探讨了“实时一致”与“严格事务”之间的悖论,他们采用了局部实时一致、全局最终一致的解决方案。在这里就需要从业务上辨别哪些操作是可以放宽的(允许不在一个事务中),哪些操作必须是原子性的。现在Ebay的整个架构就是基于“最终一致性”的,支付宝也从中受到启发,沿用该设计思路解决了“客户端迅速响应”和“服务端数据一致”的矛盾。故考虑系统架构设计的时候,不仅仅考虑技术,也把业务因素考虑进来,面向业务考量进行系统设计,会让我们在技术上做出更合理的抉择;谝滴窨悸,有利于得出事务的优先级别,也有利于作出架构设计上的最佳取舍。通常来说银行、证券系统的事务完整性(或者说数据一致性)具有绝对优先级,也就要求绝对严格的实时保证。而通讯系统在事务完整性(或者说数据一致性上)的优先级别上甚至没有支付宝和Ebay高,这两者都有复杂的帐务交易。如果他们也认为局部实时一致、全局最终一致就能够满足业务的要求,那么自然在通讯系统中也有其可行性。二、Restful与MQ技术适用场景分析一般而言Restful技术架构为对客户端开放的一组资源服务。在分布式系统中既有客户端与服务器之间的交互,又有服务器与服务器之间的交互。比如说XCAP协议就是标准的Restful风格的接口,提供客户端远程操作XML文档的服务,而“运营管理系统”调用其他业务系统接口,用以管理用户可被分配的服务以及权限等,则是服务器之间的信息交互。前者当然适合Restful风格的技术接口,后者个人更倾向于异步的、基于消息的通信方式。因为客户端与服务器通常是跨越互联网的,而服务器与服务器之间可能位于一个局域网内,甚至可能被安放在同一个机房。我们知道Restful风格的技术架构通常是通过JSON或者XML等进行信息的传递,总之都是通过“字符串格式”的封装进行信息传递。通过字符格式交互信息在使用上带来简便的同时,因为封装、解析、转换等过程使其在性能自然要付出一些代价,如果是服务器之间在更底层同类协议之间的数据交互性能就要高的多。这里顺便提到信息交互在不同场景下的性能顺序,按照从快到慢排序:1、同一进程之间的信息交互;2、同一机器两个进程之间的信息交互;3、两个分布机器之间的信息交互。因为HTTP是在TCP/IP协议之上的包装,WebService是在HTTP协议之上的包装,根据越低层协议之间的信息交互越高效的特征,从协议级由快到慢排序:1、基于TCP/IP协议的信息交互;2、基于HTTP协议的信息交互;3、基于WebService协议的信息交互。另外,因为“运营管理系统”与其他系统之间是直接交互的,比如运营要给某个用户开通某些特定服务,那就要分别调用提供这几个服务的业务系统的“细粒度”接口。一旦增加新的服务,也势必影响到运营管理系统的修改。我们说在分布式系统中有个原则,尽可能设计“粗粒度”接口,以减少系统之间的网络交互。如果在运营管理系统与其他业务系统之间由“消息中间件”来进行信息交互,那么:1、运营管理系统可以设计面向服务的“粗粒度”接口,开通几个服务只需要把几种类型的数据封装在一起,一次性传递给MQ。增加服务也只不过增加一种数据类型而已;2、MQ可以保证消息最终一定会被接收、处理。因为MQ可以实现基于“订阅-通知”的Event-Driven机制,业务系统只要在MQ中注册自己,就可以实时收到来自MQ的消息。即使出现系统或者网络异常,消息也会被MQ中间件持久化,一旦业务系统恢复,消息马上会被发往业务系统,这显然比目前采用的每隔一段时间扫描一次数据库要高效的多。三、MQ与最终一致性MQ消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行—它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。它为构造异步方式实现的分布式应用提供了松耦合方法,在应用中以执行多种功能,比如要求服务、交换信息或异步处理等。在分布式系统中,尤其是不同语言的分布式系统中,如果没有消息中间件完成信息交换,应用开发者为了高效传输数据,就要编写相应语言的应用程序来发送和接收信息,且交换信息没有标准方法,每个应用必须进行特定的编程从而和多平台、不同环境下的一个或多个应用通信。假如系统可以采用数据“局部实时一致、全局最终一致”的方案,就可以选择不需要支持事务的MQ中间件,因为其可以保证:即使在系统异常、网络异常等特殊情况下,消息也会被持久化,当系统恢复,消息马上会被处理,也即最终一定会被接受处理,也就是最终一致。而不需要支持事务的MQ性能及吞吐率都会很高。总之,个人倾向于用 Restful对客户端提供服务,服务器之间引入MQ服务,建立异步的、基于消息的信息交互方式,并基于数据局部实时一致、全局最终一致的原则,来解决事务问题www.vw-sh.com防采集请勿采集本网。

身为后端工程师,你对这类招聘要求肯定不陌生:熟悉分布式系统的设计和应用;熟悉分布式、缓存、消息、搜索等机制;能对分布式常用技术进行合理应用、解决问题等等。

分布式软件系统(Distributed Software Systems),是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译

而这其中,又以分布式协议与算法尤甚。很多知名公司在招聘架构师或高级工程师时,都要求你熟悉这部分内容。面试官不仅会考察其原理和运行机制,还有面试者对这类问题在架构设计层面的理解,以及具体场景下的应用。

您好,很高兴为您解答?聪抡飧鼍涂梢粤耍篽ttp://www.cnblogs.com/artech/archive/2010/09/08/1821856.html 如若满意,请点击右侧【采纳答案】,如若还有问题,请点击【追问】 希望我的回答对您

但以我作为面试官的多年经验来看,真正搞懂这部分的候选人少之又少。

分布式系统是一个一体化的系统,在整个系统中要有一个全局的操作系统,它负责全系统(包括每台计算机)的资源分配和调度、任务划分、信息传输、控制协调等工作,并为用户提供一个统一的界面、标准的接口。

其实,分布式协议与算法(下面简称分布式算法)是分布式系统运行的核心规则和关键步骤,想参透分布式技术、开发一个分布式系统,最先要掌握的就是这部分知识。

EJB是sun的服务器端组件模型,设计目标与核心应用是部署分布式应用程序。凭借java跨平台的优势,用EJB技术部署的分布式系统可以不限于特定的平台。EJB(Enterprise JavaBean)是J2EE的一部分,定义了一个

以时序数据库 InfluxDB 为例,很多技术团队试图自己实现 InfluxDB 的集群功能,但最终都放弃了。因为这里面的坑实在太多,甚至还有些人在接入性能敏感的场景,该使用反熵(Anti-Entropy)算法的时候,却用了 Raft 算法,使得集群性能约等同于单机。

为了解决大家在实施分布式服务化架构过程中关于分布式事务问题的困扰,将基于支付系统真实业务中的经典场景来对“可靠消息的最终一致性方案”、“TCC两阶段型方案”和“最大努力通知型方案”这3

如果你想使用集群功能,又无法基于开源版本自研,就只能购买人家的企业版。要知道,企业版每个节点的 License 授权费就要 1.5 万美刀 / 年,具体贵在哪呢?相比于已经开源的单机版本,其技术壁垒又是什么?

NI LabVIEW 8的分布式智能结合了相关的技术和工具,解决了分布式系统开发会碰到的一些挑战。更重要的是,NI LabVIEW 8的分布式智能提供的解决方案不仅令这些挑战迎刃而解,且易于实施。LabVIEW 8的分布式

其实,它的护城河就是以分布式算法为核心的分布式集群能力。由此可见,真正掌握分布式算法的人并不多。大多数人只是会用分布式系统,却并不具备分布式系统的独立开发能力。

所以,不论是基于工作需要,还是想寻求长期职业发展、提升职场竞争力,分布式算法作为分布式系统的核心,都是你在这个时代应该掌握的基本功。

如何高效学习分布式算法?

很多同学会发现,尽管看了很多资料和书籍,一旦涉及到具体问题,仍旧一头雾水:

众多开源软件看着都很厉害,事务型、一致性、最终一致性,哪个最适合自己的业务,又该如何选型呢?

想要实现数据副本的一致性,到底该选 Paxos 算法,还是 Raft 算法?

为什么我的集群接入性能低?为什么稍微出现峰值流量,业务就基本不可用了?

如何设计分布式系统架构呢?那么多算法,Paxos、Raft、Gossip、Nuorum NWR、PBFT 等等,究竟该选择哪个?

其实,算法本身相对抽象,即使是非常经典的论文,也有一些关键细节没有交代清楚。网上的信息大多是“复制粘贴”的结果,甚至有不少错误,给自主学习带来了很多障碍和误导。

在我看来,要掌握这部分内容,不仅要理解常用算法的原理、特点和局限性,还要根据场景特点选择适合的分布式算法。

为了帮你彻底拿下分布式技术,理解其中最核心和最为精妙的内容,我跟极客时间合作了专栏《分布式协议与算法实战》,力求将自己支撑海量互联网服务中的分布式算法实战心得全部分享给你,让你真正拿下这场攻坚战。

再具体一点说,就是能在工作中根据场景特点,灵活地设计架构和运用分布式算法,开发出适合该场景的分布式系统,对架构设计的理解更上一层楼。

扫描上图二维码,免费试读

结算时输入优惠口令「fenbushi6」

再减5 元,到手仅¥50

仅限【前 200 个】名额

我是谁?

我是韩健,腾讯资深工程师。从重庆大学的软件工程专业毕业后,我就开始和分布式系统打交道,至今已有 10 多年了。早期,我接触了电信级分布式系统,比如内核态 HA Cluster,现在是互联网分布式系统,比如名字服务、NoSQL 存储、监控大数平台等。

我曾做过创业公司的 CTO。在加入腾讯后,负责过 QQ 后台海量服务分布式中间件,现在致力于时序数据库 InfluxDB 自研集群系统的架构设计和研发工作。

我是如何讲解分布式算法的?

我将整个专栏划分成三大?椋

第一,理论篇,我会带你搞懂分布式架构设计的核心理论,学完即可落地实践。其中,涉及典型的分布式问题,分布式系统中的相互矛盾特性等,让你能在实战中根据场景特点选择适合的分布式算法。

第二,协议和算法篇,重点讲解其原理、特点、适用场景和常见误区。比如,你以为开发分布式系统使用 Raft 算法就足够了,其实它更适合性能要求不高的强一致性场景;又比如类似“Paxos 和 Raft 的区别在哪里”等常见面试题,你都会在这部分找到答案。

第三,实战篇,让你掌握分布式基础理论和分布式算法在工程实践中的应用。比如,剖析 InfluxDB 企业版的 CP 架构和 AP 架构的设计,以及 Raft、Quorum NWR、Anti-Entropy 等分布式算法的具体实现。

通过实战篇的学习,你可以了解如何根据场景特点选择适合的分布式算法,以及使用分布式算法的实战技巧。这样,你就可以根据工作中的实际情况举一反三,独立思考、设计开发了。

除此之外,我还会剖析 Hashicorp Raft 的实现,并以一个分布式 KV 系统的开发实战为例,带你用 Raft 算法开发一个分布式系统,让你全面掌握分布式算法的实战能力。

总体来说,学完这个专栏,你会有 4 个收获:

可落地的 4 大分布式基础理论;

8 个最常用的分布式协议和算法;

3 大实战案例手把手教学;

以实战为中心的分布式内容体系。

现在订阅有什么福利?

扫描上图二维码试读,

输入优惠口令「fenbushi6」到手仅¥50,

仅限【前 200 个】名额。

疫情虽严重,时间却是自己的。大部分人的状态:有时间的时候不学,没时间时又抱怨太忙。

不如趁这段时间,做一些真正提升自己的事情。

优惠口令仅限【前 200 个】名额有效,

高考,你必须拿下它,College entrance examination,you have to take it,内容来自www.vw-sh.com请勿采集。

声明:以上内容并不代表本网赞同其观点。如有任何问题,请与不良与违法信息举报中心联系:513175919@qq.com。

www.vw-sh.com true http://www.vw-sh.com/q/20200212/20200212A0752D00.html report 29723
娱乐时尚
  • 高考,你必须拿下它,翻译英语
  • 如何解决分布式系统数据事务一致性问题
  • 什么是分布式系统架构
  • 分布式处理是什么意思
  • 什么是分布式操作系统?
  • 如何解决分布式系统中的跨时区问题
  • 分布式操作系统有哪些?
  • java 分布式系统解决方案
  • Java分布式系统处理分布式事务有哪些经典解决方案
  • 分布式操作系统是什么?它用在服务器上吗?
  • Java分布式系统处理分布式事务有哪些经典解决方
  • 历史文化
    真视界
    旅游美食
    精彩图文
    我爱我车
    母婴健康
    关于本站 | 广告服务 | 手机版 | 商务合作 | 免责申明 | 招聘信息 | 联系我们
    Copyright © 2004-2018 book1234.com All Rights Reserved. 布客网 版权所有
    京ICP备10044368号-1 京公网安备11010802011102号
    北京快乐8 天天棋牌| 斗牛棋牌| 斗牛棋牌| 棋牌游戏| 波克棋牌|