1. 分布式系统介绍 中国科技大学软件学院 丁箐

2. 2 1.1 分布式系统概念 1.2 分布式系统的特点 1.3 硬件概念 1.4 软件概念 1.5 分布式系统设计问题 主要内容

3. 3 1.1 分布式系统概念 1.2 分布式系统的特点 1.3 硬件概念 1.4 软件概念 1.5 分布式系统设计问题 主要内容

4. 4 What is a Distributed System? “ 一个分布式系统是若干个独立的计算机的集合， 但是对该系统的用户来说，系统就像一台计算机一 样。 ” 两个方面的含义： 硬件方面：各个计算机都是自治的 软件方面：用户将整个系统看作是一台计算机 1.1 分布式系统概念

5. 5 集中式系统

6. 6 Sun ULTRA 5 with 32GB disk １ 6 Units Eathernet Switch 100M Sun ULTRA 10 32GB disk One unit NOW(Network of Workstations)

7. 7 The Grid

8. 8 分布式系统定义 一个分布式系统组织成中间件形式， 中间件层分布在多台机器上。 1.1

9. 9 应用举例 银行 “ 一卡通 ” 系统 电信 “ 神州行 ” 系统 SETI@Home 从集中式系统到分布式系统 1. 高性能微型计算机 (PC) 的普及 2. 高速计算机网络（ LAN 、 WAN ）的普及

10. 10 1.1 分布式系统概念 1.2 分布式系统的特点 1.3 硬件概念 1.4 软件概念 1.5 分布式系统设计问题 主要内容

11. 11 优点 -- 与集中式系统相比较 1 、经济性：高的性能 / 价格比 Grosch ’ Law: Power ↑ Price 2 NOPC vs. 大型机（ mainframe ） 1.2 分布式系统的特点

12. 12 2 、性能： 能产生单个大型主机不能达到的绝对性能 10,000 X 50MIPS  500,000MIPS （ 5 千亿次） = 0.002ns/ 次 = 〉 0.7mm 优点 -- 与集中式系统相比较

13. 13 3 、应用的固有的分布性, 例如： CSCW 工作流 4 、可靠性高 多工系统的容错能力 5 、可扩充性强 系统演进能力（ evolution ） 优点 -- 与集中式系统相比较

14. 14 总结： 优点 -- 与集中式系统相比较 项目描 述 经济微处理机提供了比大型主机更好的性能价 格比 速度分布式系统总的计算能力比单个大型主机 更强 固有的分布性一些应用涉及到空间上分散的机器 可靠性如果一个机器崩溃, 整个系统还可以运转 渐增计算能力可以逐渐有所增加

15. 15 1 、支持数据共享 文件 数据库 2 、支持设备共享 高档打印机 海量磁盘 优点 -- 与独立 PC 机比较

16. 16 3 、 P2P 通信 email BBS 4 、灵活性 负载分配 优点 -- 与独立 PC 机比较

17. 17 总结： 优点 -- 与独立 PC 机比较 项目描 述 数据共享允许多个用户访问一个公共的数据库 设备共享允许多个用户共享昂贵的外围设备 ( 如彩色打 印机 ) 通信使得人们之间的通信更加容易, 如通过电子邮 件 灵活性用最有效的方式将工作负荷分配到可用的机 器上

18. 18 存在的问题 项目描 述 软件目前为分布式系统开发的软件还很少 网络通信网络可能的问题 : 如 QoS 等等 安全容易造成对保密数据的访问

19. 19 1.1 分布式系统概念 1.2 分布式系统的特点 1.3 硬件概念 1.4 软件概念 1.5 分布式系统设计问题 主要内容

20. 20 Flynn 分类： （ 1972 ） 1.SISD （单指令流、单数据流 ）：（ PC 机） 2.SIMD （单指令流、多数据流 ） ：矩阵计算机 3.MISD （多指令流、单数据流 ） ：无 4.MIMD （多指令流、多数据流 ） ：分布式系统 1.3 硬件概念： 多台计算机是如何联结在一起 ？ CPU 指令流个数 数据流个数 

21. 21  存储器使用：共享式、私有式 1. 多处理器系统（ multi-processor ） 2. 多计算机系统（ multi-computer ） MIMD 分类 PP M P PP M P M M 具有共享存储器的通常称为多处理机（ multiprocessor ） 或多处理器；而不具有共享存储器的则称为多计算机 (multicomputer)

22. 22  连接方式： 1. 总线式 2. 交换式  关联程度： 1. 紧耦合式：多用于并行系统 2. 松耦合式 ：多用于分布式系统 MIMD 分类

23. 23 MIMD 系统分类 sequent 超级计算机 LAN 工作站 超立方 Encor RP3 Transputer

24. 24 （ 1 ）总线型多处理机 解决总线过载：高速缓存（ cache ）： 命中率（ hit rate ） 缓存一致性（ coherency ）  直写（ Write-through ）  监听（ Snoopy ） 控制线、数据线、地址线 SMP ？

25. 25 （ 2 ）交换型多处理机 交叉开关线： n 2 个交叉开关点 Omega 开关网： 2 2 开关点，共 n (log 2 n) /2 个 NUMA(NonUniform Memory Access) ：分层存储

26. 26 （ 3 ）总线型多计算机 本地内存 局域网络（ 10M ~ 1000M ） 只用于 CPU 和 CPU 之间的通信

27. 27 网格（ grid ）：二维平面 (n 2 个节点 ) 。 超立方（ hypercube ）： n 维立方（ 2 n 个节点） （ 4 ）交换型多计算机

28. 28 Intel 单核 CPU 芯片

29. 29 Intel 多核结构 Replicate multiple processor cores on a single die.

30. 30 多核处理器是一类特殊的多处理机 所有处理器在同一个芯片上 多核处理器是 MIMD: 不同的核执行不同的指 令，操作内存的不同位置 多核是一个共享内存的多处理机：所有核共享 同一个内存

31. 31 2 Processors vs. 2 Cores 2 Cores Two cores on same die connected directly Multiple threads and processes automatically processed in parallel Only a small increase in power consumption 2 Processors Two separate chips connected externally by a system bus Requires explicit software support Much greater power consumption

32. 32 Inter-Core Bus Interface Pentium D with 975X Chipset Memory Controller Hub Memory Controller Hub I/O Controller Hub I/O Controller Hub DDR2 Memory PCI Express x16 6 PCI 4 Serial ATA Ports 6 PCI Express x1 High-Definition Audio 2 PCI Express x8 or DMI (2 GB/s) 1066 / 800 MHz FSB Core 1 L2 Cache (for Core 1) Core 1 L2 Cache (for Core 1) Core 0 L2 Cache (for Core 0) Core 0 L2 Cache (for Core 0) 6 USB 2.0 Intel Matrix Storage BIOS Support Intel Pro 1000 LAN

33. 33 1.1 分布式系统概念 1.2 分布式系统的特点 1.3 硬件概念 1.4 软件概念 1.5 分布式系统设计问题 主要内容

34. 34 分类：  紧耦合式、 松耦合式 1.4 软件相关概念 紧耦合 松耦合 软件 硬件 松耦合 紧耦合 分布式 OS 多处理机分时 OS 网络 OS

35. 35 软件相关概念 An overview of DOS (Distributed Operating Systems) NOS (Network Operating Systems) Middleware SystemDescriptionMain Goal DOS Tightly-coupled operating system for multi- processors and homogeneous multicomputers Hide and manage hardware resources NOS Loosely-coupled operating system for heterogeneous multicomputers (LAN and WAN) Offer local services to remote clients Middleware Additional layer atop of NOS implementing general- purpose services Provide distribution transparency

36. 36 网络操作系统（ NOS ） 网络操作系统的一般结构

37. 37 网络操作系统（ NOS ） 远程登录 – telnet – rlogin

38. 38 网络操作系统（ NOS ） 网络文件 NFS – mount – 磁盘映射

39. 39 真正的分布式系统 单一的、全局的进程间通信机制 – 协议、位置 全局进程管理 – 创建、启动、挂起、撤销 全局文件系统 – 文件名、目录、操作 统一的系统调用接口

40. 40 多处理机分时系统（ MPOS ） 具有一个运行队列的多处理机系统

41. 41 多处理机分时系统（ MPOS ） 存在一个唯一的运行队列 文件系统的结构不同 特点：

42. 42 多计算机操作系统 多件算机操作系统的一般结构 1.14

43. 43 多计算机操作系统 消息传递的阻塞和缓冲 1.15

44. 44 多计算机操作系统 Relation between blocking, buffering, and reliable communications. Synchronization pointSend buffer Reliable comm. guaranteed? Block sender until buffer not fullYesNot necessary Block sender until message sentNoNot necessary Block sender until message receivedNoNecessary Block sender until message deliveredNoNecessary

45. 45 分布式共享内存系统 a) Pages of address space distributed among four machines b) Situation after CPU 1 references page 10 c) Situation if page 10 is read only and replication is used

46. 46 分布式共享内存系统 False sharing of a page between two independent processes.

47. 47 中间件 分布式系统作为中间件的一般结构 1-22

48. 48 中间件和开放性 In an open middleware-based distributed system, the protocols used by each middleware layer should be the same, as well as the interfaces they offer to applications. 1.23

49. 49 三种操作系统比较 项 目 网络操 作系统 分布式操 作系统 多处理机 操作系统 中间件 看起来象一个虚拟的单处理机系统 ? 否是是 所有的机器只运行相同的操作系统 ? 否是是否 有多少操作系统的拷贝 ? NN1N 怎样通信 ? 共享文件消息共享存储器模型特定 需要共同一致的网络协议 ? 是是否是 是否只有一个运行队列 ? 否否是否 文件共享是否有良好的语义定义 ? 通常没有是是通常有 资源管理 每个节点全局分布全局集中每个节点 可扩性 好一般差变化的 开放性 好一般差好

50. 50 1.1 分布式系统概念 1.2 分布式系统的特点 1.3 硬件概念 1.4 软件概念 1.5 分布式系统设计问题 主要内容

51. 51 透明性（ Transparency ）（对用户、对程序） 1.5 分布式系统设计中的关键问题 种 类种 类含 义 位置透明用户不知道资源位于何处 迁移透明资源可以不改名地随意移动 复制透明用户不知道有多少个拷贝存在 并发透明多个用户可以自动的共享资源 并行透明 系统活动可以在用户没有感觉的情况下并行 发生

52. 52 灵活性 单内核基本上是目前的集中式操作系统，增加了网络功 能和远程服务集合。 微内核的四种基本服务： （ 1 ）进程间通信机制 （ 2 ）少量内存管理功能 （ 3 ）必要的低层进程管理和调度 （ 4 ）低层输入／输出服务

53. 53 可靠性 可用性（ availability ）：系统可用时间的比例 “ 或 “ 相关性、 ” 与 ” 相关性 备份保持一致性 安全性：资源不被非法用户使用 身份认证、入侵监测 容错性 硬软件冗余 恢复和接管

54. 54 性 能 响应时间 吞吐量 系统的利用率 网络容量消耗程度 并行性 – 细粒度并行性 – 粗粒度并行性

55. 55 可伸缩性（ scalability ） 避免： 集中式硬件 集中式算法 集中式的数据结构 ConceptExample Centralized servicesA single server for all users Centralized dataA single on-line telephone book Centralized algorithmsDoing routing based on complete information

56. 56 可扩性技术 没有一台机器上存放着关于系统状态的全部 信息 机器只是基于本地信息做出决定 一个机器出故障不会破坏算法 不一定存在全局时钟。

57. 57 可扩性示例