当前位置: 首页 > Linux学院 > 企业应用 > 集群 > 在Linux系统下建立基于MPICH2的高性能分布式并行计算环境

在Linux系统下建立基于MPICH2的高性能分布式并行计算环境

2013-01-30 20:33 来源:风信网 作者:末信 人气指数: 我要评论

MPICH2 提供了在现有的软硬件架构下对大数据进行并行、分布式处理的一个平台。本文将介绍如何在 Linux 系统下建立基于 MPICH2 的高性能分布式并行计算环境。

MPI(Message Passing Interface)是由 MPI 委员会制定的一个消息传递标准,其中定义了一系列用于分布式环境中进行进程间通信的编程接口,目前有 MPI-1 和 MPI-2 两个版本。MPICH2 就是对 MPI 的一个具体实现,MPICH2 在保证高性能的同时保持了高度的可移植性,支持包括 AIX、Linux(IA32 和 x86-64)、Mac OS/X(PowerPC 和 Intel)、Solaris(32 位和 64 位)和 Windows 在内的多种平台。MPICH2 是一个开放源代码的项目。

准备系统和网络环境

本文中用的软硬件系统如下:

  • 局域网中三台安装有 64 位的 Red Hat Enterprise Linux 5.5 的机器。
  • 三台机器的 hostname 分别是 s1、s2 和 s3。我们将会用 s1 作为 MPICH2 环境中的 Server,s2 和 s3 作为 MPICH2 环境中的 worker。
  • Linux 系统中已经安装了 Python2.6、SSH 服务、NFS 服务。

步骤 1 配置 SSH

MPICH2 提供了一系列的命令对分布式计算环境中的各个进程(这些进程可能是在不同的机器中运行)进行管理,这些工具在后台都是用 SSH 来进行操作,所以将 Server 和 Worker 之间配置成无密码的 SSH 登陆可以方便后边的操作。

在 s1 上执行如下命令:

 [root@s1 ~]# ssh-keygen -t rsa 
 [root@s1 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@s2 
 [root@s1 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@s3 

步骤 2 配置 NFS

MPICh2 并没有提供一个统一的文件系统,所以需要借助操作系统提供的共享文件系统在 Server 和多个 Worker 之间共享数据。这里以 NFS 为例。

首先在 Server s1 上建立 NFS 共享目录:

  1. 创建共享目录:
     [root@s1 ~]# mkdir /share 
    
  2. 将目录加入到 NFS 共享目录列表,在 /etc/exports 中添加如下配置:
     /share   *(sync,rw,no_root_squash) 
    
  3. 在 s1 上启动 NFS 服务:
     [root@s1 ~]# service nfs start 
    

然后在 Worker s2 和 s3 上 mount s1 共享的 NFS 目录:

 [root@s2 ~]# mkdir /share 
 [root@s2 ~]# mount s1:/share /share 
 [root@s3 ~]# mkdir /share 
 [root@s3 ~]# mount s1:/share /share 

大家感兴趣的内容
小伙伴最爱的新闻
小伙伴还关注了以下信息
小伙伴关注的焦点

小伙伴都在关注的热门词

新服 缤纷活动 航海世纪 芈月传 暗黑道具 萌乐网 苹果发布会 最新谍照 三国令 剑雨江湖 怎样修炼战骑 页游 怎样修炼伙伴 木甲世界 仙侠道2 推黑科技 页游模式 武圣试炼场 街机玩法 蓝月传奇 个人BOSS玩法 哥们网 九阴绝学 仗剑出鞘 全新模式 范伟打天下 全新元神玩法 七大神兵简介 新手攻略 跑腿任务 门派五行 城战礼包 页游界 泥石流 傅园慧 经典网页游戏 耐玩 盘点 玉石攻略 提升角色 大黑 实装属性 神兵攻略 问鼎莽荒 莽荒纪 手持神兵 土豪梦 万世 开学清单 财富赚不停 天书世界 大黑游戏 资源战场 ppwan 天问 激战 全国大战 雄霸一方 新增宠物技能 绝对小能手 花千骨 三尾章鱼 风色轨迹 双枪手 弑之神 缤纷好礼 惊喜六重连 帮会 中秋福利 自制月饼 九阴真经 玩家 五周年纪念 纪念银币 名动三界 新服资料片 画江山 勇战妖魔 邪恶势力 上古降魔 老司机玩法 坐骑揭秘 黑科技 竞技场攻略 铁血皇城 披风玩法 书剑恩仇录 装备强化攻略 野外BOSS玩法 全网曝光 赤壁传说 半回合制国 ACT 奇珍商城 热血战歌 传奇宝藏抽奖 打开方式 门徒 门徒获取玩法 三大萌宠简介