-
互联网安全法,互联网净网行动
-
”净网2020”落实好维护网络安全责任
-
关于端午节放假通知-宇众网络
-
宇众网络春节放假通知
-
关于公司收款银行账户变更通知函-宇众网络
-
关于网上有人冒充我公司名义进行诈骗的公告。
-
关于端午节放假通知,节日放假,但是我们业务不“放假”-宇众网络
-
工信部进一步加强未备案网站管理工作的通知-宇众网络
-
关于东莞市宇众网络科技有限公司香港数据中心(香港机房)路由优化通知
-
宇众网络庆祝五·一劳动节快乐
-
东莞东城机房网络升级通知
-
临近过年,互联网IDC贵圈也有被骗的,请认准宇众网络公司官方联系方式
-
我司已获得ISP/ICP/IDC三证资格,更好的为客户服务
-
关于浙江金华高防机房网络线路切割通知
-
工信部近日下发关于进一步规范域名备案工作的通知
Map/Reduce菠菜平台维护工作原理,菠菜网站服务器最优惠??
Map/Reduce菠菜平台维护工作原理
一切都是从最上方的user program开始的,user program链接了MapReduce库,实现了最基本的Map函数和Reduce函数。图中执行的顺序都用数字标记了。
1.MapReduce库先把user program的输入文件划分为M份(M为用户定义),每一份通常有16MB到64MB,如图左方所示分成了split0~4;然后使用fork将用户进程拷贝到集群内其它机器上。
2.user program的副本中有一个称为master,其余称为worker,master是负责调度的,为空闲worker分配作业(Map作业或者Reduce作业),worker的数量也是可以由用户指定的。
★如有服务器租用可咨询宇众临风,QQ:2850293179 Tel:15999932452 订购网址:www.yuzhongidc.com
3.被分配了Map作业的worker,开始读取对应分片的输入数据,Map作业数量是由M决定的,和split一一对应;Map作业从输入数据中抽取出键值对,每一个键值对都作为参数传递给map函数,map函数产生的中间键值对被缓存在内存中。
4.缓存的中间键值对会被定期写入本地磁盘,而且被分为R个区,R的大小是由用户定义的,将来每个区会对应一个Reduce作业;这些中间键值对的位置会被通报给master,master负责将信息转发给Reduce worker。
5.master通知分配了Reduce作业的worker它负责的分区在什么位置(肯定不止一个地方,每个Map作业产生的中间键值对都可能映射到所有R个不同分区),当Reduce worker把所有它负责的中间键值对都读过来后,先对它们进行排序,使得相同键的键值对聚集在一起。因为不同的键可能会映射到同一个分区也就是同一个Reduce作业(谁让分区少呢),所以排序是必须的。
6.reduce worker遍历排序后的中间键值对,对于每个唯一的键,都将键与关联的值传递给reduce函数,reduce函数产生的输出会添加到这个分区的输出文件中。