Platform助力气象卫星应用系统实现数据处理自动化(2)
实现“抢占式”的调度策略。Platform 支持“抢占式” 调度策略。在资源紧张时,高优先级作业可以抢占正在运行的低优先级作业使用的资源并启动运行。低优先级作业将被挂起,直到有可用的资源时再继续运行。Platform LSF支持可定制的“抢占” 策略,管理人员可以根据任务的优先级以及系统的运行情况,定制相应的调度策略,确保重要的作业优先执行,同时又不牺牲已经运行作业的当前结果。Platform LSF根据系统负载情况和作业属性动态地调度资源,保证高时效和高精度作业的按时完成,并保证系统资源的充分使用。
实现基于流程的自动调度和处理。卫星数据处理不仅数据量大、处理流程复杂,需要根据时间、事件的不同触发不同的流程完成不同的任务;同时还具有时效性,每一批数据都必须在规定时间内完成,因此从某种意义上说,它还是一个实时系统。Platform Process Manager提供了可视化的工作流程创建、编辑、运行和监控,极大地简化大型复杂工作流程的定义、运行和管理问题。同时Platform Process Manager还可以根据时间、事件以及作业的不同状态对作业流程或子流程进行触发,从而可以根据卫星数据处理的不同情况进行不同的业务处理,实现生产流程处理的自动化。另一方面,Platform Process Manager 和Platform LSF的有机结合,可以充分利用Platform Process Manager提供的复杂流程定义、流程在线监视和控制功能,同时利用Platform LSF 提供的灵活多样的作业自动调度和处理,根据系统资源情况和作业优先级,动态地调度作业运行,确保卫星数据处理流程的实时、高效。
实现基于时间窗的机器分组和多队列管理。该卫星数据处理平台可用于监测多个卫星,要求能够根据监测卫星的运行情况,提供基于时间窗的机器分组和多队列管理,从而可以根据系统运行需要,合理地调配资源。Platform LSF提供了基于时间窗的机器分组和多队列管理,可以根据系统运行的需要,比如可以根据监测卫星的数量、卫星数据处理的不同阶段配置不同的队列资源和机器分组,从而实现动态地进行系统配置,优化系统资源的使用,确保卫星数据处理的实时、高效。
实现基于数据分布的调度策略。卫星数据处理的数据量非常大,因此需要将不同卫星的数据分布在不同的机器上,在进行作业调度时,就需要根据不同机器上的数据分布情况进行相应的调度。Platform LSF支持机器分组,可以根据数据的分布动态地调度作业的运行,确保运行作业的分布与数据分布相一致。
实现全面的负载监控。Platform LSF能收集每台机器各种负载信息,并支持负载信息扩展,可以根据系统总体情况和设计需要,动态地设置系统资源情况,包括磁盘访问、主机情况、软件的许可证,用户数等。
中国气象局国家卫星气象中心副总设计师施进明表示,倘若离开了Platform LSF基于网格技术的自动化作业调度系统,是难以做到有条不紊地处理大量的卫星气象数据、让计算中心的计算资源利用率达到85%以上的。Platform LSF帮助国家卫星气象中心实现了计算资源的共享和负载平衡,确保了计算资源的高可靠和高可用。
关于Platform Computing
Platform Computing是全球领先的集群、网格、云中间件和云管理平台提供商,帮助客户以经济、高效的方式管理、分配和使用计算资源,为企业的业务创新和发展提供全面支持。目前,Platform Computing的集群、网格和云计算解决方案已经广泛用于制造、能源、金融、电信、航空航天等领域。
(责任编辑:admin)- “扫一扫”关注融合网微信号
免责声明:我方仅为合法的第三方企业注册用户所发布的内容提供存储空间,融合网不对其发布的内容提供任何形式的保证:不保证内容满足您的要求,不保证融合网的服务不会中断。因网络状况、通讯线路、第三方网站或管理部门的要求等任何原因而导致您不能正常使用融合网,融合网不承担任何法律责任。
第三方企业注册用户在融合网发布的内容(包含但不限于融合网目前各产品功能里的内容)仅表明其第三方企业注册用户的立场和观点,并不代表融合网的立场或观点。相关各方及作者发布此信息的目的在于传播、分享更多信息,并不代表本网站的观点和立场,更与本站立场无关。相关各方及作者在我方平台上发表、发布的所有资料、言论等仅代表其作者个人观点,与本网站立场无关,不对您构成任何投资、交易等方面的建议。用户应基于自己的独立判断,自行决定并承担相应风险。
根据相关协议内容,第三方企业注册用户已知悉自身作为内容的发布者,需自行对所发表内容(如,字体、图片、文章内容等)负责,因所发表内容(如,字体、图片、文章内容等)等所引发的一切纠纷均由该内容的发布者(即,第三方企业注册用户)承担全部法律及连带责任。融合网不承担任何法律及连带责任。
第三方企业注册用户在融合网相关栏目上所发布的涉嫌侵犯他人知识产权或其他合法权益的内容(如,字体、图片、文章内容等),经相关版权方、权利方等提供初步证据,融合网有权先行予以删除,并保留移交司法机关查处的权利。参照相应司法机关的查处结果,融合网对于第三方企业用户所发布内容的处置具有最终决定权。
个人或单位如认为第三方企业注册用户在融合网上发布的内容(如,字体、图片、文章内容等)存在侵犯自身合法权益的,应准备好具有法律效应的证明材料,及时与融合网取得联系,以便融合网及时协调第三方企业注册用户并迅速做出相应处理工作。
融合网联系方式:(一)、电话:(010)57722280;(二)、电子邮箱:2029555353@qq.com dwrh@dwrh.net
对免责声明的解释、修改及更新权均属于融合网所有。