典型文献
气象大数据算力资源管理系统的设计与实现
文献摘要:
随着气象大数据云平台"天擎"正式业务化运行,提升大数据算法的运行效率和加强算力资源的优化配置已成为亟需解决的问题.从系统的建设需求、总体架构以及实现方式等问题出发,探讨了气象大数据算力资源优化管理系统的设计思路和若干关键技术,得出以下结论:系统基于B/S架构,以"天擎"为数据中台,以容器作为算力资源供给和优化管理对象,包括加工容器调度和容器平台管理两个子系统;加工容器调度子系统包括账户创建、资源授权、镜像制作、算法注册、算法加载、任务定义、任务启动、任务日志收集等功能,用户可以在调度平台上灵活地实现任务的触发;任务被触发后,加工容器调度子系统在容器平台中创建容器、执行任务并实时监控任务执行期间容器的使用情况;容器平台管理子系统基于Kubernetes的容器编排引擎,将算法配置的资源与可分配资源进行对比,完成配置文件拼装、资源部署脚本下发、节点预选优选,最终获取算法的运行结果;综合运用多节点均衡调度、算法资源精细化匹配、容器运行资源隔离、镜像存储故障恢复、容器和算法故障监控等关键技术,有效提升了容器算力资源调度能力、可靠性和资源利用率.
文献关键词:
气象大数据;算力资源;容器平台;设计思路;关键技术
中图分类号:
作者姓名:
杨代才;王华;王俊超;乔木;王娟娟;赖安伟
作者机构:
湖北省气象信息与技术保障中心,武汉430074;中国气象局武汉暴雨研究所暴雨监测预警湖北省重点实验室,武汉430205
文献出处:
引用格式:
[1]杨代才;王华;王俊超;乔木;王娟娟;赖安伟-.气象大数据算力资源管理系统的设计与实现)[J].暴雨灾害,2022(05):607-612
A类:
镜像存储
B类:
算力资源,资源管理系统,气象大数据云平台,天擎,业务化,大数据算法,建设需求,总体架构,实现方式,资源优化,优化管理系统,数据中台,资源供给,管理对象,容器调度,容器平台,平台管理,统包,账户,任务启动,日志,调度平台,现任,实时监控,监控任务,执行期,管理子系统,Kubernetes,容器编排,分配资源,配置文件,拼装,脚本,预选,选优,多节点,节点均,均衡调度,故障恢复,和算,故障监控,资源调度,资源利用率
AB值:
0.369293
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。