服务电话:

400-801-5670

CUDA 多进程服务工具MPS有什么好处呢?

发表时间:2019年11月01日 作者:中科云达 浏览次数:1260

多进程服务(MPS)是CUDA应用程序编程接口(API)的另一种二进制兼容实现。MPS运行时架构被设计成透明地启用协作的多进程CUDA应用程序(通常是MPI作业),以利用最新的NVIDIA(基于kepler) gpu上的Hyper-Q功能。Hyper-Q允许CUDA内核在同一GPU上并行处理;这可以在GPU计算能力被单个应用程序进程未充分利用的情况下提高性能。

MPS是一个二进制兼容的客户端-服务器运行时实现的CUDA API,它由几个组件组成。

控制守护进程——控制守护进程负责启动和停止服务器,以及协调客户端和服务器之间的连接。

客户端运行时——MPS客户端运行时被构建到CUDA驱动程序库中,可以被任何CUDA应用程序透明地使用。

服务器进程——服务器是客户端与GPU的共享连接,并在客户端之间提供并发性。

MPS的好处:

1.提高GPU利用率

单个进程可能无法利用GPU上所有可用的计算和内存带宽容量。MPS允许不同进程的内核和memcopy操作在GPU上重叠,从而实现更高的利用率和更短的运行时间。

2.减少了对gpu的上下文存储

在没有MPS的情况下,使用GPU的每个CUDA进程在GPU上分配独立的存储和调度资源。相比之下,MPS服务器分配一个GPU存储副本,并调度所有客户端共享的资源。Volta MPS支持增加MPS客户机之间的隔离,因此资源减少的程度要小得多。

2.减少GPU上下文切换

如果没有MPS,当进程共享GPU时,它们的调度资源必须在GPU上和GPU外进行交换。MPS服务器在所有客户端之间共享一组调度资源,从而消除了GPU在这些客户端之间调度时的交换开销。

P6000GPU高性能计算:Nvidia Quadro P6000是世界上最先进的专业的图形解决方案,结合最新的GPU、内存和显示技术带来前所未有的性能和突破能力。各行各业的专业人士现在可以创建他们最复杂的设计,解决最具挑战性的可视化问题和经验他们的创作在最细致的生活中,就像虚拟现实。环境。Quadro卡经过广泛的认证先进的专业应用程序,经领导测试工作站制造商,由全球支持专家小组。这给了你平静的注意集中精力做你最好的工作。无论你是开发革命性产品或惊人地讲述生动的视觉故事,Quadro让你的表演做得很出色!

中科云达(北京)科技有限公司成立于2016年,公司位于北京市国际信息产业基地。公司一直致力于为广大用户提供GPU高性能计算、深度学习、定制化服务器、工作站、存储等软硬件整体解决方案,并与多家知名技术型领先厂商如超微(Supermicro)、英特尔(Intel)、华硕(ASUS)、英伟达(NVIDIA)等建立了长期的合作关系。公司一贯本着“精诚、精细、精品”的服务宗旨,以及快速完善的售前售后服务体系,得到了教育、科研、互联网、设计制造等诸多行业用户的一致好评。