深度学习推理耗时波动现象的解决方法
家里有一些不同系列的显卡,目前工作生活中使用一直没出现问题,直到...

直到有一天Nvidia推送了一个新的驱动程序,想着越好的显卡驱动肯定越能提高我的显卡利用率,充分榨干显卡性能,所以毫不犹豫的升级到了536.99。



升级完马上拿了VM跑了一下以前的一个方案,发现不对劲,连续执行的耗时波动明显高于旧版本,而且波动跳变的范围十分不可靠,表现的非常随机。这就让我十分困惑,这显卡升级后难道反向优化了?经过一番测试,20系,30系显卡在最新的Nvidia驱动上耗时波动表现极为不稳定,完全不适用于工业场景,一旦耗时波动大,那么相机可能会丢图,导致一系列生产问题。

目前测试下来,区间在466-471之间的显卡驱动较为稳定,建议大家可以尝试一下,对于一些厂商阉割过的显卡,可能会识别不到某个驱动版本,不妨往471以上的版本逐步尝试,但基本到了512版本左右都会有一样的问题。


解决耗时波动问题后,还有个潜在问题可能会存在,即:新驱动下,单次间隔执行(单步执行)与连续执行相比,连续执行的耗时更加稳定。通过从后台观察显卡功率发现,单步执行间隔过长,会导致显卡频率骤降,从而影响模型的推理速度,尤其是40系列显卡,表现最为明显。

那么我们可以用官方的锁频工具来固定住显卡频率,如:MSIAfterburner,可以设置不同电压下对应的GPU频率,实现锁频功能。(操作步骤参考:https://zhuanlan.zhihu.com/p/521002872,下载链接:https://msi-afterburner.en.softonic.com/

锁频完成后,发现单步执行及连续执行的耗时明显趋向稳定。

版权声明:本文为V社区用户原创内容,转载时必须标注文章的来源(V社区),文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:v-club@hikrobotics.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
上一篇

基本图像增强算法对深度学习模型结果的影响

下一篇

深度学习无监督分割算法应用方法

评论请先登录 登录
全部评论 1

6666666666666666666666666666666666666666666666

2023-08-31 11:26:23 湖南省
回复
  • 1
Lv.0
1
关注
36
粉丝
13
创作
47
获赞
所属专题
  • 什么是深度学习?
  • 深度学习的前沿研究与应用
  • 深度学习和传统算法在缺陷检测应用中的特点
  • 深度学习训练工具VisionTrain1.4.1功能更新说明
  • 模型优化方法---通用基础篇
  • 模型优化方法---VM算法平台预测篇
  • 模型优化方法---VisionTrain训练篇
  • 模型优化方法---预测耗时篇
  • 深度学习小工具之快速图像分割
  • 深度学习小工具之标签转化工具
  • 深度学习小工具之图像名称、标签文件内容修改工具
  • 训练误差与泛化误差的关系
  • 训练过程中对于误差值的理解
  • 基本图像增强算法对深度学习模型结果的影响
  • 使用VM深度学习功能实现模型训练与图像检索功能
  • 智能相机-深度学习OCR训练及优化指南
  • 一种提升OCR模型识别率的优化方法
  • 根据实际需求找到最优方案-OCR识别篇
  • 多分类分割任务下实现指定类别的阈值调整
  • 多分类分割任务下的标注问题及解决思路
  • 图像分割标注训练经验分享
  • 基于VM界面层的多类别缺陷统计方案
  • VM深度学习OCR项目经验分享
  • 【VM集成开源AI】深度学习算子模块封装
  • 深度学习推理耗时波动现象的解决方法
  • 【共享学习】关于深度学习显卡推理那些事儿
  • VM7100深度学习检测温度传感器焊点,裸针,锡珠,超盘,
  • 深度学习缺陷检测项目经验分享
相关阅读
  • 探寻机器视觉新星|第二届“启智杯”机器视觉设计大赛获奖名单公布
    2024-04-08 浏览 0
  • 每日分享|3D视觉成像之双目立体视觉原理
    2024-03-21 浏览 0
  • WCS对接-OPCUA及MC协议对接
    2024-03-30 浏览 0
  • 海康AMR应用场景中蜂鸣器的使用
    2024-04-03 浏览 0

请升级浏览器版本

您正在使用的浏览器版本过低,请升级最新版本以获得更好的体验。

推荐使用以下浏览器