显存爆炸怎么解决,显存爆炸怎么解决方法
机械心脏报告
致辞王泽东
多尺度建模在疾病治疗和药物开发中发挥着重要作用。当传统科学计算方法面临无法找到方程的题时,例如生物医学领域,迫切需要人工智能技术的支持。
9月2日,在2022WAIC上海生物计算论坛上,华为中央软件院MindSpore开源项目架构师王子东发表了《MindSporeAI+科学计算实践》的主题演讲。他在演讲中主要介绍了传统生物计算领域的发展瓶颈以及MindSpore在这方面所做的工作。
以下是王子栋在2022WAIC上海生物计算论坛上的演讲。《机器之心》经过编辑和整理,并未改变其原始含义。
大家下午好!我们很高兴有机会与大家分享MindSpore在AI+生物计算领域的案例。MindSpore曾经是传统的AI框架,现在正在演变成AI+科学计算融合的通用计算架构。
总体来说,我们的实践是在高益勤老师课题组的指导下,通过共同合作完成的。在我们的研究中,我们主要从基于力场的分子模拟开始。
分子模拟的应用和挑战
借助分子模拟技术,我们可以模拟同一材料不同状态下的化学反应、蛋白质折叠和相变。分子模拟也是工业领域的一项重要技术,包括材料设计、药物设计和化学工程。设计和其他场景都离不开分子模拟。
同时,基于力场的分子模拟也是微观世界探索的关键题。为了应对这些挑战,研究人员进行了许多探索,旨在获得更大时空尺度的精确分子模拟,从而揭示微观规律。
微观世界最有效的武器是量子力学。保罗狄拉克说“随着量子力学的出现,大多数物理和化学现象的基本定律已经被充分了解。困难在于方程非常复杂,以至于在实际应用中无法求解。”
量子力学本质上是求解薛定谔方程,但是薛定谔方程无法处理更复杂的系统,而且只要粒子数大于2,就没有办法求解。因此,只能进行近似求解。为了对较大系统进行分子模拟,学术界开发了许多方法,例如分子动力学、粗粒力学和连续介质动力学。
可以模拟的分子系统越来越大,但其准确性却在下降。以分子动力学为例,我们利用第一性原理数据或实验数据进行参数拟合,得到系统势能函数,称为分子力场。这种方法虽然速度快,但精度非常有限,无法模拟准确的化学反应。
事实上,分子模拟一直无法兼顾模拟精度和效率,我认为这是由于维数灾难造成的。目前已经有多种方法可以解决这一瓶颈,其中最重要的是人工智能。尤其是机器学习在解决维度灾难方面拥有丰富的经验,并取得了明显的成果,因此传统的科学计算领域未来可能成为人工智能的主要战场。
“人工智能+分子模拟”成果
现在人工智能和分子模拟开始融合,产生了开创性的工作。让我们看两个例子。
第一个例子DeePMD主要利用AI神经网络来匹配分子力场,训练数据来自第一性原理计算数据。DeePMD结合了精度和性能,荣获2020年戈登贝尔。
第二个例子是AlphaFold2,这是一个非常突破性的结果,它更偏向于AI思想,可以直接从大量数据中学习从序列到结构的高维映射,相对高效。令人惊讶的是,其精度可与实验精度相媲美,被认为是科技发展十大成就之一。
下一代分子模拟软件
AI方法改变了传统计算的范式,成为新的可能性,软件也必须得到相应的支持。我们来看看现有的软件是否能够更好地支持AI的新范式,事实上,案可能并不那么乐观。
主流的分子模拟软件,一是开发周期长,用户依赖度高;二是几乎都是西方发达国家开发的,我国开发的模拟软件很少,用户有限;三是模拟软件的开发难度大。框架陈旧且不灵活,这还不够。当需要添加新算法时,程序代码通常需要进行大量修改。第四,程序大多是用C/C++甚至Fortran语言编写的。很难兼容当前主流的以Python为前端语言的AI框架。
支持这种新范式还有很长的路要走,而且目前我们做得还不是很好。
在此背景下,MindSpore与高益勤课题组联合开发了新一代分子模拟软件MindSPONGE。
架构是什么样的?
这是我们所知的第一个植根于人工智能计算框架的分子软件,打破了传统人工智能和传统分子模拟计算之间的界限,通过架构的集成建模取得了良好的效果。
我们发现,虽然分子模拟和深度学习训练看似无关,但它们实际上具有相似的计算逻辑。例如,深度学习训练需要损失函数优化,分子模拟也可以类似,只不过参数是固定的。这些参数参考分子力场并根据其空间坐标优化样品。
模块拆分后,我们将MindSPONGE分为三个主要模块系统搭建、力场配置、迭代更新。我们有几个优点1.使用方便,不需要推导核能的解析表达式。2.支持高效、自然的高通量模拟。3、模块化,兼容AI势能功能。
有哪些案例?
以下是分子动力学的一些例子分子动力学主要是了解分子接下来如何运动,而其关键是分子力场。无论您是构建还是使用分子力场,MindSPONGE都提供了一个非常方便的界面。
例如,克莱森重排涉及七元环和三元环之间的动态转变过程。我们使用自己训练有素的人工智能力场以第一原理的精度重复动力学。准确性和效率会更好。比传统方法。
我们还对新冠病的突变株进行了模拟。模拟结果表明,突变的Delta菌株与野生型菌株相比,氢键数量和接触面积有所增加,这可能是Delta菌株具有较强传播性的原因。
我们全面依赖嵊泗MindSpore,使我们能够将MindSpore的核心技术与图形和计算相集成。MindSPONGE的性能相比其他框架有明显的优势。
DeepMind开源了AlphaFold2,极大地推动了该领域的行业进步,但尚未开源其训练代码或提供任何相应的数据集。同时,开源网络权重拥有非商业许可。对于科学研究来说没有风险,但是对于商业应用来说存在一定的侵权题。
算法层面主要存在两个题题一AlphaFold2依赖于协同进化信息,如果协同进化信息严重缺失,则蛋白质结构预测的准确性大大降低。题2当存在多个模型推断的蛋白质结构时,由于没有统一的算法来评估这些结构的质量,因此无法选择结构。
软件层面的题主要是算法的内存消耗,算法占用的显存与序列长度成立方关系,如果基础软件的内存没有得到适当的优化就很容易出现题。视频内存爆炸。同时,推理性能主要消耗在协同进化信息检索上。
针对上述多层次题,我们与高益勤课题组合作进行了多次探索。
我们首先复制了AlphaFold2的推理和训练,并构建了一个数据集,并将其开源,并允许您基于该数据集训练自己的模型。我们优化了耗时最长的前端搜索MSA的处理性能,并在4月份参加CAMEO比赛时完成了这项工作,取得了不错的成绩。
GDDR5X可以达到数万。
还有最新的HBM2显存,但当然这种类型的显存依赖位宽来提高性能。
位宽是指通道数,通道越多,可以同时传输的数据就越多。
目前最强大的内存是DDR44000MHz左右。
单通道的位宽度通常为64位,双通道的位宽度通常为128位。
与普通视频内存相比,它有很大不同。
这就导致了当显存不足转入内存时,显存实际上必须匹配内存的读写速度。
内存的读写速度比显存慢很多,影响帧率。
一、华硕3080和七虹3080哪个好?
首先你需要8G内存、处理器、i5——台式机、G4560——笔记本电脑,然后1050、4G显存具有爆发性。就我个人测试来看,如果你只做双开全高刷牙,就不要再去开封传统市场了。没有延迟。只要你能忍受天下镖的死亡级延迟,你就可以打开整个地图而不被封锁。
本篇文章详细讲解了显存爆炸怎么解决的题和显存爆炸怎么解决方法相关的内容,希望能帮助到各位!
发表评论