这一整天,他都把自己关在房间里,对着屏幕上的代码进行最后的精修。
优化后的 smooth_logic.py模块,代码量其实并不大,核心逻辑也就几百行。但其中涉及的Gumbel分布采样、流形映射以及极其复杂的自定义梯度计算,对计算资源的要求却是指数级上升的。
当徐辰按下运行键的那一刻,不出意外的,爆内存(Mac内存显存一体)了。
徐辰无奈地停止了运行。
之前那个简陋的Demo,用笔记本还能勉强跑一跑。
但现在这个引入了高维几何嵌入的完全体模型,参数量虽然不如GPT那么恐怖,但计算密度极高,显然不是一台笔记本能扛得住的。
……
买工作站来不及,租云服务器又担心代码泄露。徐辰想了想,决定找组织。
他拨通了数院辅导员林轩的电话。
如今徐辰已是数院的“重点保护对象”,享受讲师级待遇,林轩对他自然是格外上心,电话几乎是秒接,语气里透着股亲热劲儿。
徐辰也没兜圈子,简单寒暄两句后,便道出了借用GPU服务器的需求。
不过结果有些遗憾。正如林轩所言,数院的超算集群设计之初就是为了服务于数值计算和代数推导,主打的是CPU核数和内存,GPU资源相当稀缺。仅有的几台带A100显卡的机器,也早已被应用数学系的老师们占满,用来跑流体力学方程,队都排到了下月了。
但林轩很快指了条明路——校级计算中心。
那是北大的公共大平台,硬件设施全是顶配,且遵循全校共享原则。相比于学院自己的“小灶”,那里才是真正的“大食堂”。只要去得早,大概率能申请到空闲节点。
谢过林轩后,徐辰没再耽搁,背上书包便直奔理科楼群深处的计算中心。
……
挂了电话,徐辰收拾好硬盘,直奔位于理科一号楼地下的校级计算中心。
这里是北大科研算力的心脏。
徐辰来到前台服务窗口。
“你好,我想申请使用高性能GPU集群。”
值班的老师是个戴眼镜的中年人,看了一眼徐辰的学生卡,又在系统里查了查。
“运气不错,HPC-G分区刚好空出来一个A100节点,四个卡。前面的任务刚跑完。”老师推过来一张申请单,“扫个码,然后填一下这张