大模型流行之下，SN-Net给出一份独特的答卷

西瓜爸爸

把训练supernet的成本转嫁到了训练模型簇上

吃饱撑了

看完论文感觉还是没太明白是如何讲一个stitching layer缝合进去，具体操作是什么，大佬能简单讲讲吗[可怜]

故事仍在南海

简单来说就是，一个网络前向传播到某个位置之后，送给stitching layer做linear projection，再把出来的feature map给下一个网络继续向前传播。

李柏呈

可以看看我们在neurips22的工作deep model reassembly。和这篇stitchable是姊妹篇[爱]code：https://github.com/Adamdad/DeRypaper：https://arxiv.org/abs/2210.17409

不闻

请问下，在推理时如何根据当前计算资源动态切换子网络呢？

馥川古茗

这个的设定需要结合系统，根据软硬件信息变化来查表更换网络推理结构，就像用户手动切换视频分辨率一样。

阿的一丁

噢，所以是無法在網絡中做到實時自適應吧？還是需要手動預先設定？

柒柒捌捌

模型对底层硬件是解耦的，这种设计本身使得神经网络对硬件资源变化是不可知的，比如GPU算得快慢对网络理论复杂度不会有变化。SN-Net提供了实时自适应的能力，剩下的是工程上的配合。

沙漠王

OK 那我理解得沒錯 感謝！[红心]

宇宙终极战

最后推理的时候是使用缝合后的所有预训练模型吗？ 这样的话好像推理代价有点大