文章首发及后续更新:https://mwhls.top/3737.html,无图/无目录/格式错误/更多相关请至首发页查看。
新的更新内容请到mwhls.top查看。
欢迎提出任何疑问及批评,非常感谢!

错误信息
  • RuntimeError: Input type (torch.cuda.HalfTensor) and weight type (torch.FloatTensor) should be same

场景描述
  • 数据调用 list 里的卷积层时出现数据不匹配错误。

  • self.proj = [nn.Conv2d(self.in_chans, self.dim[i], kernel_size=self.patch_size,\
                         stride=self.patch_size) for i in range(len(self.dim))]
解决方法
  • list 改为 nn.ModuleListnn.ModuleList 使用和 list 类似,具体说明见文档

  • self.proj = nn.ModuleList([nn.Conv2d(self.in_chans, self.dim[i], kernel_size=self.patch_size,\
                                       stride=self.patch_size) for i in range(len(self.dim))])
  • 说实话,当初写的时候,Github copilot 提醒我了,即便它看起来就很像用于 PyTorch 的列表,但我还是没用…

Logo

欢迎来到由智源人工智能研究院发起的Triton中文社区,这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂,为推动人工智能技术的普及与深化应用贡献力量。

更多推荐