首页
学习
活动
专区
圈层
工具
发布

Perforated AI 发布增强版 ResNet-18 模型,性能逼近更大规模视觉模型

Perforated AI 已发布一款增强版 ResNet-18 模型,旨在以接近更大规模视觉模型的精度表现,同时不显著增加模型体积或计算开销。该预训练模型现已上线 Hugging Face,供开发者评估与迁移学习使用。

该公司的核心技术是向现有神经网络的特定节点中加入"人工树突"——一种受生物神经元启发的额外计算结构。Perforated AI 表示,这一方法使单个神经元能够学习更复杂的特征表示,相比单纯叠加传统网络层,能够更高效地提升模型精度。

增强后的模型共包含约 1250 万个参数,而标准 ResNet-18 约为 1170 万个,ResNet-34 则约为 2180 万个。根据该公司公布的测试结果,增强版 ResNet-18 在 CIFAR-100 数据集上的表现超越了 ResNet-34,而新增的参数量仅约为从 ResNet-18 升级至 ResNet-34 所需新增参数量的 13%。

Perforated AI 还对该模型作为迁移学习主干网络的能力进行了评估。在 Oxford-IIIT Pets、Flowers-102 和 Food-101 数据集上的测试表明,尽管参数量远小于 ResNet-34,该模型的性能表现与 ResNet-34 更为接近,明显优于原始 ResNet-18。在 Flowers-102 数据集上,增强版模型的准确率达到 91.2%,而 ResNet-34 为 90.7%,ResNet-18 为 89.8%。

额外引入的计算结构对推理延迟的影响相对有限。在 CPU 环境下,Perforated AI 测得该模型每张图像的处理耗时为 4.37 毫秒,ResNet-18 为 4.04 毫秒,ResNet-34 为 7.48 毫秒。这一特性使该模型对于在内存、算力或延迟方面存在限制的计算机视觉开发者而言具有较高的实用价值。

Perforated AI 在其详细技术文章中提供了更多基准测试结果及技术原理说明。

开发者可通过 Hugging Face 下载并评估该预训练模型。此外,该公司还通过 Perforated AI GitHub 仓库发布了基于 Apache 2.0 许可证的免费 PyTorch 软件,便于从业者将树突结构引入自己的模型中进行实验。

Q&A

Q1:Perforated AI 的"人工树突"技术是什么原理?

A:人工树突是一种受生物神经元启发的额外计算结构,被添加到现有神经网络的特定节点上。这种结构使单个神经元能够学习更复杂的特征表示,从而以更少的参数增量实现更高的模型精度,而不是简单地叠加更多传统网络层。

Q2:增强版 ResNet-18 和标准 ResNet-34 相比,性能和参数量差距有多大?

A:增强版 ResNet-18 拥有约 1250 万个参数,而 ResNet-34 约为 2180 万个。在 Flowers-102 数据集上,增强版模型准确率为 91.2%,略高于 ResNet-34 的 90.7%。也就是说,用少得多的参数实现了与更大模型相当甚至更优的精度。

Q3:增强版 ResNet-18 的推理延迟是否会明显增加?

A:延迟增加较为有限。在 CPU 测试中,增强版模型每张图像耗时 4.37 毫秒,而标准 ResNet-18 为 4.04 毫秒,ResNet-34 为 7.48 毫秒。可以看出,增强版模型的延迟远低于 ResNet-34,仅比 ResNet-18 略高,适合对资源有限制的场景使用。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OATiBAjUK7K1wtRdl0LfXEVg0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券