训练 CV 模型新思路来了用 NLP 大火的 Prompt 替换微调

发布时间：2022-03-26 15:27 所属栏目：15 来源：互联网

导读：Prompt tuning，作为 NLP 领域中的一个新宠，甚至曾被学者誉为 NLP 预训练新范式。那么，它能否借鉴到 CV 领域并产生同样的成绩呢？现在，来自康奈尔大学和 Meta AI 等机构，通过 Prompt 来调整基于 Transformer 的视觉模型，结果发现：完全可以！比起全面

Prompt tuning，作为 NLP 领域中的一个“新宠”，甚至曾被学者誉为 NLP 预训练新范式。那么，它能否借鉴到 CV 领域并产生同样的成绩呢？

现在，来自康奈尔大学和 Meta AI 等机构，通过 Prompt 来调整基于 Transformer 的视觉模型，结果发现：完全可以！

比起全面微调，Prompt 性能提升显著。无论模型的规模和训练数据怎么变，24 种情况中有 20 种都完全胜出。

他们一共探索出两种变体：

VPT-Deep 变体为 Transformer 编码器每层的输入预先设置一组可学习的参数；

VPT-Shallow 变体则仅将提示参数插入第一层的输入。

两者在下游任务的训练过程中，只有特定于任务的提示和线性头的参数会更新，而整个 Transformer 编码器被冻结。

接下来，是骡子是马？拉出来溜溜～

20/24 的优胜率
实验涉及两种在 ImageNet-21k 上预训练好的主干，一个来自 Vision Transformer，一个来自 Swin Transformer。

进行对比的微调方法有三大种，7 小种，包括：

（1）完全微调：更新所有主干和分类头（classification head）参数

（2）以分类头为重点的微调，包括 Linear、Partial-k 和 Mlp-k 三种；

（3）以及在微调过程中更新一个主干子集参数或向主干添加新的可训练参数的方法，分为 Sidetune、Bias 和 Adapter 三种。

（编辑：ASP站长网）

训练 CV 模型新思路来了 用 NLP 大火的 Prompt 替换微调

训练 CV 模型新思路来了用 NLP 大火的 Prompt 替换微调