NLP模型超越人类水平？你可能碰到了大忽悠(2)

再举个例子。如果在输入中添加一个不相关的句子会导致问答模型给出不同的答案(见下图)，就说明该模型并不能真正理解问题。

除了创建更好的数据集外，模型的创建者也应该有“建造它，破坏它”(Build It，Break It)的心态。模型不仅要在特定数据集上获得高分，也要有足够的鲁棒性。

如果你的模型表现优良，先别急着开心!尝试改变你的输入，看看你是否能能够骗过你的模型。

如果你挖空心思也无法骗过你的模型，大概这时你才创造出了一个真正的好模型!

相关报道：

https://thegradient.pub/nlps-clever-hans-moment-has-arrived/?nsukey=zGUM%2BitIg2PGgczL9OmBgiXDHkdeWy4hJYQG33fkllynu9PqhCkmZecP%2Bjrltr7xEB14BaM3FGFlyRWfJj9geFWr9cIsH%2FXosh%2B1kWc8%2BYCti2mUogfGmD8YTXENuU9X2slPjqbQOkYURwZHDx%2FnRv68UyeFpeWbEu6YIyOjk2eonxejiqu8sWZT%2B8FWxdUSAEOqQ%2Bwr6iGpCV8y3AgrAA%3D%3D

【本文是51CTO专栏机构大数据文摘的原创译文，微信公众号“大数据文摘（ id: BigDataDigest）”】

戳这里，看该作者更多好文

（编辑：ASP站长网）