La torre è ciò che rimane del castello medievale appartenuto ai Da Varano, signori di Camerino, che qui trovarono ospitalità dopo il sacco della loro città nel 1259 ad opera dei ghibellini.