Aqui vai uma dica rápida, mas dependendo da sua experiência, você pode acabar precisando de um manual no fim!
Se você está gerenciando um servidor de Repository Manager, tipo o Nexus, para guardar pacotes NuGet ou usando outros provedores, já deve ter se estressado com o cache.
Tutorial... se é que posso chamar assim
Feche o Visual Studio. Sério, isso é o que você pode fazer antes de pedir ajuda.
Abra o prompt de comando (sim, o cmd) e vá até onde está o NuGet.
Para ver o cache local que pode estar te atrapalhando:
nuget locals all -list
Agora, para tentar limpar todos os caches do NuGet, porque resolver problemas começa limpando:
nuget locals all -clear
Se ainda tiver algum problema em pé, delete a pasta 'packages' que está dentro da pasta da 'solution'. Às vezes, apagar manualmente funciona.
Se depois disso tudo o problema continuar, talvez seja hora de dar uma olhada no seu projeto.