Tretten måneder senere den 6. december1741 indsattes Elisabeth ved et statskup på tronen, og Ivan og hans familie blev fængslet på fortet i Dunamunde i nærheden af Riga den 13. december1742. I juni1744 blev de flyttet til Kholmogory ved Hvidehavet, hvor Ivan blev fjernet fra familien, som han aldrig genså, og isoleret i de næste 12 år. I 1756 blev han i al hemmelighed flyttet til fæstningen Schlüsselburg, hvor han i 1764 blev myrdet på ordre fra Katharina 2., da der blev gjort forsøg på at befri ham.