Tetapi Batrik Anthimus dilindungi oleh Teodosia, istri kaisar. Teodosia meminta kepada Paus Silverius agar Batrik Anthimus dimaafkan dan diangkat kembali sebagai Patriark Konstantinopel.

Tetapi karena Anthimus sendiri tidak bersedia mengubah sikapnya, maka permintaan Teodosia itu secara halus ditolak oleh Silverius. Silverius berani mengatakan penolakan itu meskipun ia tahu bahwa tindakannya itu akan mendatangkan malapetaka atas dirinya. 

Kepada seorang anak Teodosius, Silverius mengatakan: “Sudah jelas bagiku apa yang akan terjadi atas diri. Penolakanku terhadap permintaan Teodosia, ibumu, tentu menimbulkan kemarahan besar.”

Akhirnya terjadi pula apa yang dirasakannya. Ia ditangkap oleh panglima Belisarius di Roma, dan dibuang sebagai tawanan di sebuah tempat sunyi di Asia Kecil. Kemudian atas usul kaisar Vigilius, Paus Silverius kembali ke tahktanya. Tetapi ia tetap tidak bersedia mengangkat seorang pengajar aliran sesat menjadi patriark. 

Ia sekali lagi ditangkap dan dibuang ke Palmaria, tempat ia meninggal dunia dalam keadaan serba kekurangan dan penderitaan besar pada tahun 538. Ia memimpin Gereja selama dua tahun dengan penuh penderitaan.

Kembali ke Santo Santa Bulan Juni