Idylla szybko się jednak skończyła. W 718 roku kalif arabski nakazał niszczenie świętych wizerunków na terenach zajmowanych przez Arabów. Te poglądy znajdowały coraz więcej zwolenników na dworze cesarskim i wśród biskupów. German konsultował się z papieżem Grzegorzem II, aby upewnić się, co do obranej drogi. Na nic zdało mu się jednak potwierdzenie i pochwała ze strony papieża. Opór na dworze cesarskim i wśród biskupów był coraz większy. Ukazywało się coraz więcej dekretów cesarza zwalczających kult ikon. Nawet listy i odezwy Germana zdawały się przynosić skutek odwrotny od zamierzonego.
W 726 roku wybuchł wulkan, co cesarz interpretował jako znak od Boga przeciwko "bałwochwalcom". Zwycięstwo nad muzułmanami w następnym roku uważał zaś za znak błogosławieństwa Bożego za zwalczanie bałwochwalczego kultu obrazów. Patriarcha German był postrzegany jako główny obrońca "bałwochwalczego" kultu ikon.
Cesarz skazał zatem sędziwego patriarchę na wygnanie. Stało się to w styczniu 730 roku. Patriarcha został zmuszony do rezygnacji i udał się na odosobnienie do klasztoru, gdzie zmarł po kilku latach...
