再后来，教皇贝拉二世任命大格列高利为他驻东罗马帝国的全权公使，常驻君士坦丁堡。因此，从公元579年至公元585年，大格列高利一面在东罗马帝国代表着罗马教廷，一面与东罗马帝国的教徒们辩论。在宗教方面，大格列高利取得了成功，避免了东罗马帝国的皇帝远离真实的信仰。但在政治方面他却失败了，因为他没能说服东罗马帝国皇帝向伦巴德人开战。
之后的五年，大格列高利当了自己创立的修道院的院长。教皇逝世后，大格列高利做了教皇。大格列高利刚当教皇时周围的环境很艰难，不过，这样的环境正适合他大展身手。
当时，拜占庭帝国已经衰败了，没有领主的西班牙和非洲陷入了一片混乱之中，伦巴德人趁机洗劫意大利，法兰西也处在南北之间的内战之中，等等。时代的混乱甚至使一大批主教失去了作为人们楷模的荣耀。虽然罗马主教被公认为是教廷中地位最高的人物，但他的权力仅限于主管教区之内。继任教皇以后，大格列高利就做好了用全部的精力和智力同困难搏斗的准备。大格列高利主要通过通信的方法行使他的权威。他通信的对象，包括全体罗马世界中的主教和世俗国家的统治者。