Ни имперская знать, ни папа не были довольны исходом сейма: князья свыклись уже с мыслью иметь на престоле своего ставленника, Григория же задел конец королевского послания, откуда ясно было, что Генрих не думает о безусловной покорности, намекает даже на клеветы, пущенные о папе его врагами. Но Григорий имел и утешение: ему льстила надежда прибыть в Германию и выступить в роли третейского судьи между королем и подданными, свести счеты с непокорным немецким духовенством, что неизбежно содействовало бы поднятию престижа апостольского престола. Зато князья опасались приезда папы и последующего неизбежного покаяния и прощения Генриха и решили помешать ему примириться с церковью до истечения роковой годовщины. С этой целью они заняли все проходы, ведущие в Италию, и медлили с высылкой папе необходимой свиты для безопасного путешествия. Однако король прозрел опасность и, проведя некоторое время в Шпейере в покаянии и молитве, обратился к Григорию с просьбой принять его при личном свидании в Италии в лоно церкви. Папа отказал, хотя Матильда просила дать согласие и всячески отговаривала от поездки в Германию. На все убеждения Григорий твердил, что “готов положить душу за овец стада своего подобно тому, как Христос пожертвовал кровью для спасения нашего”. Тем временем римские сторонники императорства начали волноваться, с норманнами произошел разрыв; папа принужден был, ввиду грозящей опасности, оставить Рим, но не покинул намерения ехать в Германию. Он все ждал оттуда благоприятных вестей, живя во владениях верной Матильды, недавно потерявшей мать, и старался утешить ее горе.
Генрих, проведав о положении дел в Италии и стараниях Матильды, решился добиться от папы снятия отлучения, вырвав у него прощение. Тайно от князей, со многими епископами и приверженцами, с женой и сыном предпринял он опасное зимнее путешествие по окольным дорогам через Альпы в Ломбардию, где и нашел самый восторженный прием: в короткое время его окружило значительное войско из ломбардов, мечтавших о низложении “безбожного человека”, столько лет громившего их своими отлучениями и разжигавшего пламя междоусобной войны. Испуганный внезапным появлением Генриха, папа поспешил укрыться в крепком замке Матильды – Каноссе, тем более что ходила молва, будто король хочет внезапным нападением захватить Григория и посадить на его место своего ставленника. Эти слухи вливали новое мужество во всех врагов папы, и они отовсюду стекались под королевские знамена. Встрепенулся и Ценций: во время богослужения он схватил в самом храме св. Петра одного кардинала и с пленником поспешил к Генриху. Но молодой наследник императорского венца не питал коварных замыслов: в ушах его еще звучали увещания клюнийского аббата; кроме того, он не хотел открытой борьбой с папой дать предлог германским мятежникам к избранию нового короля; даже наиболее благоразумные ломбарды советовали ему добиться принятия в церковное лоно. В силу всех этих побуждений Генрих обратился к Матильде с просьбой замолвить словечко перед Григорием. Ходатайство марк-графини поддержали все окружающие папу, главным образом Гуго клюнийский и теща короля, уже давно осаждавшие своими мольбами непреклонного Григория. Сознавая опасность своего положения, Григорий вступил в переговоры об условиях прощения, но тянул всячески время, а годовщина отлучения была не за горами. Желая поскорее выяснить истинные намерения папы, Генрих, несмотря на суровую зиму, босиком и в одной власянице, с непокрытой головой явился под стены Каноссы и стал, проливая слезы, просить о прощении. Три дня тщетно стучал король со своими приближенными в ворота замка. Григорий оставался глух, чувствуя себя связанным с германскими герцогами, и твердил о своем непреложном решении отложить окончательный приговор до столь желанного собора в Германии. Кроме того, он показывал свое необычайное могущество множеству вельмож и епископов, съехавшихся в Каноссу из Франции, Бургундии, Италии и Германии: у его ног лежал побежденный духовным мечом могущественнейший государь своего времени. Папа хотел как можно глубже запечатлеть в сердцах всех свое торжество и на смиренные просьбы отвечал гордым отказом, хотя все присутствующие подавали свои голоса в пользу примирения. Видя, что ничто не помогает, король, успевший уже отморозить ноги, решил было удалиться и в союзе с отлученными ломбардами добиться восстановления своих прав, но перед отъездом еще раз прибегнул к Матильде и Гуго клюнийскому с просьбой устранить грозящий разрыв. Матильда и Гуго напомнили тогда Григорию, что он неоднократно в своих письмах обещал простить Генриха, если тот покается. Сознавая справедливость этого замечания, папа хотел, однако, еще более унизить противника. Он потребовал, чтоб Генрих лично поклялся соблюдать те условия, на каких ему дано будет прощение. Личная же клятва, по воззрениям того времени, считалась невозможной для королей, и само ее требование было неслыханным унижением. Даже Матильда вышла из себя и, по собственному признанию Григория, назвала его “необычайно жестоким и высокомерным тираном”. Григорий понял, что зашел слишком далеко, и сознал, что должен исполнить свои обещания, если только не хочет утратить величие верховного служителя Бога мира, любви и прощения. И вот папа заявляет, что довольствуется клятвой поручителей. Заскрипели тяжелые засовы, зазвенели мостовые цепи, и ворота замка отворились для несчастного короля, после того как аббат Гуго и два епископа дали клятву на Евангелии, что Генрих, если не помешают уважительные причины, в полной безопасности проводит папу или его легатов в Германию, чтобы там, по совету его или по приговору, примириться со своими противниками. Король, для которого Григорий превратил покаяние в унижение, проливал горькие слезы. За ним длинным рядом шли отлученные. Зрелище было величественно по своей необычайности. Многие из присутствующих заплакали навзрыд, когда Генрих пал ниц перед папой и молил о прощении. Даже железное сердце Григория дрогнуло, и на его ресницах блеснула слеза. Папа поспешно поднял короля, облобызал его и вместе с ним отправился в церковь, где прочитал разрешительные молитвы и принял отлученных в лоно церковное. Генрих вздохнул свободнее, но ненадолго. Неумолимый Григорий готовил ему еще унижение: перед причастием папа вышел в торжественном облачении на средину церкви, имея в руке святые дары, подозвал к себе Генриха вместе с остальными отлученными и, подчеркивая свое недоверие, обратился к нему со следующей речью: “Если ты приступаешь к святым дарам с добрыми намерениями и располагаешь сдержать свои обещания, остаться таким же смиренным и покорным, каким кажешься теперь, то да будет святое причастие тебе, как и апостолам, во спасение. Если же ты принимаешь вид голубя, а питаешь злобу змеи, то уподобишься Иуде и спричастием примешь и небесное осуждение”. После окончания богослужения графиня пригласила гостей к столу, где Григорий сидел вместе с Генрихом и все увещал его избегать общения с отлученными и исполнить обещание. Получив благословение папы, король немедленно покинул роковой замок. Епископов Григорий задержал в Каноссе, требуя от них какой-то клятвы. Они отговаривались невозможностью сдержать ее и под покровом ночи тайком бежали к своему государю.