Со своей стороны литовские послы говорили о том, что им издревна принадлежит не только Смоленск, но и Новгород, Псков, Вязьма и Северщина. Разговор, словом, велся на столь различных языках, что о взаимопонимании не могло быть и речи. Прояснила, но не облегчила ситуацию позиция, занятая Герберштейном. Он высказался за передачу Смоленска Литве, сославшись на пример Максимилиана, отдавшего Верону ее гражданам. Но отказываться от старинного русского города, присоединенного с таким большим трудом, Москва не собиралась.
Не возражая в принципе против продолжения переговоров, московские дипломаты решительно отклонили предложения Герберштейна. Ему ничего не оставалось, как покинуть Москву. 22 ноября он вместе с московским послом дьяком В.С. Племянниковым отбыл к имперскому двору.
Итог первой миссии Герберштейна в Москву не принес желаемого результата. Тем не менее отношения Московии с империей, прерванные после Венского конгресса, были возобновлены.
Осенью того же года австрийский посол возвратился в Вену. Видимо, здесь, в столице империи, в кружке венских гуманистов, внимавших его рассказам о далекой и необычной Московии, у Герберштейна впервые возникла мысль написать книгу о своем путешествии. Немаловажную роль могли сыграть и дневники, которые вел Герберштейн во время путешествия. Но прошло еще много лет, прежде чем эта идея осуществилась.
На 20—30-е годы XVI века Герберштейн был одним из руководителей делегации, посланной для приглашения Карла V на престол империи; он возглавлял посольство на Балканы, вел переговоры с венецианским дожем, турецким султаном, посещал почти все страны континентальной Европы.
А в 1526 году Герберштейн вновь был послан в Московию, с той же целью, что и в первый раз. Второе посольство оказалось удачливее, чем первое.
29 августа 1526 года в битве с турками при Мохаче погиб венгерский король Людовик (Лайош II) Ягеллон. При Ягеллонах позиции центральной власти ослабели. Даже угроза османского нашествия и грандиозный поход османов на Белград в 1521 году не могли привести к усилению централизаторских тенденций. Через пять лет, в 1526 году, состоялся новый поход, в результате которого Венгрия стала добычей могущественного соседа.
Венгерские события, тесно связанные с ростом турецкой угрозы, а также энергичный нажим имперской и польской дипломатии заставили Сигизмунда искать прочного мира с Россией: ведь в 1527 году кончалось пятилетнее русско-литовское перемирие; нужно было думать о будущем.
14 октября в Можайск, где в это время находился „на потехе“ Василий III, прибыли литовские представители — полоцкий воевода Петр Станиславович Кишка и подекарбий Богуш. Здесь в присутствии Герберштейна начались переговоры. Литовские представители непременным условием заключения мира ставили уступку Смоленска. Русская сторона на это категорически не соглашалась. Тогда Кишка и Богуш пошли на заключение нового, теперь уже Шестилетнего, перемирия. С этим литовское посольство и покинуло Можайск. Вместе с ним в ноябре 1526 года из России уехал и Герберщтейн. 28 февраля 1527 года Сигизмунд I подписал договор, продлевавший на шесть лет (с 25 декабря 1526 по 25 декабря 1532 г.) перемирие между Литвой Россией. Планы церковной унии, антитурецкие проекты империи были вежливо, но вместе с тем решительно, отклонены русскими дипломатами.
Гибель Людовика Ягеллона крайне осложнила положение в Восточной Европе и привела к длительной борьбе империи и других держав за венгерскую корону. 13 ноября того же года сейм в Фейерваре избрал венгерским королем трансильванского воеводу Яноша Запольяи. Но почти одновременно 1 Декабря группа венгерских магнатов в Братиславе провозгласила королем брата императора Карла V Фердинанда I Чешского (женатого на сестре погибшего короля Лайоша II). Началась длительная междоусобная борьба между сторонниками обоих королей. Она сразу же осложнилась соперничеством Карла V (поддерживавшего Фердинанда) и польской шляхты, сторонницы Яноша Запольяи, пользовавшегося покровительством турецкого султана. Сам же польский король Сигизмунд придерживался политики нейтралитета, скорее благожелательного по отношению к Фердинанду.
На вопрос „кто виноват?“ в Европе давали разные и противоречив ответы. По-видимому, Габсбурги распространяли версию о том, что отвественность за поражение при Мохаче должен нести один из крупнейших венгерских магнатов — Янош Запольяи. Вслед за имперскими дипломатами так, вероятно, также оценивали роль Яноша Запольяи и в России. Судя по соинениям Герберштейна, в Австрийском эрцгерцогстве вину за поражение при Мохаче возлагали не только на Яноша Запольяи. Таким же ответчиком считали Сигизмунда I Старого, польского короля и великого князя литовского, не пришедшего на помощь своему племяннику. Противоположное мнение высказал сам король на приеме австрийского посла Герберштейна 28 января 1527 года. Все несчастья и ссоры между христианскими государями, по его словам, происходят по вине тех из них, которые мечтают о захвате других государств, ведомые надеждами на чужие земли, они „выдают христианство“ на поток и разграбление неприятелю. Несомненно, Сигизмунд I намекал при этом на государя, направившего к нему Герберштейна, — австрийского эрцгерцога Фердинанда.
Итак, три точки зрения — виноваты Янош Запольяи, польский король и великий князь литовский и, наконец, Габсбурги. Три виновника поражения при Мохаче — это три главные действующие силы на территории Венгрии, не считая Порты, в период с 1526 по 1549 год. Их борьба за раздел Венгрии то разгоралась, то утихала, их „вклад“ в „решение“ венгерского вопроса то сокращался, то увеличивался в зависимости от внутренней политики Польши и Австрийского эрцгерцогства, а также от соотношения сил с силами Османского султаната.
Два венгерских короля 14 апреля 1527 года заключили перемирие, завершившее раздел страны между ними. Тем не менее, отныне началось многолетнее кровавое соперничество партии Запольяи и Габсбургов в Венгрии. Первую поддерживала Польша. Герберштейн, будучи в Польше в очередной раз в конце февраля — начале марта 1528 года, сообщил Сигизмунду I требование Фердинанда — не предоставлять его сопернику Яношу Запольяи убежища в Польше. Большего он не осмелился потребовать.
Османская опасность не исчезла, было ясно, что ее объектом отныне могут стать не только славянские и венгерские земли, но и земли эрцгерцовства. Военная активность Сулеймана возрастала. Летом 1528 года османск войска вторглись в Крайну. В этих условиях венгерский вопрос временно отступил на второй план.
И вот в феврале — марте 1529 года Герберштейн отправился в Великое княжество Литовское со сложным дипломатическим поручением — добится военной помощи от Сигизмунда I. Двухнедельное пребывание в Вильнюсе с 20 марта по 7 апреля 1529 года закончилось безрезультатно. Ни красноречивое описание османских захватов и угрозы, нависшей надо всеми государствами Юго-Восточной Европы и Центра, ни просьбы о помощи не возымели должного действия.
Наряду с дипломатическими поручениями Герберштейн преуспевал и во внутриполитической жизни страны. После смерти Максимилиана он в составе посольства отправился в 1519 году к будущему императору Карлу V. А при Фердинанде, австрийском эрцгерцоге, Герберштейн защищал не только государственные, но и представлял интересы родной Штирии. В начале 1521 года он стал членом Высшего Государственного совета Штирии, в 1527 году — членом Нижнеавстрийской камеры, в 1537 году — членом Высшего военного совета, в 1539 году — президентом Нижнеавстрийской камеры. В 1532 году Герберштейн был возведен в баронское звание.
Вершиной своей дипломатической деятельности Герберштейн считал встречу с Сулейманом Великолепным, когда ему удалось говорить не распростертым ниц перед султаном, как было принято при османском дворе, но стоя на одном колене. Недаром позднее с разрешения императора Герберштейн пополнил родовой герб изображением „московита“ и „турка“, имея в виду две важнейшие дипломатические миссии своей жизни.
Герберштейн выполнял многие поручения австрийской короны и к концу жизни (он умер 28 марта 1566 года) заслужил славу одного из опытных и деятельных дипломатов империи. Но не меньшую известность принесла ему книга „Записки о московитских делах“. Труд Герберштейна издавался неоднократно и, безусловно, содержал информацию о России, интересную не только для европейских читателей, но и для русских.
Можно полагать, что первоначальный вариант „Записок“ был создан вскоре после возвращения дипломата из второго путешествия в Московию, а вторично Герберштейн обратился к ним уже в начале 1540-х годов. К 1544 году книга была завершена, но лишь в 1549 году „Записки о Московии“ увидели свет. Это было очень своевременно: в 1548 году в Польше вновь появилась партия, стремившаяся упрочить положение Яноша Запольяи. „Недоредактированность“ книги, вероятно, результат той спешки, в которой она готовилась к изданию.