Осенью 1926 года Вольфа сменил Ян-Альфред Матисович Тылтынь, работавший в паре со своей женой Марией Тылтынь. Они сумели увеличить количество агентов до одиннадцати.
После них сменилось ещё несколько резидентов и сотрудников.
В 1924 году Ворошилов и Берзин инструктировали перед отъездом за границу ещё одного разведчика — Льва Термена. Этот учёный, изобретатель и музыкант в 1921 году придумал удивительный электротехнический музыкальный прибор, получивший название «терменвокс» в честь его создателя. Внешне прибор выглядит как вертикально стоящий стержень, а музыкант извлекает из него мелодичные звуки, напоминающие звуки органа, делая манипуляции рукой вокруг стержня, не прикасаясь к нему. В 1927 году Термен создал первый телевизор, на демонстрации которого присутствовали Сталин, Орджоникидзе, Ворошилов и Тухачевский.
С 1928 года Термен гастролировал в Европе и США, где терменвокс встречали овациями. Его выпускают серийно на созданной Терменом электронной фирме в США. Но всё это было лишь «верхушкой айсберга». Трудно переоценить значение информации, которую Термен передавал в Разведуправление. Жаль, конечно, что не вся она была в должной мере использована. Достаточно сказать, что среди его контактов были Эйзенхауэр, Эйнштейн, Гровс (будущий генерал, руководитель атомного проекта «Манхэттен»). Термен участвовал вместе с ними в создании уникальных охранных систем для ВПК, налаживании телефонной связи между США и Европой и другими районами; он был хорошо информирован о военном потенциале США и о стратегических планах американской внешней политики. В конце 1938 года, после возвращения в СССР, он был арестован и осуждён на восемь лет лишения свободы. В «шарашке» занимался созданием системы подслушивания.
Работала военная разведка и в Турции. Вначале планировалось с помощью турецких коммунистов и даже врангелевских офицеров захватить власть в Константинополе и создать в Турции советскую республику. Разведупр создал разветвлённую агентурную сеть (только в Трапезунде было двести агентов). Но после провала попытки переворота военная разведка занялась обычной деятельностью. Особо ярких фигур в анкарской резидентуре того времени не было, кроме, пожалуй, бывшего начальника Региструпра С. Аралова. Тем не менее она приобрела достаточное количество агентов влияния, которые способствовали значительному улучшению советско-турецких отношений. В Турции по приглашению властей даже побывал с визитом нарком обороны Ворошилов, что по тем временам было из ряда вон выходящим событием.
Объектом пристального внимания советской разведки в 1920–1930 годах был Китай. Обстановка в стране была сложной и нестабильной: японские, английские, американские вторжения, бесконечная междоусобная война генералов-«милитаристов», межпартийная борьба, выливающаяся в разного рода и масштаба военные «походы». Если разведка ИНО ОГПУ сосредоточила свои усилия в Харбине против японцев и белогвардейцев, то руководимая Берзиным военная разведка действовала в основном в Шанхае. Она оказывала поддержку китайской Красной армии, участвовала в создании «советских районов» Китая.
Именно в Шанхае начали свою деятельность «крестники» Берзина — нелегалы Р. Зорге и Урсула Кучински (Рут Вернер). Этим выдающимся разведчикам мы посвятим отдельные очерки. Но помимо них в Китае работали и многие другие нелегалы. Например, нелегальная резидентура Салныня не только собирала военную, экономическую и политическую информацию, но занималась переброской в Китай оружия для китайских коммунистов.
Резидентура Салныня с участием прибывшего из Москвы Н. Эйтингона (впоследствии он станет известен как организатор убийства Л. Троцкого) провела ликвидацию Чжан Цзолиня. Это был фактический глава пекинского правительства, резко выступавший против нашей страны и сотрудничавший с японцами. Он организовывал провокации против советских учреждений в Китае и служащих КВЖД.
Военные разведчики сделали всё, чтобы подозрения в убийстве генерала Чжана пали на японцев. Они воспользовались возникшими между ним и японцами разногласиями по поводу Маньчжурии. Когда эти разногласия достигли высшей точки и Чжан Цзолин решил лично направиться в Маньчжурию, чтобы на месте решить спорные вопросы, в его вагон была подложена бомба. До места назначения генерал не доехал, а его гибель до сих пор приписывают японцам. Одна из причин этого заключается в том, что японский полковник, всю дорогу сопровождавший генерала, за несколько минут до взрыва перешёл в хвостовой вагон поезда, благодаря чему уцелел… Но в деятельности разведки бывают ещё и не такие совпадения.
Важную операцию военная разведка провела в 1933 году. В конце 1932 года Ян Берзин получил сведения о намерении Японии отторгнуть от Китая провинцию Синьцзян, имевшую важное значение для СССР: она непосредственно граничит с Казахстаном, населена уйгурами и дунганами, исповедующими ислам. Пока в «верхах» согласовывались мероприятия, в Синьцзяне началось восстание во главе с местным генералом Ма Чжунином. По предложению Яна Берзина Сталин принял решение о проведении силовой операции.
Дислоцированный в Алма-Ате 13-й полк НКВД был переодет в гражданскую одежду, у бойцов были отобраны все документы, и под видом «Алтайской добровольческой армии» он вторгся на территорию Синьцзяна. Повстанцы генерала Ма были разгромлены без особого труда. Для политического закрепления победы в Синьцзян направили группу военных разведчиков. Они помогли законной местной власти создать регулярную армию и навести порядок.
Однако при Берзине в работе советской военной разведки были не только победы, но и тяжёлые поражения.
В конце 1920 — начале 1930-х годов в результате серии провалов нелегальная агентурная военная разведка фактически перестала существовать в Румынии, Латвии, Франции, Финляндии, Эстонии, Италии. Нелегальная сеть сохранилась лишь в Германии, Польше, Китае, Маньчжурии.
Многочисленные провалы и шумиха по этому поводу в иностранной печати привлекли внимание самого Сталина. 29 марта 1934 года на заседании Политбюро ЦК ВКП(б) он выступил с докладом «О кампании за границей о советском шпионаже».
По поручению Политбюро в причинах провалов разбирался Особый отдел ОГПУ, который пришёл к печальному для Берзина выводу: «Тщательное изучение причин провалов, приведших к разгрому крупнейших резидентур, показало, что все они являются следствием: засорённости предателями; подбора зарубежных кадров из элементов, сомнительных по своему прошлому и связям; несоблюдения правил конспирации; недостаточного руководства зарубежной работой со стороны самого 4-го управления Штаба РККА, что несомненно способствовало проникновению большого количества дезориентирующих нас материалов». Все пункты заключения были подтверждены бесспорными фактами.
Ознакомившись с документом, Сталин решил вновь рассмотреть в Политбюро работу военной разведки, что и было сделано 26 мая 1934 года. Эту дату можно считать началом заката Берзина.
Была введена должность первого заместителя начальника Управления, на которую был назначен прославленный ас внешнеполитической разведки Артузов. Перейдя из ОГПУ в военную разведку, он «захватил» с собой около тридцати опытных чекистов-разведчиков, возглавивших некоторые подразделения РУ.
Но вскоре, в феврале 1935 года, произошёл ещё один, серьёзнейший и постыднейший провал в Дании. На конспиративной квартире были захвачены сразу четыре ответственных работника центрального аппарата разведки, причём они оказались там без серьёзной служебной необходимости: трое из них, проездом через