В декабре 1920 года Красная Армия вступила на территорию Армении, и Баграмян был одним из многих армянских военных, которые сразу перешли на ее сторону. Оставлен в должности командира взвода своего полка, включенного в состав 1-й Армянской бригады. В феврале-марте 1921 года участвовал в вой не против меньшевистского правительства Грузии и в Тифлисской операции, в июне-июле 1921 года – участник подавления дашнакского восстания в Армении.

В 1925 году окончил Высшую кавалерийскую школу РККА в Ленинграде, в 1931 году – курсы усовершенствования высшего начсостава в Москве, в 1934 году – Военную академию РККА имени М. В. Фрунзе.

С апреля 1934 до октября 1936 года – начальник штаба 5-й кавалерийской дивизии имени Блинова в Киевском военном округе. В 1938 году окончил Академию Генерального штаба и с октября этого года там же преподавал тактику. С сентября 1940 года – начальник оперативного отдела штаба 12-й армии Киевского Особого военного округа, с декабря 1940 года начальник оперативного отдела – заместитель начальника штаба этого округа.

С начала Великой Отечественной войны полковник Баграмян был назначен начальником оперативного отдела – заместителем начальника штаба Юго-Западного фронта. В 1941 году участвовал в организации обороны Киева и проведении Киевской оборонительной операции, в планировании и проведении контрнаступления под Ростовом, в Елецкой наступательной операции. С 28 декабря 1941 года – начальник штаба Юго-Западного направления, и с 1 апреля 1942 года одновременно начальник штаба Юго-Западного фронта.

С 23 июня по 15 июля 1942 года был заместителем командующего 61-й армией, потом назначен командующим 16-й армией Западного фронта, преобразованной за успешные боевые действия 16 апреля 1943 года в 11-ю гвардейскую армию. Участвовал в отражении немецкого контрудара под Козельском в июле 1942 года и в Жиздринской наступательной операции в феврале-марте 1943 года, в Орловской операции 1943 года.

С 16 ноября 1943 года И. Х. Баграмян – командующий войсками 1-го Прибалтийского фронта. В ходе Белорусской операции 1944 года войска 1-го Прибалтийского фронта во взаимодействии с войсками 3-го Белорусского фронта осуществили Витебско-Оршанскую операцию.

Указом Президиума Верховного Совета СССР от 29 июля 1944 года за выдающиеся результаты, достигнутые войсками фронта в Белорусской операции, и проявленное личное мужество генералу армии Баграмяну присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».

В Восточно-Прусской операции войска 1-го Прибалтийского фронта, затем Земландской оперативной группы под руководством И. Х. Баграмяна (вступил в командование 24 февраля 1945 года) участвовали в разгроме тильзитской и земландской группировок противника. С 3 апреля 1945 года Баграмян командовал войсками 3-го Белорусского фронта.

После войны И. Х. Баграмян был командующим войсками Прибалтийского военного округа (1945–1954), главным инспектором Министерства обороны (1954–1955), заместителем Министра обороны СССР (1955–1956).

11 марта 1955 года Баграмяну присвоено звание Маршала Советского Союза.

С 8 июня 1956 до 28 июня 1958 года он служил начальником Высшей военной академии имени К. Е. Ворошилова (ныне Военная академия Генерального штаба). С 28 июня 1958 до 25 апреля 1968 года был заместителем Министра обороны СССР – начальником тыла Вооруженных Сил СССР. С 25 апреля 1968 года – генеральный инспектор Группы генеральных инспекторов Министерства обороны СССР.

Указом Президиума Верховного Совета СССР от 1 декабря 1977 года за заслуги перед Вооруженными Силами СССР, мужество и героизм, проявленные в борьбе с немецко-фашистскими захватчиками в годы Великой Отечественной войны, и в связи с восьмидесятилетием со дня рождения Маршал Советского Союза Баграмян Иван Христофорович награжден орденом Ленина и второй медалью «Золотая Звезда».

Умер 21 сентября 1982 года. Его прах захоронен в Москве на Красной площади в Кремлевской стене.

Награжден 7 орденами Ленина (1944,