Фильм снят по мотивам романа Марио Пьюзо «Крёстный отец» (The Godfather, 1969).

По словам Копполы, второй фильм не задумывался как сиквел в голливудском понимании этого слова. Сценарий представлял как бы вторую часть романа. Это оказало влияние и на методы производства картины. На съемках использовалась та же аппаратура, что и на первом «Крестном отце», хотя в 1974 году уже появились более современные технологии.

Еще до первого «Крестного отца» Коппола хотел снять фильм, в котором собирался показать отца и сына в одном и том же возрасте. В отце он хотел увидеть черты его будущего сына, а в сыне – черты отца.

В одной из вырезанных сцен, которая включена в DVD-версию фильма, Вито, Дженко и Клеменца встречаются в магазине, принадлежащему некоему синьору Копполе. Клеменца просит Копполу, чтобы его сын Кармине сыграл на кларнете. Существует предположение, что эту сцену режиссер посвятил своему отцу Кармине Копполе, сочинившему дополнительную музыку для первых двух «Крестных отцов».

Джеймс Каан согласился сыграть эпизодическую роль Санни Корлеоне в сцене празднования 50-летия Вито Корлеоне, затребовав такой же гонорар, который он получил за весь фильм «Крёстный отец».

«Крёстный отец 2» стал первым сиквелом, получившим «Оскар» в категории «Лучший фильм».

Марлон Брандо изначально согласился сняться в эпизоде с празднованием дня рождения, но затем из-за разногласий с Paramount отказался от единственного запланированного дня съёмок, и Коппола переписал сценарий этого эпизода.

Ричард С. Кастеллано, сыгравший роль Пита Клеменцы в первом фильме, отказался сниматься во второй части из-за разногласий с продюсерами. Роль молодого Клеменцы исполнил Бруно Кёрби.

В эпизодических ролях сенаторов на слушании комитета можно увидеть продюсера и кинорежиссёра Роджера Кормана, писателя и сценариста Ричарда Мэтисона.

В ранней версии сценария была сюжетная линия, в которой у Тома Хагена развивался роман с вдовой Санни Корлеоне. Позже от этих сцен было решено отказаться, но при этом сохранилась фраза Майкла Корлеоне с упоминанием любовницы Хагена.

По замыслу Копполы, Майкл должен был убить Фредо. Автор романа и соавтор сценария Марио Пьюзо сначала воспротивился этому, но затем согласился – при одном условии: убийство должно произойти только после смерти матери героев.

В начале картины, когда мать дона Корлеоне подбегает к телу своего убитого сына, лежащего на камнях, видно, как «убитый» Паоло (старший брат дона Корлеоне) переставляет руку в более удобное положение в момент, когда мать Вито наклоняется к нему и обнимает его голову.