出, 这令他即便是在联姻关系终结后也和韦尔夫家族保持着相对缓和的关系。在第一任妻子去世后, 他开始变得放浪, 他有很多情人, 她们给他生下十余个私生子女, 他对他的私生子们也做到了父亲应尽的义务, 关心他们的生活、教育和婚姻，并为他们安排领地和职务, 但他婚生长子的地位仍不可动摇，他起初将亨利交由科隆大主教监护, 等他再次结婚后, 他又将亨利交给了他的继母。
文学故事和影视作品中, 腓特烈二世和埃莉诺王后常常被描绘成一对被无辜分离的恋人, 但事实上，即便他们青年时曾经有过爱情，在他们真正结婚后，爱情也烟消云散，生下腓特烈二世的第二个婚生子凯撒·霍亨斯陶芬后，二人便长期分居，腓特烈二世也很少过问他长子的教育，这令他没有及早意识到他妻子和儿子（以及他妻子和前夫的儿子）已经结成了对抗他的同盟，对他们之间萌生出的超越母子界限的情愫也浑然不知。
在凯撒·霍亨斯陶芬出生前，腓特烈二世的家庭保持着微妙的平衡，所有人都默认他的长子亨利会继承德意志的王位和神圣罗马帝国的皇冠，他的私生子们则将各司其职襄助兄长，但在塞萨尔一世去世、凯撒·霍亨斯陶芬回到父亲身边后，平衡被打破了，腓特烈二世异常宠爱这个没有在他身边长大的幼子，从腓特烈二世的描述中，凯撒的外貌和他的舅舅理查、外祖塞萨尔一世非常相似，而他本身的血统也比他的兄弟们更加高贵，腓特烈二世的近臣们开始怀疑在次子错失奥古斯都之位后，他的父亲有意将凯撒之位连同他名下的所有领地都交付与他。