但是母亲林凤娇对他的管教非常严，房祖名被打是家常便饭！房祖名像一个孩子一样的描述：“通常打完之后我会跟妈妈说对不起，但下一次还是会惹事，哈哈。” 到了十八岁，他还是那个爱犯错的小孩，妈妈打他时，她说已经完全不觉得痛了。
作为成龙的儿子，房祖名小时候并不幸福，想见上父亲一面都很难。房祖名会写字了就开始写日记：我最大的愿望，就是希望爸爸能来接我放学。看到日记的成龙脸上红一阵白一阵，暗自决心要接孩子放学。可是，转眼又过了好几年，他始终没机会去接儿子。
那时的房祖名对父亲的情感是复杂的，他曾落寞的表示：“是父亲背影里的人。”也曾对成龙说：“我的记忆里没有你的身影，连背影也没有。”后来，成龙其实也不止一次在公开场合表示出对儿子的内疚。
小时候的房祖名和成龙
房祖名透露，其实二十几年来他妈妈也不是很快乐，而妈妈林凤娇没有跟父亲成龙离婚，很大原因也是因为自己。“我妈妈真的很强，而且二十几年不是很快乐，可能是以前的时候，很多事情搞得她不开心…所以我很感激妈妈，讲到妈妈就觉得很骄傲。”
