奥利弗在第一次结婚后，移居到了加拿大多伦多市，并在加拿大生了8名儿女。为养家糊口，奥利弗开始诈骗和洗钱，结果锒铛入狱。在狱中他开始学习心理学。奥利弗后来出狱，但他38岁的妻子玛丽却在1974年死于败血症。奥利弗决定用心理学知识尽快“俘获”一名女性。他很快就在一家酒吧中结识了英国女会计安格尼丝·科鲁尼。然而两人的婚姻只持续了10天，奥利弗就不辞而别。到1995年，奥利弗又和英国哈罗镇委员会教育官员玛格丽特·库丁结了婚。这是他的第14个妻子。由于奥利弗的妻子实在太多，他甚至忘掉了其中一些妻子的姓名。