Говорящий недоволен назойливостью собеседника. Выражение пришло из анекдота, в котором к одной и той же женщине на свидание пришли в разное время отец и сын. При появлении очередного ухажёра, а затем и мужа, та спрятала любовников одного за другим в шкаф. Не узнав в темноте отца, сын стал шантажировать подельника, требовать денег.... Дома же, ничего не подозревая, попросил у отца на карманные расходы....
Жгучий глагол: Словарь народной фразеологии. — Зеленый век. В. Кузмич. 2000.