Бащата му беше аристократ, докато семейството от страна на майка му включваше няколко поколения художници. Живанши произхождаше от сценографи както на Парижката опера, така и на двореца Елисейски поля. Дядо му, Жил Баден, беше художник, който се обучаваше при живописеца Жан Батист Камий Коро и стана директор на престижните производители на гоблени Гобелен и Бове.
Когато Живанши беше малко дете, смъртта на баща му от грип промени баланса на възпитанието му, придавайки му по-артистичен характер. Младият Ибер беше отгледан от майка си Беатрис, известна като „Сиси“, и баба си от страна на майка си. Той живееше в бохемска среда, където се отдаваше голямо значение на креативността, и интересите му разцъфнаха. Женското влияние върху възпитанието му беше вероятно решаващо за бъдещия му успех.
Дядото на Живанши имаше страст към материалите и тъканите и притежаваше колекция от дрехи от култури по целия свят. Колекцията му беше източник на вдъхновение за младия дизайнер, който от ранна възраст откри любовта си към модата и изкуството на шиенето.
