être du sérail : que veut dire cette expression ?

Être du sérail signifie faire partie d'un milieu fermé, appartenir à un groupe restreint qui partage les mêmes codes.
« Dans cette famille bourgeoise, il faut être du sérail pour comprendre toutes leurs allusions et traditions. »