Cognati divorziati

Mio cognato ha divorziato da sua moglie ( i rapporti sono molto tesi) non vedevo i nipoti da più di un anno,quando i ragazzi minorenni hanno espresso la volontà di venirmi a trovare o provato una gioia immensa, naturalmente ho avvisato la madre dato che vivono con lei, lei ha acconsentito, il padre , il fratello di mio marito , che tra l’altro sono mesi che non fa visita ai suoi figli, si è indispettito con noi, dicendo che avremmo dovuto chiedergli il permesso, vorrei sapere avremo effettivamente dovuto chiederglielo o no! Grazie per l’eventuale risposta.