Actualmente tengo esta estructura.
 

   
      Abuelo
   
   
           Padre
   
   
                Hijo
   
   
                Hijo
   
   
                Hijo
   

[/quote]
 
 
 
Abuelo (panel) tiene un Horizontal Layout Group con Child Force Expand - Height
 
Padre (panel) tiene un Vertical Layout Group con Child Force Size - Height y  Child Force Expand - Height
 
Hijos son textos
 
Si tengo un texto demasiado corto me sobra panel, y si es demasiado grande se corta. No deberia expandirse si el Abuelo tiene Chil Force Expand para la altura.
 
Si en los Hijos uso el overflow se me sale el texto del panel y tampoco quiero eso.
 
 

Mirate el script Content Size Filter, creo que poniendoselo al "Abuelo" deberia hacerlo si te entendi bien..
https://docs.unity3d.com/Manual/script-ContentSizeFitter.html

Me ha venido como un guante, ya estaba desesperado xD