Un shader de doble cara creo que también funcionaría. Aunque no sé si realmente sería lo más óptimo. Esas caras que están fuera, no se van a ver, usando un shader de doble cara, te ahorras el cálculo de vértices y geometría, pero hace el de la renderización que es más costoso. (Si el material es un simple diffuse, pues no importará mucho, pero si resultara que por ejemplo, es un material con mapa de normales, textura especular, otra de altura, otra de occlusion y reflejando un reflection probe. Pues es algo más caro, y duplicar dicho coste para algo que realmente no se va a ver, pues ahí está la duda.
Cuando digo de crear una geometría para las sombras, no es necesario que esté igual de detallada que la pared interior. Es un objeto que no se va a ver, que sólo estará ahí para el cálculo de sombras, así que podría ser algo como esto:
La fila de abajo es la que tiene el polígono de sombras, esa cosa verde. Que en verdad le tengo puesta la opción esa de "Cast Shadows -> Shadows Only", pero la quité un momento para hacer la captura y se vea el modelo.
Cuando digo de crear una geometría para las sombras, no es necesario que esté igual de detallada que la pared interior. Es un objeto que no se va a ver, que sólo estará ahí para el cálculo de sombras, así que podría ser algo como esto:
La fila de abajo es la que tiene el polígono de sombras, esa cosa verde. Que en verdad le tengo puesta la opción esa de "Cast Shadows -> Shadows Only", pero la quité un momento para hacer la captura y se vea el modelo.

(Y crear los botones de la interfaz...)