Como pueden ver en la foto he escalado una montaña y estoy en un lugar en teoría imposible, pero mi characterController se mantiene ahí cuando debería caerse.Serán problemas con los parametros del characterController?

No debes entender el CharacterController como que deberia de ... (cualquier comportamiento que encuentres logico)Lo bueno, o malo segun el punto de vista desde el que quieras mirarlo, es que es un componente que te ofrece lo mas basico para controlar un personaje (por ejemplo detectar colisiones, movimiento, ....) pero que todo el funcionamiento o logica lo tienes que programar tu mismo. Porque es bueno eso ? Porque tendras un controlador que se adaptara 100% a tus necesidades especificas. Porque es "malo" eso ? Porque evidentemente tiene ese trabajo.

El CharacterController sólo se encarga de mover al personaje (ahora no recuerdo bien si tiene una propiedad de max.Slope o algo parecido,que es lo que buscas...). Si quieres controlar por dónde puede pasar un personaje y por dónde no debe, lo más rápido es crear unas colisiones, o en su defecto un navmesh.

ohhh un dislike  tambien estoy conforme con lo que dice pioj, la mejor forma (y mas rapida) para decirle a tu personaje por donde puede pasar es utilizar un navmesh xD