La solución más rápida y fácil sería poner los colliders más anchos, pero seguro que hay otras formas.
Pero para estos casos creo que se suele usar una malla o Tilemap, una matriz [][] que cubra todo el terreno y detecte las zonas ocupadas y libres.
Pero para estos casos creo que se suele usar una malla o Tilemap, una matriz [][] que cubra todo el terreno y detecte las zonas ocupadas y libres.