Yo tuve hace poco el mismo problema (aplicado a 3D).
También hacía lo de ponerlo debajo en la jerarquía, pero al parecer, como estaba haciendo uso de RigidBody no era buena idea.
Al final, puse en un hilo, una posible solución (tendrías que adaptarlo a 2D y en el ejemplo hago uso de RigidBody) en la que no es necesario ponerlo como hijo en la jerarquía.
También hacía lo de ponerlo debajo en la jerarquía, pero al parecer, como estaba haciendo uso de RigidBody no era buena idea.
Al final, puse en un hilo, una posible solución (tendrías que adaptarlo a 2D y en el ejemplo hago uso de RigidBody) en la que no es necesario ponerlo como hijo en la jerarquía.
)
tengan el mismo rozamiento (Drag)