Se puede deber a.
 
1º La forma del collider
 
2º Los materiales de colisión que estén actuando.
 
3º La masa del objeto.
 
4º (Sleep mode) La configuración de actualización de físicas.
 
5º (Interpolate) El modo de interpolación.
 
Muchas variables .... 
 
 

1º Deberías evaluar si el proyecto tiene como requerimiento más de 20 CCU.
 
En muchos casos nos preocupa que el CCU sea bajo, pero ¿Realmente se requiere tantos clientes activos?. 

Si el proyecto tiene mucho potencial te recomiendo implementar una librería de red que te permita desplegar servidores a gusto haciendo uso de los VPS distribuidos de Google Cloud, o bien utilizando un CPU en tu hogar y un servicio SIMÉTRICO de por lo menos 150 MB/s con IP pública estática.
 
2º ¿Tenes alguna idea de cuantos kb/s por usuario usará la aplicación?. 
 
Esto es más importante que el CCU, todos o casi todos los servicios de red tienen un limite en cuanto a kb/s se refiere, y tambien una tarifa. 
 
3º ¿Se definió una estructura para la aplicación?
 
Al definir la estructura de red tendrás referencias para medir el CCU y KB/s necesario. 
 
------------------------------------------
 
Si tenes ganas de experimentar con librerías de red te dejo en orden (LLAPI -> HLAPI) algunos proyectos Open Sources.
 
Telepathy

Librería escrita en C# sobre Sockets TCP con alta eficiencia y rendimiento. https://github.com/vis2k/Telepathy
 
Mirror

Librería escrita en C# sobre (Network Drive) con alta eficiencia y rendimiento, se intentó seguir la misma metodología que implementa HLAPI de UNET para que la implementación, migración y aprendizaje sean agradables. https://github.com/vis2k/Mirror
 
 
 
Te invito te animes a explorar soluciones propias.
 
 
 
Saludos.