Si el destino se setea por el agente no debería haber ningún problema siempre y cuando exista otro camino para llegar ahí. El navmesh agent siempre intenta evitar el obstáculo por más que sea rodeándolo lo más cercano posible.
Si necesitas hacer mejores comportamientos deberías ver la documentación del navmesh agent para, volver a calcular el camino, resetear el destino, limpiar la ruta actual, etc.
https://docs.unity3d.com/ScriptReference/AI.NavMeshAgent.html
Si necesitas hacer mejores comportamientos deberías ver la documentación del navmesh agent para, volver a calcular el camino, resetear el destino, limpiar la ruta actual, etc.
https://docs.unity3d.com/ScriptReference/AI.NavMeshAgent.html
.