Bueno, no se si es la manera más correcta de hacerlo, pero funciona...
 

function Update(){
    if (Input.GetMouseButtonDown()){ 
        var hit: RaycastHit;
        var ray = Camera.main.ScreenPointToRay(Input.mousePosition);
        if (Physics.Raycast(ray, hit)){
        
        Destroy(hit.transform.GetComponent.<Rigidbody>());
        }
    }
  
}

 
con esto consigo lo que estaba buscando!
 
un saludo!

Gracias francoe1, no ofendes, dices la verdad, no tengo ni idea de programación , soy animador http://animo3d.com y llevo poco tiempo con unity, pero me parece una pasada las posibilidades que brinda Unity, pero que es un prefab ahí llego , por eso necesito que sea un prefab, no un objeto que este cargado en la scene, dándole vueltas a lo que quiero hacer a lo mejor es tan fácil como desactivar el rigidbody del GameObject, pero voy a investigar lo que has comentado, de nuevo gracias por tu ayuda, un saludo!

Saludos, alguien me puede echar una mano plis, necesito un script (estoy harto de buscar y no encuentro nada), que cuando apunte con la cámara a un objeto (prefab), supongo que sera a través de raycast, pueda cambiar dicho prefab por otro pulsando una tecla,  no se como hacerlo, no soy programador, necesito ayuda con esto, por que estoy superatascado con un proyecto que estoy haciendo por entretenerme y jugar con unity.
 
muchas gracias!

Hola! un saludo a la comunidad!