Buenas noches a todos,Estoy con un proyecto en el que queremos hacer un asistente tipo siri pero con un avatar, he encontrado formas de reconocer la voz y de pasar el texto a audio, pero todos se basan en apretar un botón para iniciar la grabación del sonido.Lo que quiero hacer es que el avatar preste atención de una forma similar a como lo hace Siri ("hey Siri") o Cortana ("Hola Cortana), sin apretar ningún botón, llevo bastante dándole vueltas y no lo consigo, hay alguien que se le ocurra o sepa como hacer esto?Muchas gracias a todos.
No lo sé, pero no creo que Siri o Cortana estén todo el rato pendientes de si hablas o no. Probablemente detecten un cierto nivel de ruido y se activen entonces.
Con System.Speech de vs se puede lograr, no se la integración con Unity.
Qué versión de .NET es System.Speech? Yo diría que más de .4, es posible o estoy equivocado?
Cita de: iRobb date=1459647409" data-ipsquote-contentid="35549" data-ipsquote-contentcommentid="129052" data-ipsquote-contenttype="forums" data-ipsquote-contentclass="forums_TopicQué versión de .NET es System.Speech? Yo diría que más de .4, es posible o estoy equivocado?
Esta desde la 3.0 pero yo uso la 4.x
Pues entonces, con Unity en la 2.x, no lo puede aprovechar.
Cita de: iRobb date=1459667199" data-ipsquote-contentid="35549" data-ipsquote-contentcommentid="129056" data-ipsquote-contenttype="forums" data-ipsquote-contentclass="forums_TopicPues entonces, con Unity en la 2.x, no lo puede aprovechar.
Si, es una lastima que no actualicen, no se que motivos tendrán.
Gracias por las respuestas, el caso es que he conseguido medir el ruido que entra por el micro y a partir de ahí intentar enviar la consulta pero tampoco me funciona del todo bien, ya que el archivo de sonido que hay que generar para poder ver si hay actividad en el microfono cuando pasa de cierto nivel, no deja que el archivo que se crea a partir del nivel de ruido tenga la calidad suficiente (creo que hay algunas letras al inicio de la frase que no se guardan en el segundo archivo) y cuando la envio al servicio online de reconocimiento de voz (API.AI) no lo entiende.
Vamos a ver. Bueno vemos que no necesitas el System.Speech, sino que es otro problema.Y si tienes un buffer memoria en bucle para la detección del ruido (1/2 secs), y en el momento de detección del ruido, guardas el archivo con el búfer + lo que empieces a detectar? O sea, algo así como crear el archivo a partir del punto 0 del búfer, que tendrá el registro previo al ruido y no en el momento de detectar el ruido?
Ok, puede ser... pero como hago eso? no estoy muy puesto en el tema de mani***r los buffers, si quieres pego el script de detección de ruido y explico más detalladamente como hago el envío.
Ok. A ver si te podemos ayudar. Son streams en memoria los búfers que comento.
Vale, pego el script y te cuento como lo hago funcionar, a ver si me podeis echar una mano, muchas gracias por adelantado.
using UnityEngine;
using System.Collections;namespace Mic
{
//[RequireComponent(typeof(AudioSource))]
public class MicrophoneInput
{
public MicrophoneInput(AudioSource audiosource)
{
micro = audiosource;
} public float sensitivity = 10000;
//public float loudness = 0;
public AudioSource micro; public void Start()
{
micro.clip = Microphone.Start(null, true, 5, 44100); //44100
micro.loop = true; // Set the AudioClip to loop
micro.mute = false; // Mute the sound, we don't want the player to hear it
micro.volume = 0.02f; //Volumen mínimo para no ser perceptible
while (!(Microphone.GetPosition(null) > 0)) { } // Wait until the recording has started
micro.Play(); // Play the audio source! } public void Stop()
{
Microphone.End(null);
}
public float GetAveragedVolume()
{
//float[] data = new float[256];
float[] data = new float[64];
float a = 0;
micro.GetOutputData(data, 0);
foreach (float s in data)
{
a += Mathf.Abs(s);
}
return a / 64;
} public float loudness()
{
float loud = GetAveragedVolume() * sensitivity;
return loud;
} }}[/quote]En el script principal de la aplicación, instancio esta clase y le paso como argumento el audio source que quiero utilizar (puede ser el mismo en el que realizo la grabación para enviar después o no), y con una condición if (loudness() > 2) disparo la grabación con el SDK de API.AI, que lo que hace es lanzar una grabación, checkar los posibles errores y enviar al parar la grabación al servidor para devolverme una query JSON de la que puedo recuperar tanto la traducción a texto de lo que he enviado como las respuestas programadas.
Le he estado dando vueltas, y puede que no necesite sumar dos clips, por lo que veo los clips de audio recuperan los últimos segundos según los parámetros establecidos.Si hago que un ruido de cierta intensidad dispare una corrutina que dispare el envío de este audio en que ya registro en esta clase en 2 segundos, en vez de la que empieza a registrar la API que comentaba antes ya lo tengo no?
Eso, el utilizar lo anteriormente registrado. Pruébalo a ver.
Ok, tendré que modificar los métodos de la API, comentaré algo cuando lo tenga, ojalá funcione!
Seguro. Yo lo veo posible.
Bueno, ya funciona, al final lo que he hecho es integrar el medidor de ruido en el SDK de API.AI, cambiar a 3 segundos la grabación que viene por defecto en el SDK (20 segundos), crear reglas para inicio automático y repetición si no da el resultado esperado, con eso solo responde si se envió la combinación correcta de palabras.
Podemos ver algún ejemplo en vídeo de la app? Tengo curiosidad.
De momento no tiene gráficos, es solo la pregunta y la respuesta en texto con un semáforo verde y otro rojo para saber cuando está grabando y cuando no, quieres que haga uno de eso?
Si hombre, claro. Si lo importante es el apartado de audio y como responde. Tienes el resultado del reconocimiento del texto en un texto, cierto?
Sí, la consulta me devuelve una serie de campos que puedo usar como string, que contiene tanto la traducción a texto de lo que he enviado como una serie de respuestas preestablecidas agrupadas en una especie de "temas".Aprovecho para preguntarte una cosa, con los filtros de audio filters de Unity, puedo filtrar ese audio para que no coja el ambiente? (no he tocado ese tema con anterioridad en nada de lo que he hecho)
Filtros por defecto tienes 6 muy típicos, entre ellos el low pass y el high pass (paso bajo/alto). Podrías jugar con ellos para conseguir la reducción de ruido, en base a retroalimentación. Lo que ya no puedo decirte es como hacerlo. Esto sería coger literatura de audio fuera de Unity y saber como se aplican de cara a la reducción de ruido.
He hablado con un experto en temas de audio y se puede aislar la voz cortando en low entre 50-100 y en high en 1000, iré probando.Lo comento por si a alguien alguna vez le puede servir.
super interesado hahahhs saludos
Gente! la versión 5.4.0B2 ahora implementa el Speech de Windows mediante: using UnityEngine.Windows.Speech;
[quote author=GSG3D" data-ipsquote-contapp="forums" data-ipsquote-contenttype="forums" data-ipsquote-contentclass="forums_Topic" data-ipsquote-contentid="35549" data-ipsquote-contentcommentid="129155">
Título: Reconocimiento de voz
Publicado por: iRobb en Abril 05, 2016, 06:15:57 PM
Qué dices?! Qué versión de .NET entonces utiliza la 5.4?
WOW... momento using "windows" es sólo para Windows? pregunta tonta pero...
Si, para Windows supongo, y esta en la version beta.
https://developer.microsoft.com/en-us/windows/holographic/voice_input_in_unity (//%7Boption%7D)
Sí, ya lo había leído eso, pero está en fase beta y no es seguro que se quede en la definitiva.Ya había conseguido reconocimiento de voz usando el envío de voz por UDP entre wiindows y Unity y también el TTS usando el narrador de windows, pero es complicado cambiar de idioma y hay que tener una aplicación corriendo en segundo plano.La forma en que lo estoy haciendo, es un poco lenta, pero es multiplataforma por lo menos el reconocimiento de voz
Muy bien en lo de multiplataforma
Supongo que os parecerá una tontería pero me aburría y he hecho esto en 10 minutos.. me apetecía compartirlo por aquí... jejeje
eature=oembed" frameborder="0" allowfullscreen="true">
Muy bien! Pudiste resolver la eliminación de ruido con los filtros low/high?
Pues no me acaba de funcionar el tema de los filtros, y he tenido que avanzar para poder presentar el prototipo, ahora ya estoy con el TTS, dejo el tema de los filtros para más adelante.
Hola creo que he llegado un poco tarde al post, solo quería agregar algo sobre el audio ya que soy profesor de acústica en dos conservatorios de musica.
Aca va mi aporte:
Lo mas básico, sabemos que es la frecuencia y la intensidad de un sonido? (si ya lo saben salteense esta parte)
Aun más básico: ¿Que es el sonido?:
Pues bien para que haya sonido debe haber tres cosas: una fuente emisora que debe poseer ciertas características., un canal de transmisión que es el aire y un receptor es decir un ser vivo con la competencia intelectual capaz de decodificar la señal recibida (acá hay un componente cultural del que no vamos a hablar, si a alguien le interesa me lo pide).
-La fuente emisora: debe ser una sustancia material elástica, la elasticidad es una propiedad de la materia por la cual por una fuerza externa a ella es capaz de deformarse (sin rom***) y cuando esa fuerza cesa, es capaz por si misma de volver a su forma original, por ejemplo una cuerda de una guitarra. Todas las fuentes sonoras tienen alguna parte o pieza que es elástica y que al jerecer alguna fuerza sobre ella comienza a vibrar. Una Vibración es un moviviemnto oscilatorio, (buscar en la wiki). El movimiento oscilatorio más simpple es que se denomina moviemiento armónico simpley desde el punto de vista matemático es el seno de un ángulo, por eso también se lo denomina senoidal o sinusoidal, por ejemplo el sonido de un diapasón de orquilla es sinusoidal. Bian habran visto un gráfico típico sobre ejes cartesianos de una onda sinusoidal, entonces la distancia que hay desde el eje de las absisas (x) al punto de máxima elongación ( el punto mas alto de la "cresta" de la onda) determina la intensidad, a mayor energía entregada mayor intensidad que percibimos auditivamente como el volumen de un sonido.
Como se puede observar en el gráfico, la onda presenta un patrón de movimiento cíclico, es decir el mismo moviemiento se repite, por ejemplo: la onda comienza en x = 0 y en y = 0. En el eje x medimos el tiempo que transcurre y en el eje y medimos las elongaciones o el ángulo que hay engre dicho punto ( el que estemos midiendo en ese momento) con respecto al eje x, o mas sencillo, las distancias entre un punto cualquiera de la onda con respecto al eje x. Entonces el patron de movimiento es x = 0, y = 0; a medida que x crece y crece hasta llegar al máximo; luego x crece e y decrece hasta nuevamente tocar el eje x; luego x crece e y sigue decreciendo hasta llegar al punto mínimo ( el valle de la onda) para luego mientras x sigue creciendo y vuelve a crecer hasta llegar nuevamente a tocar el eje x y así todo este ciclo se repite mientras suene dicho sonido.
Frecuencia entonces es la cantidad de ciclos que la onda realiza en una unidad de tiempo, para los sonidos se usa el segundo. Pongo otro ejemplo para entender lo que es frecuencia: "Señor cada cuanto pasa el colectivo,(bus) que va a Buenos Aires ? .- rta: hay dos coelctivos por cada hora" frecuencia: 2colectivos/hora.
Auditivamente escuchamos a la frecuencia como "la nota" musical que podemos escribir en un pentagrama - [[[ OJO, nuesto sistema musical sólo reconoce 12 frecuencias, los 12 semitonos en que se divide una octava, pero el oido es capaz de distinguir muchas más, pero no no entran en nuestro sistema musical ordinario salvo la mpuscia de vanguardia, hablando siempre de la cultura occidental]]] - EL sonido "LA" central, (que se escribe en el segundo espacio de un pentagrama en clave de sol) tiene una frecuencia de 440 HZ (HZ = hertz o sea 440 vibraciones u oscilaciones por segundo), es decir cada nota musical tiene un número determinado de frecuencia)
Filtrar sonido ambiente: para filtrar sonido ambiente entonces hay que tener en cuenta dos cosas, las posibles frecuencias de la voz hablada, (de la voz cantada si se desea) y las posibles frecuencias de los posibles sonidos ambiente a filtrar.
La voz hablada masculina de un hombre después del cambio de voz, puede estar entre los 220 hz aprox, a los 165 hz, lavo cantada de un hombre (no distingo aqui entre tenor y bajo sino que doy el rango total) sería entre los 82.5 hz hasta el famoso do de pecho de Carusso = 528 Hz.
Las mujeres voz hablada = entre los 220 hz y los 440 hz y la voz cantada ( sin distinguir entre contraltos y sopranos) puede ir desde los 198 hz hasta el famoso Fa sobre agudo del aria de la reina de la noche de La Flauta Mágica de Mozart = 1584 Hz.
Estos son aproximadamente los rangos de frecuencia de las voces (faltan las de los niños).
Ahora bien los sonidos del ambiente lamentablemente ocupan todo el rango audible = desde los 20 hjz hasta los 15.000 hz o 20.000 hz (15khz, 20 khz) pero podiramos decir que un motor sobresalen las frecuancias bajas, pero un ventilador o algo así tendria frecuencias altas o por encima de los 1000 hz o siendo aun mas finos el motor tendría frecuencias bajas < 110 Hz y las aspas frecuencias > 1000 hz, los silbidos tiene frecuencias altas, chirridos de pueta por lo general son frecuencias altas, el paso de un tren frecuecias bajas pero su bocina tendria por lo general frecuencias medias, todo esto depende del ruido ambiente con que nos enfrentemos y asi teniendo en cuenta el rango de las voces y las del posible ruido ambiente enconraremos las mejores frecuencias minimas . máximas de corte para aplicar a nuestros filtros.
Perdón por no incluir los gráficos pero son faciles de ver en internet.
Saludos a todos.
Hola me gustaria saber si se puedo hacer algo sobre el reconocimiento de voz, ya que me gustaría implementarlo en mi proyecto de unity, gracias
Hola me gustaria saber como implementar este reconocimiento de voz a mi proyecto gracias.
Cita de: Stalin date=1517927920Hola me gustaria saber si se puedo hacer algo sobre el reconocimiento de voz, ya que me gustaría implementarlo en mi proyecto de unity, gracias
Hola me gustaria saber como implementar este reconocimiento de voz a mi proyecto gracias.
Te he encontrado este Asset, pero seguro que hay muchos más en la Store: https://assetstore.unity.com/packages/tools/audio/mobile-speech-recognizer-73036 (https://assetstore.unity.com/packages/tools/audio/mobile-speech-recognizer-73036)