Speech-to-Text

Speech-to-Text

Speech-to-Text (STT), também chamado de Automatic Speech Recognition (ASR), refere-se a transcrição da fala, ou seja, transformar áudio em texto. As técnicas tradicionais utilizavam modelos estatísticos, como os Modelos Ocultos de Markov (Hidden Markov Models - HMMs). As técnicas baseadas em Deep Learning possuem uma acurácia muito maior, necessitando, em contrapartida, de uma grande quantidade de dados para treinamento dos modelos.

O modelo wav2vec 2.0 é o estado-da-arte para transcrição da fala. Trata-se de um modelo que cria representações da fala, cujo treinamento é realizado de maneira auto-supervisionada. Em seguida, através de um processo de fine tuning o modelo é treinado em dados rotulados para realizar a tarefa de transcrição da fala, atingindo assim os melhores resultados em diversas línguas. Nosso trabalho intitulado "Brazilian Portuguese Speech Recognition Using Wav2vec 2.0" realiza um estudo comparativo e também disponibiliza checkponts e diversos datasets para treinamento dos modelos.

Texto: Quase dá a ele a sensação de que ele não era desejado

Jasper + KenLM: quase dá a ele a sensação de que ele não era desejado

Wav2vec + BERT: quase dá ele a sensação de que ele não era desejado.

Texto: Crianças em uma sala de aula estão ocupadas trabalhando escrevendo e fazendo projetos artísticos.

Jasper + KenLM: crianças em uma sala de aula estão ocupadas trabalhando escrevendo e fazendo projetos artísticos

Wav2vec + BERT: crianças em uma sala de aulas estão ocupadas trabalhando escrevendo e fazendo projetos artísticos.

Texto: As pessoas andam por uma rua de paralelepípedos com prédios em ambos os lados.

Jasper + KenLM: as pessoas andam por uma rua para deli pipe dos com prédios em ambos os lados

Wav2vec + BERT: as pessoas andam por uma rua paralelepípedos com prévios ambos os lados.

Texto: A Catalunha viveu uma miragem em relação às tecnologias de informação e comunicação.

Jasper + KenLM: a catalunha viveu uma miragem em relação às tecnicos vias de informação e comunicação

Wav2vec + BERT: a catalunha vivi uma miragem em relação aos tecnologias de informação e comunicação.

Texto: Um homem com um colete amarelo e calças azuis está andando pela grama seca.

Jasper + KenLM: um homem com um colete amarelo e calças azuis estão andando pela grama seca

Wav2vec + BERT: um homem com colete amarela e calças azuis está andando pela grama seca.

Texto: De todas as reuniões realizadas pela Comissão Conjunta, a ata correspondente será levantada.

Jasper + KenLM: de todas as reuniões e realizadas pela comissão conjunta a apra correspondente será levantada

Wav2vec + BERT: de todas as reuniões realizadas pela comissão conjunta, a ata correspondente será levantada.

Texto: A Comissão assumiu as suas responsabilidades no mesmo sentido e devemos agradecer-lhe.

Jasper + KenLM: a comissão assumiu as suas responsabilidades no mesmo sentido entendemos agradecer-lhe

Wav2vec + BERT: a comissão assumiu as suas responsabilidades no mesmo sentido e devemos agradeceu - lhe.

Texto: Bem, digitalizar Don Quixote é um passo para levar a cultura a todos.

Jasper + KenLM: bens digitalizado de um crichton passa para levar a cultura todos

Wav2vec + BERT: bem digitalizado que sete é um passo para levar cultura todas.

Texto: Abriu uma gaveta e tirou um baralho de cartas compridas e enxovalhadas.

Jasper + KenLM: abriu uma gaveta e tirou um baralho de clarks compridas e enxovalhado

Wav2vec + BERT: abriu uma gaveta e tirou um baralho de cartas compridas e e cavalhada.

Texto: A parte das despesas executadas fora deste período não está sujeita a subsídio.

Jasper + KenLM: a parte das despesas executadas fora deste período não está sujeita a subsídio

Wav2vec + BERT: a parte das despesas executadas fora deste período não está sujeita a subsídio.

Texto: O Conselho, nessa situação, só pode fazer acordos urgentes e necessários.

Jasper + KenLM: o conselho nessa situação só pode fazer acordo de gente e necessárias

Wav2vec + BERT: o conselho, nessa situação só pode fazer acordos urgentes e necessários.

Texto: Homens fracos acreditam na sorte. Homens fortes acreditam em causa e efeito.

Jasper + KenLM: homens fracos acreditou na sorte homens fortes acredito em causa e efeito

Wav2vec + BERT: ames fracos acreditam na sorte, ao menos fortes acreditam em causa e efeito.