OpenAI lança atualizações para inferência em tempo real em áudio, visão e texto

De acordo com a Cointelegraph, a OpenAI fez quatro atualizações em seus modelos em outubro para ajudar seus modelos de IA a conduzirem melhor conversas e melhorarem o reconhecimento de imagens. A primeira grande atualização é uma API em tempo real que permite aos desenvolvedores criar aplicativos de fala gerados por IA usando um único prompt, possibilitando conversas naturais semelhantes aos padrões avançados de fala do ChatGPT. Anteriormente, os desenvolvedores tinham que "juntar" vários modelos para criar essas experiências. A entrada de áudio normalmente precisa ser totalmente carregada e processada antes que uma resposta seja recebida, o que significa que aplicativos em tempo real, como conversas de voz para fala, têm alta latência. Com as capacidades de streaming da API em tempo real, os desenvolvedores agora podem realizar interações instantâneas e naturais, assim como um assistente de voz. Rodando no GPT-4, que será lançado em maio de 2024, a API permite inferência em tempo real em áudio, visão e texto. Outra atualização inclui ferramentas de ajuste fino para desenvolvedores que permitem melhorar as respostas de IA geradas a partir de entradas de imagem e texto. O ajustador fino baseado em imagem permite que a IA entenda melhor as imagens, levando a uma busca visual aprimorada e detecção de objetos. O processo inclui feedback de humanos que fornecem exemplos de boas e más respostas para treinamento. Além das atualizações de fala e visão, a OpenAI introduziu "destilação de modelos" e "cache de dicas", que permitem que modelos menores aprendam com modelos maiores e reduzam custos e tempo de desenvolvimento reutilizando texto processado. A OpenAI espera que as receitas aumentem para US$ 11,6 bilhões no próximo ano, em comparação com uma projeção de US$ 3,7 bilhões em 2024, de acordo com a Reuters.