Crédito: Japan Times – 18/07/2023 – Terça
Do ChatGPT ao Bing e ao Bard, os chatbots alimentados por inteligência artificial e suas capacidades notáveis – tradução, codificação, narrativa e muito mais – estão nas manchetes em todo o mundo.
E o Japão, que há muito luta para melhorar a proficiência em inglês de seus cidadãos, abraçou a tendência mais do que muitos de seus pares desenvolvidos.
Como repórter no Japão trabalhando tanto em inglês quanto em japonês, eu estava ansioso para testar essas ferramentas e ver qual poderia ser a melhor para minha linha de trabalho e se elas ofereciam benefícios para os leitores do Japan Times.
Então a pergunta é, qual é o melhor?
Especificamente, queríamos ver qual das ferramentas assistidas por IA entende melhor o contexto em japonês, um idioma no qual as frases às vezes não têm assunto, e o traduz com precisão para o inglês natural.
Kanako Takahara, editora sênior bilíngue do Japan Times, comparou as traduções do japonês para o inglês do ChatGPT-4, Bing e Bard, juntamente com o DeepL, um serviço de tradução automática baseado em IA, usando texto em japonês em três categorias diferentes:
- Literatura: As linhas de abertura de “Snow Country”, de autoria do Prêmio Nobel Yasunari Kawabata
- Letra: Hino nacional do Japão “Kimigayo”
- Discurso: discurso do astro japonês Shohei Ohtani para seus companheiros de equipe pouco antes da final do World Baseball Classic contra os Estados Unidos em março
Ela pontuou em uma escala de 1 a 5, sendo 5 o mais alto com base na precisão, na naturalidade do inglês e se a tradução refletia o contexto.
(Observe que o ChatGPT-4 e o Bing são alimentados pelo GPT-4 da OpenAI, enquanto o Bard está atualmente em execução em sua versão beta. A ordem das traduções é baseada em pontuações.)
‘País da Neve’
Mais informaçõesった。
向側の座席から娘が立って来て、島村の前のガラス窓を落した。雪の冷気が流れこんだ。娘は窓いっぱいに乗り出して、遠くへ叫ぶように、
「駅長さあん、駅長さあん」
皮を垂れていた。
Mais informaçõesばっているだけで、雪の色はそこまで行かぬうちに闇に呑まれてい
Pontuação de bardo
: 4
Quando o trem saiu do longo túnel na fronteira, era uma região com neve. O fundo da noite ficou branco. O trem parou em uma estação de sinal.
Uma garota se levantou do assento em frente a Shimamura e abriu a janela de vidro na frente dele. A neve fria entrou. A garota se inclinou para fora da janela e gritou ao longe,
“Chefe de estação, chefe de estação!”
Um homem veio lentamente pela neve, o nariz envolto em um cachecol e as orelhas cobertas de pelos.
Shimamura olhou pela janela e viu uma fileira de quartéis que pareciam escritórios ferroviários espalhados friamente na encosta da montanha. A neve já estava escura antes de chegar lá.
Pontuação ChatGPT 4
: 3
Ao sair do longo túnel na fronteira nacional, havia o país das neves. O fundo da noite ficou branco. O trem havia parado na estação de sinal.
Uma jovem se levantou do assento e deslizou pela janela de vidro na frente de Shimamura. Uma lufada de ar frio e nevado entrou. Inclinando-se o mais longe que pôde da janela, ela gritou à distância.
“Chefe da estação, oh chefe da estação.”
Um homem caminhando lentamente pela neve, lanterna na mão, apareceu. O colarinho estava enrolado até o nariz e a pele do chapéu caía sobre as orelhas.
Pontuação L profunda
: 2
Depois de passar por um longo túnel na fronteira, estávamos em um país com neve. O fundo da noite ficou branco. O trem parou em uma estação de sinal.
Uma garota se levantou do assento do lado oposto do trem e deixou cair a janela de vidro na frente de Shimamura. O ar frio da neve entrou. A filha se inclinou para fora da janela e gritou ao longe: “ Ekiman-sa-an, Ekiman-sa-an !
“Mestre da estação, chefe da estação!
O homem que vinha lentamente pela neve com a lanterna abaixada estava enrolado até o nariz em um colarinho e tinha a pele do chapéu caindo sobre as orelhas.
Shimamura olhou para fora para ver se já estava tão frio, mas havia apenas alguns quartéis que pareciam prédios de ferrovia espalhados no frio ao pé da montanha, e a cor da neve havia sido engolida pela escuridão antes de chegar lá.
Observando o lado de fora, Shimamura se perguntou se já estava tão frio. Quartéis semelhantes aos de um funcionário da ferrovia estavam esparsamente espalhados ao longo do sopé da montanha. No entanto, antes de atingir a tonalidade da neve, foi engolido pela escuridão.
Pontuação do Bing
: 1
Quando saímos do longo túnel e a região nevada começou, a noite ficou mais branca. O trem parou em uma parada de sinal.
Uma garota saiu do assento do outro lado e deixou cair a janela de vidro na frente de Shimamura. O ar frio da neve entrou.
A garota se inclinou para fora da janela e gritou ao longe: “Mestre da Estação! Chefe de estação!” O homem que descia lentamente a neve com a lanterna abaixada trazia um cachecol enrolado até o nariz e um chapéu de pele pendurado nas orelhas.
Shimamura olhou para fora e viu apenas quartéis que pareciam ser funcionários da ferrovia espalhados friamente na encosta da montanha, e a cor da neve foi engolida pela escuridão antes de chegar tão longe.
Para a IA, traduzir literatura é uma das tarefas mais difíceis, pois exige traduzir as nuances de uma história de forma eloquente. Também requer uma compreensão dos tempos descritos – neste caso, o início da Era Showa (1926-1989).
A icônica linha de abertura é amplamente traduzida como: “O trem saiu do longo túnel para o país da neve. A terra jazia branca sob o céu noturno.”
Embora 国境 possa ser traduzido literalmente como “fronteira nacional” de acordo com o esforço do ChatGPT 4, na verdade se refere às fronteiras da província naquela época, e é por isso que a versão acima não o incluiu em sua tradução.
Takahara pontuou Bard como o melhor entre os quatro, acertando o assunto na primeira frase – o trem – com Bing pontuando mais baixo. Bing não forneceu a eloqüência necessária para a literatura e houve mais erros de tradução do que os outros três.
Hino nacional japonês Kimigayo
君が代は千代に八千代に
さざれ石の巌となりて
苔のむすまで
Pontuação ChatGPT-4
: 5
Que seu reinado
continue por mil, oito mil gerações,
até que os seixos
se transformem em pedregulhos
exuberantes de musgo.
Pontuação do Bing
: 5
“Que seu reinado continue por mil, oito mil gerações, até que os seixos se transformem em pedregulhos viçosos de musgo.”
Pontuação de bardo
: 4
Que seu reinado dure por mil, oito mil anos.
Que seja como uma pequena pedra que se torna um grande pedregulho E se cobre de musgo.
Pontuação do DeepL
: 2
Kimigayo dura mil e oito mil gerações
Até se tornar uma rocha de cascalho.
Até o musgo crescer
Este também foi complicado, com várias interpretações do que o kimigayo se refere – o reinado do imperador, a nação ou a vida de um ente querido. Acredita-se que as letras tenham se originado da literatura japonesa há mais de 1.000 anos.
O governo não oferece uma tradução oficial para o inglês, mas disse que a letra de “Kimigayo” é sobre orar pela paz e prosperidade do Japão com o imperador como símbolo. Durante a Segunda Guerra Mundial, no entanto, o kimigayo foi referido como o reinado do imperador.
Com base nisso, Takahara pontuou o Bing e o ChatGPT-4, como as melhores traduções — dando a cada um 5 por serem simples e precisos. Bard marcou 4 e DeepL marcou 2 por traduzir 君が代 simplesmente como kimigayo, o que significa pouco para os leitores ingleses.
discurso de Ohtani
Mais informaçõesセンターを見ればマイク・トラウトがいるし、外野にムーキー・ベッツがいたり、野球をやっていたら誰しも聞いたことがMais informaçõesるために、トップになるために来たので。今日一日だけは彼らへの憧れを捨てて、勝つことだけ考えていきましょう
Pontuação ChatGPT-4
: 4
Aqui está uma coisa de mim. Vamos parar de idolatrar. Você pode ver jogadores como Paul Goldschmidt na primeira base, Mike Trout quando olha para o centro ou Mookie Betts no campo externo, o tipo de jogador que qualquer um que tenha jogado beisebol conhece. Mas se continuarmos a idolatrá-los, não poderemos superá-los. Viemos aqui hoje para superá-los, para chegar ao topo. Só por hoje, vamos deixar de lado nossa admiração por eles e focar apenas em vencer.
Pontuação do Bing
: 3
Apenas uma coisa de mim. Vamos parar de admirá-los. Existem jogadores como Goldschmidt na primeira base, Mike Trout no campo central e Mookie Betts no campo externo. Acho que existem jogadores de que todo mundo que joga beisebol já ouviu falar. Se você os admira, não pode superá-los. Então viemos aqui hoje para superá-los e nos tornarmos os melhores. Vamos esquecer de admirá-los por apenas um dia e focar em vencer.
Pontuação de Bardo
: 3
Eu tenho um pedido. Vamos parar de olhar para eles. Existem jogadores como Goldschmidt na primeira base, Mike Trout no campo central e Mookie Betts no campo externo. Acho que todo mundo que joga beisebol já ouviu falar deles. Mas se ficarmos muito presos em olhar para eles, não seremos capazes de superá-los. Estamos aqui hoje para superá-los e nos tornarmos os melhores. Então, hoje, vamos nos concentrar em vencer e esquecer de admirá-los.
Pontuação do DeepL
: 2
Apenas um de mim.
Vamos parar de ansiar por eles.
Se você olhar primeiro, há Goldschmidt, se você olhar para o centro, há Mike Trout, se você olhar para o campo externo, há Mookie Betts, e acho que todo mundo que jogou beisebol já ouviu falar desses jogadores.
Se você os admira, não pode superá-los, então viemos aqui hoje para superá-los, para estar no topo. Por hoje, vamos deixar de lado nossa admiração por eles e pensar apenas em vencer!
Takahara pontuou o ChatGPT como o mais alto entre os quatro por causa de como traduziu 憧れるのをやめましょう. O ChatGPT é o único que traduziu a nuance que melhor descrevia a situação: “Vamos parar de idolatrar (eles)”.
Para os jogadores de beisebol japoneses, as estrelas da Major League Baseball eram seus ídolos. “Admirar” pode ter um significado semelhante, mas “idolatrar” foi a melhor escolha de palavra.
A primeira frase, 僕から一個だけ, também foi traduzida de forma diferente pelos quatro, um dos quais (Bing) traduziu como “Apenas uma coisa de mim”, que era o inglês mais natural.
E o vencedor é?
Com base nos resultados acima, o ChatGPT-4 obteve a pontuação geral mais alta, seguido de perto por Bard e Bing. As traduções variaram para “Snow Country” com todas as ferramentas, exceto Bard, incapazes de capturar o assunto da história, sugerindo que a tradução de literatura pode não estar entre seus pontos fortes.
Observe que os chatbots de IA podem produzir respostas diferentes em dispositivos diferentes ou com tempos diferentes ou vários outros fatores, como a maneira como você formula sua instrução, o que significa que, se os usuários traduzissem o texto acima, o resultado poderia diferir do que o The Japan Times tinha. .
Embora esse fator também torne difícil escolher qual das ferramentas assistidas por IA é a melhor, o ChatGPT-4 oferece facilmente a mais alta qualidade, de acordo com Tom Gally, especialista em japonês e inglês da Universidade de Tóquio, que tem feito experiências com os modelos de linguagem de IA.
Gally disse que o que torna os grandes modelos de linguagem superiores em comparação com as ferramentas anteriores é a capacidade de interagir com humanos. Portanto, a qualidade das respostas que as ferramentas generativas de IA produzem depende em grande parte da maneira como formulamos as perguntas ou instruções para a IA, o que é chamado de “engenharia imediata”.
Por exemplo, o ChatGPT-4 pode produzir texto de “Snow Country” em vários estilos, de Shakespeare a algo parecido com uma música de rap. Ele também pode fornecer uma tradução em vários estilos em um ritmo rápido e muito mais rápido do que os humanos jamais poderiam. Bard também é capaz de fazer isso, embora a qualidade esteja abaixo do ChatGPT-4 no momento.
Foto: Japan Times (As traduções de IA de um discurso do jogador de beisebol japonês Shohei Ohtani produziram uma série de interpretações e discrepâncias em como as nuances foram traduzidas. | IMAGEM: USA TODAY / VIA REUTERS; GRÁFICO DO HORÁRIO DO JAPÃO)
