Luciana Paciência 
A startup francesa Pleias e a Associação Global para Sistemas Móveis (GSMA) anunciaram o lançamento do CommonLingua, um modelo de identificação de línguas de código aberto que suporta 334 idiomas, incluindo 61 línguas africanas.
Anunciada no final de Abril deste ano, o CommonLingua é um modelo compacto, com apenas 2 milhões de parâmetros, concebido para identificar automaticamente a língua de textos em larga escala. Apesar da sua dimensão reduzida, o modelo supera sistemas até 300 vezes maiores, alcançando 83% de precisão e uma pontuação macro F1 de 0,79, segundo dados do novo benchmark CommonLID.
A solução surge no âmbito da iniciativa “Modelos de IA para línguas em África, por África, para África”, promovida pela GSMA, que visa colmatar a escassez de infra-estruturas tecnológicas adaptadas à diversidade linguística africana, abrangendo oito famílias linguísticas como Bantu, Afro-Asiática, Nilo-Saariana, entre outras.
De acordo com a GSMA, o continente africano conta com mais de 2.000 línguas vivas, muitas ainda sub-representadas nos dados de treino de modelos de IA, o que compromete a fiabilidade das ferramentas existentes.
Actualmente, sistemas de identificação de línguas como fastText, GlotLID e OpenLID apresentam dificuldades em reconhecer correctamente línguas africanas, classificando frequentemente conteúdos como inglês ou francês. Em comparação com línguas globais, estes modelos podem perder até 30 pontos percentuais de precisão quando aplicados ao contexto africano.
O modelo foi optimizado para eficiência, podendo processar cerca de 20 textos por segundo em CPU e até 3.000 textos por segundo numa única GPU, sendo distribuído num formato leve de apenas 8 MB, o que facilita a sua adopção em diferentes ambientes tecnológico.
