- Open-Telco LLM Benchmarks de GSMA: una comunidad de código abierto para evaluar modelos de IA en telecomunicaciones, abordando desafíos en precisión, eficiencia energética y seguridad, con el respaldo de operadores como Deutsche Telekom, SK Telecom y Huawei.
-
Presentación en MWC25 Barcelona: el Gen AI Summit destacará el impacto de la IA en telecomunicaciones con expertos de BT, e&, AWS y Orange, mientras que líderes como Arthur Mensch (Mistral AI) y Bret Taylor (Sierra, OpenAI) explorarán el futuro de la IA en la industria.
La GSMA Foundry, el hub de innovación de la GSMA, ha anunciado el lanzamiento de Open-Telco LLM Benchmarks, una comunidad de código abierto diseñada para mejorar el rendimiento de los modelos de lenguaje de inteligencia artificial (LLMs) en aplicaciones específicas del sector telecomunicaciones.
Esta iniciativa, respaldada por empresas líderes del sector, busca establecer un estándar de evaluación que garantice que la IA en telecomunicaciones sea más precisa, eficiente y segura.
A medida que la adopción de IA en telecomunicaciones se acelera, han surgido desafíos importantes en la capacidad de los modelos de lenguaje para manejar información técnica, regulaciones y resolución de problemas de red. En recientes pruebas, GPT-4 obtuvo menos del 75% de precisión en TeleQnA, un conjunto de datos especializado en telecomunicaciones, y menos del 40% en 3GPPTdocs Classification, basado en estándares 3GPP.
Por su parte, Microsoft Phi2 solo logró un 10% en MATH500, un benchmark de 500 preguntas matemáticas generales, evidenciando limitaciones en el razonamiento matemático de estos modelos.
Para abordar estas deficiencias, Open-Telco LLM Benchmarks proporcionará un marco transparente y abierto para evaluar modelos de IA en aspectos clave como conocimiento en telecomunicaciones, eficiencia energética y seguridad.
Una colaboración global para mejorar la IA en telecomunicaciones
El lanzamiento de Open-Telco LLM Benchmarks cuenta con el respaldo de importantes actores de la industria. Entre los primeros en apoyar esta iniciativa se encuentran operadores como Deutsche Telekom, LG Uplus, SK Telecom y Turkcell, así como el proveedor tecnológico Huawei. Además, colaboran entidades especializadas en inteligencia artificial como Hugging Face, Khalifa University y The Linux Foundation.
El objetivo de esta comunidad es que operadores móviles, investigadores en IA y desarrolladores puedan contribuir enviando casos de uso, conjuntos de datos y modelos para su evaluación. La idea es establecer una metodología estandarizada que permita medir el desempeño de los modelos en desafíos reales, incluyendo telecomunicaciones, razonamiento matemático, consumo energético y seguridad.
Los resultados obtenidos en estas evaluaciones se publicarán en la plataforma Hugging Face, garantizando total transparencia y fomentando la colaboración en la mejora de modelos de IA específicos para telecomunicaciones.
Impacto en la industria y participación en MWC25 Barcelona
La importancia de Open-Telco LLM Benchmarks en la evolución de la IA en telecomunicaciones se reflejará en el Gen AI Summit: Experimentation to Transformation, que tendrá lugar en MWC25 Barcelona. En este evento, expertos discutirán sobre el uso de IA en la optimización de redes, personalización de la experiencia del cliente y su integración en 5G y más allá.
Algunas de las figuras destacadas que participarán en MWC25 Barcelona incluyen:
- Harry Singh, Chief Digital Officer de BT
- Harrison Lung, Group Chief Strategy Officer en e&
- Kaniz Mahdi, Director Technology AWS Industries en Amazon Web Services
- Laurent Leboucher, CTO de Orange
Además, en la keynote ‘Tech Game Changers’, Arthur Mensch, CEO de Mistral AI, compartirá los últimos avances en IA aplicados a telecomunicaciones. También, en la keynote ‘Why AI Agents will Change Everything’, Bret Taylor, CEO y cofundador de Sierra y miembro del consejo de OpenAI, abordará el impacto de los agentes de IA en las empresas y el futuro del sector.
Cómo participar en Open-Telco LLM Benchmarks
Open-Telco LLM Benchmarks está abierto a la colaboración de operadores móviles, startups, investigadores y desarrolladores.
Los interesados pueden enviar sus casos de uso y modelos de IA para evaluación al correo aiusecase@gsma.com o visitar la página oficial: www.gsma.com/get-involved/gsma-foundry/gsma-open-telco-llm-benchmarks.
El lanzamiento de Open-Telco LLM Benchmarks representa un paso fundamental en la evolución de la inteligencia artificial en telecomunicaciones.
Al establecer un marco de evaluación abierto y transparente, la GSMA y sus socios buscan garantizar que los modelos de IA sean más precisos, eficientes y alineados con las necesidades operativas del sector. Con la colaboración de la comunidad global, esta iniciativa promete transformar la forma en que se implementa la inteligencia artificial en la industria de las telecomunicaciones.
