Apple Intelligence se desempeña mejor que otros LLM en los puntos de referencia – MacMagazine

Aprovechando la introducción de Inteligencia de AppleMaçã aprovechó la oportunidad para revelar más detalles sobre sus dos modelos de IA generativa: el modelo de lenguaje en el dispositivo (en el dispositivo) y uno más grande, basado en servidor, con la Computación en la nube privada.

En primer lugar, es importante destacar los cuatro principios de la compañía en Apple Intelligence, que son:

• La creación de herramientas para que los usuarios puedan alcanzar sus objetivos;
• Crear productos que eviten perpetuar estereotipos y sesgos sistémicos en las herramientas y modelos de IA;
• Se debe tener cuidado para evitar que las herramientas sean mal utilizadas o causen posibles daños;
• Proteger la privacidad de los usuarios mediante el procesamiento en el dispositivo y la infraestructura de computación en la nube privada.

En un extenso documento, la empresa describe que el modelo que ejecuta el dispositivo tiene aproximadamente 3 mil millones de parámetrosmientras que el modelo de lenguaje grande (LLM) está alojado en los propios servidores de la empresa, impulsados ​​por Apple Silicon.

Curiosamente, Apple realiza la capacitación utilizando datos con licencia, que incluyen información seleccionada para mejorar funciones más específicas y datos disponibles públicamente recopilados por el rastreador web AppleBot. Aun así, destaca que los editores web, si lo desean, pueden desactivar el uso de su contenido por parte de Apple Intelligence.

Como Apple se toma en serio la privacidad, deja muy claro que nunca utiliza los datos personales privados de los usuarios, ni tampoco las interacciones realizadas por ellos, por lo que se aplican algunos filtros para que la información más personal se elimine por completo.

Otro dato interesante presentado en el documento es que el tamaño de vocabulario en el modelo de idioma del dispositivo es 49.000, mientras que el modelo de servidor utiliza un tamaño de vocabulario de 100.000, incluido el idioma adicional y fichas técnico.

Con las optimizaciones realizadas y usando un iPhone 15 Pro como ejemplo, se logró alcanzar una latencia de alrededor de 0,6 milisegundos por simbólico en inmediato y una tasa de generación de 30 fichas por segundo.

Para probar los modelos, Apple utilizó el punto de referencia Evaluación de seguimiento de instrucciones (IFEval) para comparar sus capacidades de seguimiento de instrucciones con modelos de tamaño comparable.

Como puede verse, los resultados sugieren que el modelo de servidor y de dispositivo de Apple sigue instrucciones detalladas mejor que los modelos comerciales y de código abierto.

En otro gráfico se realizó una comparación para evaluar la capacidad de escritura de los modelos de Apple en puntos de referencia Resumen interno e instrucciones de composición, que constan de una variedad de indicaciones de escritura.

En esta página se pueden encontrar más detalles sobre los modelos de IA generativa de Apple.

a través de MSPowerUser