Ferret-UI Lite: LLM de Apple obtiene una versión que se ejecuta en el propio dispositivo – MacMagazine

Desde 2023, Apple e investigadores asociados han estado trabajando en una tecnología multimodal de código abierto llamada Huróncapaz de utilizar imágenes para realizar consultas, como identificar el contenido de un área. Posteriormente, la obra fue ampliada a una nueva versión, la Hurón-UIque puede comprender los elementos de la interfaz de usuario y potencialmente interactuar con las aplicaciones.

Más recientemente, la empresa publicó un artículo sobre el Hurón-UI Liteuna versión de Ferret que busca corregir un problema de versiones anteriores que, en definitiva, dependía del procesamiento desde LLM, que eran bastante voluminosos y no habían sido diseñados para el procesamiento local en dispositivos.

Teniendo en cuenta este escenario, Ferret-UI Lite es un agente GUI completo que funciona en múltiples plataformas, incluidos sistemas móviles, web y de escritorio; es decir, es algo que funcionará en un teléfono inteligente, como un iPhonesin mayores limitaciones.

Para lograr esto, Ferret-UI Lite se desarrolló con 3 mil millones de parámetros, utilizando datos de interfaz de fuentes tanto reales como sintéticas. También mejoró el rendimiento del tiempo de inferencia mediante el razonamiento basado en cadenas de pensamiento y el uso de herramientas visuales junto con el aprendizaje por refuerzo.

Como ejemplo de cómo funciona Ferret-UI Lite en el procesamiento de consultas locales, se incluyó un mecanismo de zoom para ayudar con el análisis de la interfaz. Entonces, el modelo genera una estimación inicial y la imagen se recorta alrededor de la ubicación esperada en función de eso.

Como lo señala 9to5MacMientras que los modelos anteriores utilizaron capturas de pantalla de iPhone y otras interfaces de Apple en sus evaluaciones, Ferret-UI Lite fue entrenado y evaluado en entornos GUI de Android (además de la web).

En cualquier caso, los investigadores descubrieron que, aunque Ferret-UI Lite funcionó bien en tareas de bajo nivel a corto plazo, no funcionó tan bien en interacciones más complejas de varios pasos, algo de esperar, dadas las limitaciones del modelo y el hecho de que se ejecuta en el dispositivo.

Por otro lado, Ferret-UI Lite ofrece un agente privado (ya que no es necesario enviar datos a la nube) que interactúa de forma autónoma con las interfaces de las aplicaciones en función de las solicitudes de los usuarios, lo que sin duda refuerza la filosofía de privacidad de Apple y puede adoptarse en la implementación de un Cangrejo más personal e interactivo.