Opera One prueba la descarga y el uso de LLM locales en el navegador – MacMagazine
la versión de OperaOne dirigido a desarrolladores, está ganando la posibilidad (aún en prueba) de descargar y utilizar grandes modelos de lenguaje local (LLM), eliminando la necesidad de enviar datos a un servidor, como es habitual.
La novedad es parte del programa. Caídas de funciones de IA, de Opera, que permite probar funciones de inteligencia artificial con antelación. La compañía ha agregado soporte experimental para 150 variantes de LLM de alrededor de 50 familias de modelos locales. Según la compañía, esta es la primera vez que se puede acceder y administrar fácilmente estas herramientas desde un navegador importante con la función incluida en la aplicación.
La idea es que los LLM locales procesen los comandos directamente en las máquinas, sin que los datos ingresados salgan de la computadora. Entre los modelos inicialmente compatibles se encuentran los Llama (de Meta), el VicuñaOh Gema (de Google) y mixto (de Mistral AI).
Para utilizar un LLM local en Opera One, debe utilizar la versión de desarrollador del navegador. Con él en la mano, simplemente vaya al panel lateral de Aria Chat, busque una advertencia sobre cómo elegir el modo local y seleccione la opción para ir a configuración. Luego, podrás buscar y descargar modelos; Después de la descarga, ahora es posible iniciar un chat con la IA.
Después de la descarga, también debe volver a la advertencia sobre la elección del modo local en el chat y seleccionar el modelo deseado. Luego, cuando escribas comandos en el chat, se procesarán utilizando la plantilla en cuestión. Cada LLM local requiere entre 2 GB y 10 GB de almacenamiento en computadora y puede ser más lento que los modelos conectados a Internet, según las capacidades de la máquina.
Para ejecutar los modelos locales, Opera One está utilizando el Hola, por lo que todos los LLM disponibles se derivan de la biblioteca del sistema. En el futuro, la empresa prevé incluir otros de diferentes procedencias. También se decía que TechCrunch que los modelos pueden reducir su tamaño con el tiempo a medida que se especializan en tareas.
Puede descargar la versión para desarrolladores del navegador en esta página.