Este artículo es una continuación de mi análisis anterior, que puedes leer aquí. En ese primer artículo expliqué los requerimientos de hardware para ejecutar modelos de inteligencia artificial generativa de manera local. En este segundo artículo, me adentro en los aspectos de software para ejecutar estos modelos. Nuestro objetivo es comprender cómo estos modelos pueden ser implementados para realizar análisis de datos, apoyar en la toma de decisiones estratégicas, generar contenido educativo, y mucho más.

¿Por qué Ejecutar Sistemas de IA Localmente?

Implementar sistemas de inteligencia artificial de forma local ofrece varias ventajas. Una de las más importantes es la capacidad de mantener el control total sobre los datos y la seguridad, lo cual es esencial en entornos educativos y de investigación. Además, ejecutar IA de forma local elimina la dependencia de servicios externos, permitiendo un acceso más rápido y directo a los modelos, reduciendo costos a largo plazo y aumentando la eficiencia operativa.

Estructura del Proyecto

Este proyecto se ha dividido en varias fases clave:

1. Selección del Hardware Óptimo: El primer paso fue determinar el hardware necesario para ejecutar de manera eficiente los modelos de IA generativa. Esto incluyó la evaluación de diferentes tipos de procesadores, GPUs, y la cantidad de memoria RAM y almacenamiento requeridos para manejar modelos grandes y complejos.
2. Instalación del Software Necesario: Una vez que se ha establecido la infraestructura de hardware, el siguiente paso es instalar el software que permitirá la ejecución de estos modelos. Para esto seleccioné la instalación de Ollama, una herramienta de código abierto que facilita la gestión y ejecución de modelos de IA generativa localmente.
3. Implementación de una Interfaz Gráfica de Usuario (GUI): Con el fin de hacer que los modelos sean accesibles a docentes y otros usuarios, se instalará una interfaz gráfica que permita un uso sencillo y eficiente de estos sistemas. Esto permitirá que los usuarios puedan acceder y utilizar los modelos desde cualquier lugar dentro de la institución, al menos de forma inicial. Sin embargo, es importante anticipar que una sola máquina, por más optimizada que esté, no podrá manejar una gran cantidad de usuarios simultáneamente. Este proyecto piloto servirá para adquirir el conocimiento necesario para luego escalar la infraestructura según sea necesario.

Instalación de Ollama

En esta segunda parte del proyecto, me centré en la instalación de Ollama, una plataforma de código abierto diseñada para ejecutar modelos de IA de manera eficiente y local. Ollama proporciona una infraestructura flexible que permite la integración con diversas herramientas y bibliotecas, facilitando la experimentación y el desarrollo continuo.

Pasos para la Instalación de Ollama

1. Descargar e Instalar Dependencias: Asegúrese de que todas las dependencias necesarias estén instaladas en su sistema. Esto incluye Python, Docker, y otros paquetes relacionados que Ollama puede requerir.
2. Configuración del Entorno: Configure las variables de entorno y ajuste los archivos de configuración de acuerdo con las especificaciones de su hardware y las necesidades del modelo.
3. Ejecutar la Instalación de Ollama: Utilice los comandos específicos proporcionados en la documentación oficial de Ollama para completar la instalación.
4. Verificación y Prueba: Una vez instalado, es crucial realizar pruebas para verificar que el sistema funciona correctamente. Esto puede incluir la ejecución de modelos de prueba y la evaluación del rendimiento del sistema.

Próximos Pasos: Instalación de Open WebUI

En la tercera parte de esta serie, exploraremos la instalación de Open WebUI, otra herramienta poderosa de código abierto que ofrece una interfaz web para interactuar con modelos de IA generativa. Open WebUI es ideal para instituciones que buscan una solución más visual y accesible para manejar sus sistemas de IA.

Este proyecto no solo busca implementar una solución de IA generativa de código abierto a nivel local, sino también sentar las bases para futuras expansiones y desarrollos dentro de la institución. A medida que avanzamos, continuaremos compartiendo nuestros aprendizajes y mejores prácticas para que otros puedan beneficiarse de esta experiencia.

Equipo de trabajo del Centro de Recursos para la Educación a Distancia (CREAD), del Recinto Universitario de Mayagüez (RUM) de la Universidad de Puerto Rico (UPR). A la derecha la Ingeniera de Computadoras Gretchen Bonilla, egresada del RUM.