En mis artículos anteriores, compartí cómo instalé Ollama, seleccioné modelos de lenguaje avanzados y utilicé una interfaz web, WebUI, para que la experiencia de usuario fuera similar a la de ChatGPT. Todo esto me permitió interactuar con modelos de lenguaje grandes (LLMs) directamente desde mi máquina local.

Sin embargo, hasta este punto, mi LLM solo era accesible desde mi computadora. La idea es poder acceder a mi sistema y los modelos desde cualquier lugar y compartirlo de manera segura. Para esto use Ngrok.

¿Por qué instalar Ngrok?

Ngrok es una herramienta que permite exponer servidores locales a Internet de forma segura y sencilla. Al instalar Ngrok, pude crear un túnel seguro desde mi máquina local hacia Internet, generando una URL pública que apunta directamente a mi servidor local.

Esto significa que ahora puedo acceder a los LLM locales desde cualquier dispositivo con conexión a Internet, utilizando la interfaz web que configuré previamente. Además, puedo compartir esta URL con otras personas para que también interactúen con los modelos de IA. La ventaja de esta forma de usar Inteligencia Artificial es que los datos compartidos están seguros y no se comparten con ninguna compañía.

Ventajas de Usar Ngrok

• Simplicidad: No requiere configuraciones complicadas de routers o firewalls.
• Seguridad: Ngrok proporciona conexiones seguras a través de HTTPS.
• Flexibilidad: Puedes iniciar y detener el túnel cuando lo necesites, controlando el acceso a tu LLM.

Cómo Configuré Ngrok con mi LLM

1. Instalación de Ngrok: Descargué Ngrok desde su página oficial y seguí las instrucciones de instalación.
2. Autenticación: Configuré Ngrok con mi token de autenticación personal para habilitar todas sus características.
3. Iniciar el Túnel: Ejecuté Ngrok. Esto generó una URL pública que apunta a mi servidor local.
4. Acceso Remoto: Utilicé la URL proporcionada por Ngrok para acceder a mi LLM desde otros dispositivos.

Consideraciones de Seguridad

Es importante tener en cuenta que al exponer tu servidor local a Internet, debes ser consciente de los riesgos potenciales:

• Control de Acceso: Comparte la URL solo con personas de confianza. Se puede controlar la aprobación de usuarios en WebUI.
• Monitoreo: Ngrok ofrece herramientas para monitorear el tráfico y las solicitudes que llegan a tu servidor.

Integrar Ngrok en mi configuración me permitió llevar mi LLM local al siguiente nivel, haciéndolo accesible desde cualquier lugar y compartiendo su funcionalidad con otros. Si ya tienes un LLM corriendo localmente y quieres acceder a él de forma remota, Ngrok es una solución práctica y eficiente.

Si quieres saber como fue el proceso de instalar estos modelos de Inteligencia Artificial Open Source de manera Local visita los artículos anteriores de mi blog.