Desde 2017, he estado inmerso en un viaje para comprender y anticipar el futuro de la educación en la era de la Inteligencia Artificial (IA). Este camino comenzó en 2015, cuando leí el influyente libro Robot Proof, que despertó en mí un profundo interés por el impacto de la IA en la educación. Inspirado por estas ideas, en ese mismo año comencé a ofrecer conferencias sobre el tema, compartiendo mis conocimientos y visión sobre cómo la IA transformaría el paisaje educativo.

Para 2019, ya estaba experimentando con IA generativas de imágenes, explorando su potencial para enriquecer la creación de contenido educativo. A medida que avanzaba en esta dirección, en 2022, en la oficina de educación a distancia que dirijo, comenzamos a implementar la generación de texto, avatares y audio generado por IA en nuestro contenido educativo. Este fue un momento clave en nuestra evolución, donde la IA generativa se convirtió en una herramienta cotidiana en nuestros proyectos de educación.

Con la llegada de ChatGPT-3 a finales de 2022, el uso de la IA generativa experimentó un aumento exponencial. En nuestros proyectos, la IA no solo se convirtió en una herramienta diaria, sino en un componente esencial para potenciar la enseñanza y el aprendizaje. Sin embargo, el progreso nunca se detiene, y siempre busco nuevos desafíos y oportunidades para integrar la IA de manera más profunda y efectiva en la educación.

El próximo paso: Potenciar las decisiones basadas en datos

A medida que exploramos la IA en niveles más avanzados, surgen nuevas oportunidades para utilizarla en la toma de decisiones basadas en datos y en la realización de análisis profundos. Mi interés actual se centra en comenzar a utilizar IA de manera local, lo que implica ejecutar modelos de generación de texto e imágenes dentro de nuestra propia infraestructura. Este enfoque no solo ofrece un servicio más seguro para los docentes y la administración de la institución, sino que también permite un control completo sobre los datos, protegiendo la privacidad y la seguridad de la información institucional.

Uno de los primeros pasos en este nuevo proyecto es comprender los requisitos de hardware necesarios para ejecutar estos modelos localmente. Hasta ahora, hemos estado corriendo sistemas de IA para investigación institucional en temas de programación, pero aún no hemos implementado estas tecnologías para la toma de decisiones y para ofrecer servicios que no dependan de terceros. La independencia de plataformas externas es crucial para garantizar que los datos institucionales no sean compartidos con compañías privadas, lo que añade una capa adicional de seguridad.

Estableciendo los requisitos de hardware para IA local

Para iniciar un proyecto piloto de adopción de IA local, es esencial entender tanto los requisitos mínimos como los óptimos de hardware. Esta comprensión es clave para asegurar que los modelos de IA puedan ser ejecutados de manera eficiente y segura dentro de nuestra infraestructura. Estas son recomendaciones que aplican a este momento. Los avances en componentes para estas funciones se dan rápido y ya se anunciaron nuevos GPU y procesadores dedicados específicamente a ejecutar modelos de IA. Así que los requisitos deben ser estudiados en comparación con lo disponible en el mercado y lo necesario para los modelos que se desean probar.

Basado en mi investigación y experiencia con IA de Código Abierto, estos son los requisitos que considero esenciales para comenzar este proyecto piloto:

Requisitos mínimos:

• GPU con 8GB de VRAM: Suficiente para entrenar modelos de voz y manejar tareas de IA básicas.
• 16GB de RAM del sistema: Capaz de manejar cargas de trabajo moderadas y procesos de generación de contenido.
• Almacenamiento SSD de alta velocidad (al menos 1TB): Necesario para manejar grandes volúmenes de datos de manera eficiente.

Requisitos óptimos:

• GPU con 24GB de VRAM: Ideal para ejecutar los modelos más grandes y complejos, proporcionando un rendimiento excepcional en tareas de IA avanzadas.
• 32GB de RAM del sistema: Garantiza una experiencia fluida incluso con múltiples modelos o tareas simultáneas.
• Almacenamiento SSD de alta velocidad (2TB o más): Proporciona espacio suficiente para manejar grandes conjuntos de datos y asegurar tiempos de acceso rápidos.

Recomendaciones adicionales

• Considerar un procesador i7 o i9: Si planeas entrenar modelos de IA más grandes o quieres asegurarte de tener la máxima capacidad de procesamiento disponible, un i9 podría ser una mejor opción.
• Revisar la GPU: Aunque la 4070Ti es excelente, si puedes permitirte una GPU con más VRAM, como la 4090, esto te permitirá trabajar con modelos aún más grandes y complejos sin problemas.
• Almacenamiento adicional: A medida que comiences a trabajar con más datos, podrías necesitar más espacio. Considera añadir un segundo SSD o un HDD para almacenamiento masivo.
• Actualización futura: Si en el futuro decides expandir tu capacidad, podrías considerar agregar más RAM, especialmente si trabajas con múltiples modelos o datasets simultáneamente.

Esta configuración no es para ofrecer servicio a otros; más bien, es para comenzar a correr localmente, para uso personal, modelos como LLaMA, Stable Diffusion o Flux. Una vez tengamos este equipo corriendo, que requiere otros componentes, como sistemas de enfriamiento especializados (estos equipos se calientan mucho cuando corren modelos de IA), debemos trabajar con el software. Hay que establecer si se usará Windows OS, Linux u otro sistema operativo, y también cuál será el sistema instalador de los modelos de IA, como lo son Pinokio y ComfyUI. Pero esos son temas para otro artículo, así que mantente pendiente.

Desglosando los componentes esenciales para ejecutar modelos de IA

En esta sección, definiremos cada componente esencial de hardware y su función específica en la ejecución de modelos de IA. Es importante entender que, aunque muchos de estos componentes fueron diseñados originalmente para otras funciones, su capacidad para manejar las intensas demandas de procesamiento de IA los ha convertido en elementos cruciales en la infraestructura moderna de IA.

Unidad de procesamiento gráfico (GPU)

Las GPU, o Unidades de Procesamiento Gráfico, fueron inicialmente diseñadas para manejar y acelerar la creación de gráficos y renderizados en videojuegos y aplicaciones gráficas. Sin embargo, se descubrió que estas unidades son excepcionalmente buenas en la realización de cálculos paralelos, lo que es crucial en el entrenamiento y ejecución de modelos de IA. En lugar de procesar una tarea a la vez, como lo hace una CPU, una GPU puede manejar miles de tareas simultáneamente. Esto las convierte en herramientas indispensables para tareas como el entrenamiento de redes neuronales profundas, que requieren el procesamiento simultáneo de grandes cantidades de datos.

En particular, las GPUs de NVIDIA, con su arquitectura CUDA, han dominado este espacio. La capacidad de estas tarjetas para realizar cálculos de alta precisión en paralelo ha llevado a su adopción generalizada en el campo de la inteligencia artificial. Las GPUs modernas, como la NVIDIA RTX 4090, no solo ofrecen un alto rendimiento gráfico, sino que también proporcionan un procesamiento masivo que es esencial para ejecutar modelos de IA avanzados.

Memoria de acceso aleatorio (RAM)

La RAM es la memoria de corto plazo de un sistema, utilizada para almacenar y acceder rápidamente a los datos que el procesador necesita en tiempo real. En el contexto de la IA, la cantidad de RAM es crucial porque los modelos de IA y los datos que procesan pueden ser extremadamente grandes. Una cantidad adecuada de RAM asegura que el sistema pueda manejar múltiples tareas simultáneamente sin ralentizarse. Por ejemplo, ejecutar modelos de lenguaje natural como LLaMA o modelos de generación de imágenes como Stable Diffusion puede requerir grandes cantidades de RAM para mantener los datos disponibles y accesibles de manera eficiente.

Tener al menos 32GB de RAM es recomendado para tareas de IA más avanzadas, ya que permite trabajar con conjuntos de datos más grandes y manejar modelos más complejos sin que el sistema se quede sin recursos.

Unidad de estado sólido (SSD)

Los SSDs son dispositivos de almacenamiento que reemplazan a los discos duros tradicionales (HDD). A diferencia de los HDD, que utilizan partes mecánicas, los SSD almacenan datos en chips de memoria flash, lo que les permite acceder a los datos mucho más rápidamente. En el contexto de la IA, los SSDs son esenciales para manejar grandes volúmenes de datos y para cargar modelos de IA en la memoria del sistema rápidamente.

La velocidad de un SSD se mide en términos de sus tasas de lectura y escritura. Los SSDs de alta velocidad, como los que alcanzan velocidades de lectura/escritura de 7000 MB/s, son ideales para cargar y procesar grandes conjuntos de datos, lo cual es común en proyectos de IA. Además, un SSD de gran capacidad (2TB o más) asegura que tendrás suficiente espacio para almacenar tanto los datos como los modelos de IA sin preocuparte por el espacio disponible.

Unidad central de procesamiento (CPU)

La CPU, o Unidad Central de Procesamiento, es el cerebro del ordenador. Aunque las GPUs han tomado la delantera en tareas específicas de IA debido a su capacidad para realizar cálculos paralelos, la CPU sigue siendo fundamental. La CPU gestiona todas las operaciones generales del sistema y se encarga de tareas que no pueden ser paralelizadas. Para un sistema que maneje IA, una CPU potente es necesaria para manejar las operaciones de orquestación, la entrada/salida de datos, y otras tareas administrativas críticas.

Un procesador de gama alta, como un Intel i9, es recomendado para asegurar que el sistema tenga suficiente potencia de procesamiento para manejar la carga de trabajo completa. Esto es especialmente importante cuando se ejecutan múltiples aplicaciones simultáneamente o cuando se combinan tareas de IA con otras operaciones de computación intensiva.

Sistema de enfriamiento

El sistema de enfriamiento es un componente que a menudo se pasa por alto, pero que es esencial para mantener un rendimiento óptimo de los componentes de hardware. Al ejecutar modelos de IA, especialmente durante largos periodos de entrenamiento o inferencia, tanto las GPUs como las CPUs pueden generar una gran cantidad de calor. Sin un enfriamiento adecuado, el sistema puede sobrecalentarse, lo que puede llevar a una reducción en el rendimiento o incluso a daños permanentes en los componentes.

Los sistemas de enfriamiento por agua o soluciones de enfriamiento avanzado con múltiples ventiladores son recomendados para mantener las temperaturas bajo control y asegurar que el hardware funcione al máximo de su capacidad sin interrupciones.

Metas trazadas

Este nuevo proyecto marca un hito en la forma en que integramos la IA en la educación de manera institucional. Lo mismo aplica para negocios. Al correr sistemas de IA localmente, no solo estamos mejorando la seguridad y la privacidad de los datos, sino que también estamos posicionándonos a la vanguardia de la innovación. El camino hacia una adopción más amplia de la IA de Código Abierto es emocionante y lleno de posibilidades, y este proyecto piloto es solo el comienzo.

A medida que avanzamos, seguiré compartiendo mis experiencias y descubrimientos, con el deseo de aprender y de que otros puedan beneficiarse de este proyecto y unirse a la transformación educativa impulsada por la IA. El futuro de la educación está aquí, y estamos listos para liderar el camino.

Baja gratis el Libro: Líder Iluminado: Fundamentos Filosóficos Atemporales para Guiar a Otros hacia el Futuro. Por tiempo limitado baja sin costo tu copia aquí: https://drjoseferrer.com/product/lider-iluminado-fundamentos-filosoficos-atemporales-para-guiar-a-otros-hacia-el-futuro-ebook/

No olvides suscribirte a mi newsletter gratuita para que recibas las últimas actualizaciones. Entra ahora aquí: https://drjoseferrer.com/newsletter/

Visita mi página de cursos y certificaciones en línea para que adquieras nuevos conocimientos y destrezas de valor aquí: https://drjoseferrer.com/cursos/

Si te gusta aprender leyendo visita mi página con mis libros entrando aquí: https://drjoseferrer.com/libros/

¡Comparte este artículo para que otros se beneficien!