Karpathy Post

Las tecnologías transformadoras suelen seguir una trayectoria de difusión de arriba abajo: se originan en contextos gubernamentales o militares, pasan por las corporaciones y, finalmente, llegan a los individuos; pensemos en la electricidad, la criptografía, las computadoras, la aviación, internet o el GPS. Esta progresión parece intuitiva: las tecnologías nuevas y potentes suelen ser escasas, requieren una gran inversión de capital y su uso exige conocimientos técnicos especializados en sus primeras etapas. Por eso me resulta tan singular y destacable que las tecnologías de aprendizaje profundo (LLM, por sus siglas en inglés) muestren una inversión drástica de este patrón: generan beneficios desproporcionados para la gente común, mientras que su impacto es mucho más moderado y lento en las corporaciones y los gobiernos. ChatGPT es la aplicación de consumo de más rápido crecimiento en la historia, con 400 millones de usuarios activos semanales que la utilizan para escribir, programar, traducir, dar clases particulares, resumir, investigar a fondo, generar ideas, etc. No se trata de una simple mejora de lo que existía antes, sino de un multiplicador importante del poder individual en una amplia gama de capacidades. Y la barrera de uso es increíblemente baja: los modelos son baratos (incluso gratuitos), rápidos, están disponibles para cualquiera bajo demanda a través de una URL (o incluso en su propio ordenador) y se adaptan al lenguaje nativo de cada usuario, incluyendo el tono, la jerga y los emojis. Es una locura. Por lo que sé, la persona promedio nunca ha experimentado un avance tecnológico tan drástico y tan rápido. ¿Por qué, entonces, los beneficios son mucho menores en los ámbitos corporativo y gubernamental? Creo que la primera razón es que los modelos de aprendizaje profundo (MLP) ofrecen un perfil de capacidad muy específico: un conocimiento/desempeño casi experto, pero a la vez abarca una gran variedad de dominios. En otras palabras, son versátiles, pero también superficiales y falibles. Mientras tanto, la principal fortaleza de una organización reside en su capacidad para concentrar una amplia gama de conocimientos especializados en una sola entidad, empleando ingenieros, investigadores, analistas, abogados, especialistas en marketing, etc. Si bien un máster en Derecho (LLM) puede, sin duda, aumentar la eficiencia individual de estos expertos (por ejemplo, redactando cláusulas legales iniciales, generando código estándar, etc.), la mejora para la organización se manifiesta en una mayor eficiencia en las tareas que ya realiza. En cambio, una persona suele ser experta en un solo campo, por lo que la amplia experiencia que ofrece un LLM les permite, fundamentalmente, realizar tareas que antes no podían. Ahora, las personas pueden programar aplicaciones, analizar documentos legales, comprender artículos de investigación complejos, realizar análisis de datos y generar contenido multimodal para la marca y el marketing. Pueden hacer todo esto con un nivel de competencia adecuado sin necesidad de recurrir a otro experto. En segundo lugar, las organizaciones se enfrentan a problemas de mucha mayor complejidad y que requieren una coordinación mucho más estricta: diversas integraciones, sistemas heredados, guías de marca o estilo corporativas, protocolos de seguridad rigurosos, consideraciones de privacidad, internacionalización, cumplimiento normativo y riesgos legales. Hay muchas más variables, muchas más restricciones, muchas más consideraciones y un margen de error mucho menor. No es tan fácil integrarlo todo en un solo contexto. No se puede programar algo por intuición. Un error garrafal podría costarte el puesto. En tercer lugar, está la bien documentada inercia de las grandes organizaciones, con su cultura, precedentes históricos, luchas de poder que se intensifican en periodos de cambio rápido, sobrecarga de comunicación, desafíos de reciclaje profesional para una plantilla distribuida y la burocracia tradicional. Estos son obstáculos importantes para la rápida adopción de una herramienta novedosa, versátil, pero superficial y falible. No pretendo minimizar el impacto de los LLM en corporaciones o gobiernos, pero, al menos por el momento y en conjunto con la sociedad, han transformado la vida de las personas mucho más que la de las organizaciones. Son los ciudadanos comunes quienes se benefician en mayor medida, no Google ni el gobierno de Estados Unidos. De cara al futuro, la continua difusión de los LLM depende, por supuesto, de la mejora constante de su rendimiento y de su perfil de capacidades. La distribución de beneficios es particularmente interesante de analizar y depende en gran medida del rango dinámico del rendimiento en función de la inversión de capital. Hoy en día, el rendimiento de vanguardia de los LLM es muy accesible y económico. Más allá de este punto, no se puede invertir un dólar adicional para obtener un mejor rendimiento, fiabilidad o autonomía. El dinero no puede comprar un ChatGPT mejor. Bill Gates se comunica con GPT 4o igual que cualquiera. ¿Pero se puede esperar que esto se mantenga? El escalado durante el entrenamiento (aumento de parámetros y datos), el escalado durante las pruebas (aumento del tiempo) y los conjuntos de modelos (aumento del tamaño del lote) son factores que incrementan el rango dinámico. Por otro lado, la destilación de modelos (la capacidad de entrenar modelos pequeños desproporcionadamente potentes mediante el entrenamiento para imitar el modelo grande) ha sido un factor que ha disminuido el rango dinámico. Ciertamente, en el momento en que el dinero permita adquirir ChatGPT drásticamente mejor, las cosas cambiarán.