FunSearch: Descubriendo nuevos caminos en ciencias matemáticas y computacionales utilizando modelos de lenguaje grande. Compartir Este texto describe un procedimiento de evaluación para programas y un programa de semillas utilizado para iniciar un grupo de programas. FunSearch es un procedimiento iterativo; en cada iteración, el sistema selecciona algunos programas del grupo actual de programas e introduces estos en un LLM creativo, que genera nuevos programas, los cuales se evalúan automáticamente y los mejores se agregarán al grupo de programas existentes. Este proceso busca mejorar el bucle automático mediante FunSearch.
Utiliza PaLM 2 de Google, pero es compatible con otros LLM entrenados en código. El proceso FunSearch selecciona una selección de los mejores programas que ha generado hasta ahora y los ejecuta y evalúa automáticamente. Los mejores se agregarán a la base de datos para su uso en ciclos futuros. Además, FunSearch se enfoca en descubrir nuevos conocimientos matemáticos y algoritmos en diferentes dominios, una tarea notoriamente difícil que excede los límites del poder de los sistemas de IA más avanzados. Para enfrentar estos desafiantes problemas con FunSearch, introducimos múltiples claves para comenzar el proceso evolutivo con conocimiento común sobre el problema y centrarse en encontrar las ideas críticas para llevar a cabo nuevos descubrimientos. Además, nuestro proceso evolutivo utiliza una estrategia para mejorar la diversidad de ideas y evitar el estancamiento. Finalmente, ejecutamos el proceso evolutivo en paralelo con el fin de mejorar la eficiencia del sistema. Primeramente abordamos el problema de fijación de topes, un desafío abierto que ha irritado a los matemáticos en múltiples áreas de investigación durante décadas. El matemático renombrado Terence Tao lo describió una vez como su pregunta abierta favorita. Colaboramos con Jordan Ellenberg, un profesor de matemáticas en la Universidad de Wisconsin-Madison y autor de un importante avance en el problema del conjunto de tapas. El problema consiste en encontrar el mayor conjunto de puntos (conocido como un conjunto de tope) en una cuadrícula de alta dimensión, donde no hay tres puntos en línea recta. Este problema es importante porque sirve como modelo para otros problemas en la combinatoria extremal - el estudio de cómo grande o pequeña puede ser una colección de números, gráficos u otros objetos. Los enfoques brute-force a este problema no funcionan - el número de posibilidades se vuelve muy grande rápidamente, más grande que el número de átomos en el universo. FunSearch generó soluciones - en la forma de programas - que en algunos entornos descubrió los conjuntos de tapas más grandes jamás encontrados. Esto representa el mayor aumento en el tamaño de los conjuntos de tapas en los últimos 20 años.
Además, FunSearch superó a los resolvers computacionales de última generación, como este. El problema va mucho más allá de sus capacidades actuales. Una interfaz interactiva muestra la evolución del programa de semillas (arriba) a una nueva función de mayor puntuación (abajo). Sólo se muestran los antepasados del programa en la parte inferior. La función correspondiente producida por FunSearch para cada nodo se muestra a la derecha. Estos resultados demuestran que la técnica FunSearch puede llevarnos más allá de los resultados establecidos en problemas combinatorios difíciles, y construir una intuición puede ser difícil. Esperamos que este enfoque desempeñe un papel en nuevos descubrimientos para problemas en la combinatoria, y en el futuro pueda abrir nuevas posibilidades en campos como la teoría de la comunicación. FunSearch es a favor de programas concisos e interpretables por el hombre. En lugar de encontrar soluciones, genera programas que describen cómo fueron esas soluciones. Esto es cómo funciona generalmente el enfoque de 'muestra tus cálculos' de los científicos, con nuevos descubrimientos o fenómenos explicados. Se encuentra envuelto en muchos problemas del mundo real, desde cargar contenedores con artículos hasta asignar tareas de computación en centros de datos para reducir los costos. El problema de embalaje en búfer se aborda usualmente mediante reglas heurísticas basadas en la experiencia humana. Un conjunto de reglas para cada situación específica - con diferentes tamaños, tiempos o capacidad - puede ser complicado. Diferente del problema del conjunto de tapa, configurar FunSearch para este problema fue fácil. FunSearch entregó un programa automático (adaptado a los detalles de los datos) que superó a la heurística establecida – utilizando menos contenedores para empacar el mismo número de artículos.
Pausa del video: Reproducir vídeo Ejemplo ilustrativo de embalaje de basura utilizando heurísticas existentes - Heurística de mejor ajuste (izquierda), y utilizando una heurística descubierta por FunSearch (derecha). Problemas combinatorios difíciles como el embalaje en línea pueden ser abordados usando otros enfoques de IA, tales como redes neuronales. Estos enfoques también han demostrado ser eficaces, pero también pueden requerir importantes recursos para su implementación. FunSearch, por otro lado, emite código que se puede inspeccionar y desplegar fácilmente, lo que significa que sus soluciones podrían ser potencialmente implantadas en una variedad de sistemas industriales del mundo real para traer beneficios rápidos. Actualización: Mejorando el rendimiento humano en programación competitiva combinatoria En diciembre de 2024, publicamos un informe de Veličković et al sobre arXiv mostrando cómo nuestro método se puede utilizar para amplificar el rendimiento humano en la programación competitiva combinatoria. Codeforces, que fue el objetivo de AlphaCode, los competidores deben proporcionar soluciones completas a los desafíos algorítmicos clásicos En comparación, los concursos combinatoria presentan problemas altamente complejos donde la intención no es encontrar la respuesta correcta, pero la mejor solución aproximada posible, similar a problemas como encontrar conjuntos de tapa. Dado que estos problemas son difíciles para los seres humanos, nuestro método puede producir soluciones que superen a las encontradas por ellos mismos. Utiliza un enfoque que se adapta bien a la colaboración humano-AI: los programadores humanos escriben el ‘backbone’ del código de solución y luego permitir que un LLM evolucione creativamente la función que lo dirige. “ Este es un enfoque emocionante para combinar el trabajo de los programadores competitivos humanos y los LLM, para lograr resultados que ninguno de los dos podría alcanzar por su cuenta. - Petr Mitrichev, Ingeniero de Software, Google, Programador competitivo mundial. Imaginamos que la generación eficiente y adaptada de algoritmos a través de enfoques basados en LLM se convertirá en una práctica común para abordar muchos problemas científicos y industriales, tanto viejos como nuevos. En realidad, esto es solo el principio. FunSearch mejorará en virtud del progreso natural de los LLMs más amplios, y lo haremos. Además, trabajamos para expandir sus capacidades para enfrentar una variedad de desafíos científicos y de ingeniería urgentes que se presentan en la sociedad.
