GNU Parallel: Una guía detallada

Introducción a GNU Parallel

Última revisión: 6 junio, 2023

GNU Parallel es una herramienta increíblemente útil para aquellos que buscan aumentar la eficiencia y productividad de sus procesos de línea de comandos en Linux. Esta herramienta de shell es capaz de aprovechar al máximo los recursos de su computadora y simplificar tareas que de otro modo serían repetitivas y tediosas. Vamos a profundizar un poco más en qué es exactamente GNU Parallel y cómo funciona.

¿Qué es GNU Parallel?

GNU Parallel es una herramienta de línea de comandos escrita para GNU bash y otros shells de Unix-like, que utiliza uno o más ordenadores para realizar tareas en paralelo. Fue diseñada para usar múltiples núcleos de CPU o múltiples servidores al mismo tiempo, permitiendo a los usuarios ejecutar trabajos en paralelo utilizando uno o más equipos.

Aunque los comandos estándar de Unix pueden ejecutarse en paralelo, a menudo requieren una sintaxis compleja y no siempre utilizan eficientemente todos los núcleos disponibles. GNU Parallel resuelve este problema al proporcionar una interfaz simple y flexible para ejecutar trabajos en paralelo, con control granular sobre la cantidad de paralelismo y la distribución de trabajos.

¿Cómo funciona GNU Parallel?

El funcionamiento de GNU Parallel es bastante sencillo. Cuando se le pasa un comando y una lista de argumentos, GNU Parallel dividirá esta lista de argumentos en fragmentos o bloques. Cada bloque se alimenta entonces a una instancia separada del comando, que se ejecuta en un proceso separado.

Por defecto, GNU Parallel intentará ejecutar tantos procesos en paralelo como núcleos de CPU estén disponibles. Sin embargo, este comportamiento puede modificarse mediante opciones de línea de comando, lo que permite un control preciso sobre el nivel de paralelismo.

Los comandos se ejecutan en el orden en que se reciben, y GNU Parallel continuará lanzando nuevos procesos hasta que todos los trabajos hayan terminado o hasta que se alcance un límite especificado por el usuario.

Instalación de GNU Parallel

La instalación de GNU Parallel es un proceso directo y se puede lograr con unos pocos comandos en la línea de comandos. Sin embargo, los comandos exactos varían dependiendo del sistema operativo y la distribución de Linux que estés utilizando. A continuación, veremos cómo instalar GNU Parallel en varias distribuciones populares de Linux y en MacOS.

En distribuciones basadas en Debian

Si estás utilizando una distribución basada en Debian, como Ubuntu o Mint, puedes instalar GNU Parallel utilizando el administrador de paquetes apt. Abre una terminal y ejecuta el siguiente comando:

sudo apt update && sudo apt install parallel

Este comando actualizará la lista de paquetes disponibles y luego instalará GNU Parallel.

En distribuciones basadas en Fedora

Para las distribuciones basadas en Fedora, el comando es similar pero se utiliza el administrador de paquetes dnf. Abre una terminal y ejecuta el siguiente comando:

sudo dnf install parallel

Al igual que con Debian, este comando instalará GNU Parallel en tu sistema.

En MacOS

Si estás utilizando MacOS, puedes instalar GNU Parallel utilizando el administrador de paquetes Homebrew. Si no tienes Homebrew instalado, puedes obtenerlo visitando el sitio web oficial de Homebrew y siguiendo las instrucciones de instalación.

Una vez que tienes Homebrew, abre una terminal y ejecuta el siguiente comando para instalar GNU Parallel:

brew install parallel

Independientemente de la plataforma que estés utilizando, una vez que se completa la instalación, puedes verificar que GNU Parallel está correctamente instalado y conocer su versión ejecutando el siguiente comando en la terminal:

parallel --version

Uso básico de GNU Parallel

GNU Parallel es una herramienta versátil y puede ser un poco intimidante al principio debido a la variedad de opciones y usos que tiene. No obstante, una vez que te familiarizas con su uso básico, verás que puede simplificar y acelerar muchas tareas comunes. A continuación, exploraremos la estructura básica de los comandos de GNU Parallel y cómo usarlos para ejecutar tareas en paralelo en un solo equipo.

Estructura básica del comando

El uso más básico de GNU Parallel es para ejecutar un comando simple en múltiples archivos o con múltiples argumentos. El formato básico del comando es el siguiente:

parallel comando ::: argumento1 argumento2 argumento3

Donde comando es el comando que deseas ejecutar y argumento1, argumento2, argumento3, son los argumentos con los que deseas ejecutar el comando. GNU Parallel ejecutará el comando en cada argumento en paralelo.

Por ejemplo, si tienes varios archivos de texto y quieres contar el número de líneas en cada uno, podrías usar el comando wc -l en combinación con GNU Parallel de la siguiente manera:

parallel wc -l ::: *.txt

En este caso, wc -l es el comando que deseas ejecutar, y *.txt indica que deseas ejecutar el comando en todos los archivos .txt en el directorio actual.

Ejecución de tareas en paralelo en un solo equipo

GNU Parallel también es útil para ejecutar tareas más complejas en paralelo. Por ejemplo, supón que tienes un script de shell que realiza alguna operación en un archivo y quieres ejecutar ese script en varios archivos al mismo tiempo. Puedes hacer esto con GNU Parallel.

Supongamos que tienes un script llamado myscript.sh y varios archivos de entrada en el directorio actual. Puedes usar GNU Parallel para ejecutar myscript.sh en cada archivo de entrada de la siguiente manera:

parallel ./myscript.sh ::: *.input

Esto ejecutará myscript.sh en cada archivo .input en el directorio actual, con tantos procesos en paralelo como núcleos tenga tu CPU.

Recuerda que estos son solo ejemplos básicos. GNU Parallel tiene muchas más opciones y características que puedes explorar leyendo la documentación oficial o mediante el comando man parallel.

Uso avanzado de GNU Parallel

Habiendo cubierto los conceptos básicos de GNU Parallel, estamos listos para sumergirnos en algunas de sus capacidades más avanzadas. Examinaremos cómo controlar la concurrencia y los límites de carga, cómo manejar trabajos de larga duración y reanudaciones, y cómo utilizar GNU Parallel en múltiples equipos.

Control de la concurrencia y límites de carga

Una de las características más útiles de GNU Parallel es su capacidad para controlar la concurrencia y los límites de carga. Esto permite a los usuarios maximizar la eficiencia de su sistema sin sobrecargarlo.

Por defecto, GNU Parallel ejecuta un número de tareas en paralelo igual al número de núcleos de CPU en el sistema. Sin embargo, puedes cambiar esto usando la opción -j. Por ejemplo:

parallel -j 8 comando ::: argumento1 argumento2 argumento3

Este comando ejecutará 8 trabajos en paralelo, independientemente del número de núcleos de CPU. Si deseas limitar la carga del sistema, puedes usar la opción -l. Por ejemplo:

parallel -l 75% comando ::: argumento1 argumento2 argumento3

Esto limitará la carga del sistema al 75% de la capacidad total.

Trabajos de larga duración y reanudación

GNU Parallel puede manejar trabajos que tardan mucho tiempo en completarse. Si un trabajo se interrumpe, por ejemplo, debido a un fallo del sistema, puedes reanudarlo donde lo dejaste con la opción --resume.

Supongamos que tienes un comando que lleva mucho tiempo ejecutarse en cada argumento, puedes usar --resume para asegurarte de que, si el comando se interrumpe, se reanudará desde el último argumento completado cuando se vuelva a ejecutar. Por ejemplo:

parallel --resume comando_largo ::: argumento1 argumento2 argumento3

Uso con múltiples equipos

Finalmente, GNU Parallel puede utilizar múltiples equipos para ejecutar tareas en paralelo. Esto es especialmente útil cuando tienes una tarea muy grande que necesita más potencia de la que puede proporcionar un solo equipo.

Para usar GNU Parallel con múltiples equipos, necesitas tener ssh configurado para acceder a los otros equipos sin necesidad de introducir una contraseña. Una vez que esto esté configurado, puedes utilizar la opción -S para especificar los equipos que deseas utilizar. Por ejemplo:

parallel -S server1,server2 comando ::: argumento1 argumento2 argumento3

Esto ejecutará el comando en paralelo en server1 y server2, utilizando los argumentos especificados.

Es importante tener en cuenta que estos son solo algunos de los usos avanzados de GNU Parallel. Esta herramienta tiene muchas más opciones y características que puedes explorar para adaptarla a tus necesidades específicas.

Ejemplos prácticos de uso de GNU Parallel

Ahora que hemos cubierto tanto los fundamentos como algunos de los aspectos más avanzados de GNU Parallel, es hora de aplicar este conocimiento con ejemplos prácticos. Veremos cómo GNU Parallel puede ser utilizado para procesar archivos grandes, copiar archivos en múltiples máquinas y renderizar imágenes en paralelo.

Procesamiento de archivos grandes

Supongamos que tienes un gran número de archivos de texto y quieres procesarlos de alguna manera. Por ejemplo, podrías querer contar el número de palabras en cada archivo. Con GNU Parallel, puedes hacer esto en paralelo, lo que podría ahorrar mucho tiempo si tienes muchos archivos. Por ejemplo:

ls *.txt | parallel wc -w

Este comando contará el número de palabras en cada archivo .txt en el directorio actual, usando tantos núcleos de CPU como estén disponibles.

Copia de archivos en múltiples máquinas

Imagina que tienes un gran número de archivos que necesitas copiar a varias máquinas. Podrías hacer esto de forma secuencial, copiando los archivos a una máquina a la vez, pero esto podría llevar mucho tiempo. Con GNU Parallel, puedes hacerlo en paralelo. Por ejemplo:

ls * | parallel -j10 -S server1,server2 scp {} :~/destino

Este comando copiará todos los archivos en el directorio actual a los directorios ~/destino en server1 y server2, realizando hasta 10 copias en paralelo.

Renderización de imágenes en paralelo

Finalmente, supón que estás trabajando en un proyecto de animación y necesitas renderizar un gran número de imágenes. Podrías hacer esto en serie, pero podría llevar mucho tiempo. Con GNU Parallel, puedes hacerlo en paralelo. Por ejemplo:

ls *.png | parallel convert {} -resize 50% resized/{} 

Este comando tomará todas las imágenes .png en el directorio actual, las reducirá a la mitad de su tamaño y las guardará en el directorio resized/, utilizando tantos núcleos de CPU como estén disponibles.

Estos son solo algunos ejemplos de cómo puedes usar GNU Parallel en tus proyectos. La versatilidad de esta herramienta significa que las posibilidades son prácticamente infinitas.

Comparación con otras herramientas de paralelización

GNU Parallel no es la única herramienta disponible para ejecutar tareas en paralelo en Linux. Otras herramientas como xargs, tmux y screen también ofrecen ciertas formas de paralelización. Veamos cómo se comparan con GNU Parallel.

xargs

xargs es una herramienta de línea de comandos que convierte la entrada estándar en argumentos para otro comando. Tiene una opción -P que permite la ejecución en paralelo. Sin embargo, xargs no tiene la misma flexibilidad y potencia que GNU Parallel. Por ejemplo, xargs no permite ajustar la concurrencia en tiempo de ejecución, y no puede manejar la agrupación de tareas o la ejecución de tareas en múltiples máquinas. Aquí hay un ejemplo de cómo se usaría xargs para ejecutar tareas en paralelo:

ls *.txt | xargs -n 1 -P 4 wc -w

Este comando es similar al ejemplo que dimos con GNU Parallel. Contará el número de palabras en cada archivo .txt en el directorio actual, usando 4 procesos en paralelo.

tmux y screen

tmux y screen son multiplexadores de terminal que permiten a los usuarios crear, acceder y controlar múltiples terminales desde una sola pantalla. tmux y screen pueden ser utilizados para ejecutar comandos en paralelo, pero no ofrecen las mismas características de paralelización que GNU Parallel. En particular, no permiten controlar la concurrencia o agrupar tareas, y no pueden ejecutar tareas en múltiples máquinas. Aquí hay un ejemplo de cómo se podría usar tmux para ejecutar tareas en paralelo:

tmux new-session 'wc -w file1.txt' \; split-window 'wc -w file2.txt'

Este comando creará una nueva sesión tmux y ejecutará el comando wc -w file1.txt en el primer panel. Luego dividirá la ventana y ejecutará wc -w file2.txt en el segundo panel.

Consejos y trucos para trabajar con GNU Parallel

Aprender a usar GNU Parallel puede ser muy beneficioso para cualquier usuario de Linux que tenga que manejar una gran cantidad de datos o tareas. Aquí van algunos consejos y trucos que te pueden ayudar a obtener el máximo rendimiento de esta poderosa herramienta.

Uso de –progress para monitorear el progreso

GNU Parallel tiene una opción --progress que muestra el estado del trabajo en tiempo real. Esto puede ser muy útil para trabajos largos, ya que te permite ver cuánto progreso se ha hecho y cuánto tiempo queda estimado.

parallel --progress 'command {}' ::: files*

Gestión de errores con –halt

El parámetro --halt es muy útil para manejar errores. Si se pone --halt now,fail=1, GNU Parallel se detendrá tan pronto como ocurra un error. Esto puede ser especialmente útil cuando se procesan muchos archivos y un error en uno puede indicar un problema que requiere la intervención del usuario.

parallel --halt now,fail=1 'command {}' ::: files*

Uso de –eta para estimar el tiempo de finalización

La opción --eta (Estimated Time of Arrival) muestra el tiempo estimado de finalización. Esto puede ser muy útil para tener una idea de cuánto tiempo tardará la tarea.

parallel --eta 'command {}' ::: files*

Hacer uso del paralelismo incluso cuando los datos no están listos

En algunos casos, puede que quieras iniciar el procesamiento en paralelo tan pronto como los datos estén disponibles. Esto es posible con GNU Parallel usando --pipe o --cat.

command_that_generates_data | parallel --pipe processing_command

En resumen, GNU Parallel es una herramienta muy potente con un montón de opciones para hacer la ejecución de tareas en paralelo más fácil y eficiente. Con estos consejos y trucos, deberías ser capaz de obtener aún más de GNU Parallel.

Resolución de problemas comunes y preguntas frecuentes

GNU Parallel es una herramienta robusta y bien diseñada, pero como cualquier software, puede haber ocasiones en las que te enfrentes a problemas o tengas preguntas. A continuación, te presentamos algunas de las dudas más comunes y sus posibles soluciones.

Mi trabajo se detiene inesperadamente

Si tus trabajos en paralelo se detienen inesperadamente, podría ser que estés alcanzando el límite de procesos permitidos en tu sistema. Puedes verificar esto utilizando el comando ulimit -u en la terminal. Si este es el problema, puedes aumentar el límite con el comando ulimit -u 4096, por ejemplo. Recuerda que este cambio afectará solo a la sesión de terminal actual.

ulimit -u 4096

GNU Parallel dice ‘Comando no encontrado’

Si recibes un mensaje de ‘Comando no encontrado’, es probable que el comando que estás intentando paralelizar no esté en el PATH. Verifica que el comando que estás utilizando está instalado y es accesible. También puedes proporcionar la ruta completa al comando para asegurarte de que GNU Parallel puede encontrarlo.

parallel /full/path/to/command {} ::: files*

¿Cómo puedo hacer para que GNU Parallel ignore los archivos que ya ha procesado?

Una opción es utilizar --resume que hará que GNU Parallel ignore los trabajos que ya ha completado. Esto es útil si tu tarea se interrumpe y necesitas reiniciarla.

parallel --resume 'command {}' ::: files*

¿Cómo puedo limitar la cantidad de CPU utilizada por GNU Parallel?

La opción --load puede ser utilizada para evitar que GNU Parallel inicie nuevos trabajos si la carga del sistema excede un cierto nivel. Por ejemplo, --load 90% hará que GNU Parallel no inicie nuevos trabajos si la carga del sistema excede el 90% de la capacidad de la CPU.

parallel --load 90% 'command {}' ::: files*

Esperamos que estas respuestas a preguntas comunes y soluciones a problemas comunes te ayuden a usar GNU Parallel de manera más efectiva. Recuerda, GNU Parallel tiene una comunidad activa y muchos recursos en línea, por lo que siempre hay ayuda disponible si te encuentras con un problema que no puedes resolver.

Referencias

Cuando se trata de aprender sobre GNU Parallel y afinar tus habilidades con esta potente herramienta, hay muchos recursos disponibles que puedes consultar. A continuación, encontrarás una lista de algunas referencias y recursos recomendados que ofrecen información adicional y contextos más profundos sobre GNU Parallel.

Manual de GNU Parallel

El manual oficial de GNU Parallel es una referencia exhaustiva que cubre todas las características y opciones de la herramienta. Es una lectura obligada para cualquier persona que quiera dominar GNU Parallel. El manual está disponible en línea y se puede acceder a él mediante el comando man parallel.

man parallel

Página de Wikipedia de GNU Parallel

La página de Wikipedia de GNU Parallel proporciona una visión general de la herramienta, incluyendo su historia y una descripción de su funcionalidad. También incluye algunos ejemplos de código.

Link: GNU Parallel Wikipedia

Publicaciones del blog de Ole Tange

Ole Tange, el creador de GNU Parallel, mantiene un blog en el que a menudo publica sobre el uso de GNU Parallel, incluyendo tutoriales y ejemplos de uso. Este es un gran recurso para obtener información de primera mano sobre la herramienta.

Link: Blog de Ole Tange

Foros de discusión y grupos de usuarios de Linux

Los foros de discusión y grupos de usuarios de Linux, como Stack Overflow, son un excelente lugar para hacer preguntas, obtener respuestas y aprender de las experiencias de otros usuarios de GNU Parallel. Muchas veces, puedes encontrar soluciones a problemas específicos o técnicas de uso que no están cubiertas en los manuales o en las guías de uso.

Link: Stack Overflow

Estos recursos deben ayudarte a aprovechar al máximo GNU Parallel y a superar cualquier desafío que puedas encontrar al utilizar esta poderosa herramienta.