Harder, better, faster, SIMD

Los sistemas computacionales son sin duda alguna indispensables para múltiples actividades cotidianas. Podemos realizar actividades de oficina, buscar puntos específicos en la ciudad, ver fotos, editar videos, reproducir música, y muchas otras cosas más. Sin embargo, muchas de las aplicaciones más recientes no existirían de no haber sido por el desarrollo de los lenguajes de programación, y de las computadoras mismas.

Todos los lenguajes de programación tienen su origen en un lenguaje final: el binario. El binario es el verdadero dialecto computacional. Pero este no es un lenguaje que sea fácil de programar, y mucho menos de leer. Dado esto, se implementó una tecnología que permitiera a un usuario con  conocimientos suficientes acerca del hardware, para poderlo programar: el ensamblador.

Una de las variantes del ensamblador, es la implementación tipo SIMD (Simple Instruction, Multiple Data). Este tipo de implementaciones en ensamblador permiten agilizar el procesamiento de instrucciones que se repiten (como en un ciclo for en C), de tal forma que se aprovechan los componentes del procesador (registros y memoria caché, principalmente). Sin embargo, el uso de este tipo de implementaciones tiene ciertas restricciones:

·       1.  No es fácil escribir un programa en ensamblador si no se tiene una idea de qué se va a hacer.

·        2.  Al nivel de programación que tenemos hoy en día (por la complejidad de los lenguajes para su fácil uso), si no sirve en un lenguaje de nivel superior a ensamblador, no tiene caso hacerlo en ensamblador.

·         3. Dependiendo de la arquitectura del procesador, se deben considerar el número de bits y bytes a procesar en los registros.

·         4. El total de bytes a procesar debe ser múltiplo del total de registros a utilizar, siendo también congruente con el número de bits de éstos.

Este tipo de implementaciones resulta interesante, ya que una aplicación puramente en C, puede alcanzar speed ups de más de 20 unidades, cuando la implementación del código paralelizable es una extensión SIMD bien realizada.

Nadie dijo que fuera fácil, pero alguien tiene que hacerlo

El cómputo paralelo, como hemos estado discutiendo a lo largo del semestre, es una de las tendencias con mayor importancia en esta década. Existen múltiples plataformas de hardware que soportan el cómputo paralelo. Estas plataformas están en uso desde el año 2004. Sin embargo, el software generado en años anteriores (incluso el actual) no está pensado para trabajar de forma paralela.

El problema radica principalmente en que el paralelismo, a pesar de que es posible enseñarlo en las escuelas con piezas de hardware económicas (laptops, tarjetas multinúcleo, GPU’s, entre otros), no se le ha dado la importancia que requiere para su desarrollo.

Una de los grandes campos de paralelismo a nivel mundial (y comercial) es el mercado de los videojuegos. Cada día, vemos cómo empresas como Microsoft, Sony, entre otros, compiten arduamente por ofrecer a los fans una plataforma que les brinde mejor desempeño y videojuegos cada vez más específicos para satisfacer las expectativas de los mismos jugadores. Este mercado no sería tan fuerte, de no ser por la gran capacidad de cómputo paralelo que se realiza a nivel de hardware y a nivel de software en las consolas.

Los problemas crecen conforme las ambiciones son mayores. Dado a que gran cantidad de segmentos de código han sido elaborados de forma secuencial, pensando en que el desarrollo de procesadores más rápidos radicaba en la frecuencia de reloj,  la forma más “rápida” de paralelizar el código es ver qué segmentos son candidatos a paralelizado. Posteriormente, se deben hacer pruebas para verificar que no haya bugs. Esta etapa, sin duda alguna, es la más difícil y tediosa de todo el proceso.

A veces, nos preguntamos a nosotros mismos por qué no reescribir el código, tomando en cuenta la capacidad de paralelismo que se tiene. Sin embargo, abrimos un archivo que tiene millones de líneas de código (como el de un kernel, o un sistema operativo completo), y vemos que es muy mala idea. Especialmente, en los códigos que corren en servidores bancarios, o gubernamentales.

Para estos casos, lo mejor que se ha logrado es el desarrollo de módulos que, con simples instrucciones, se paralelizan ciertas partes del código. Un ejemplo de estos módulos es OpenMP, que con directivas a compilador (pragmas), se pueden paralelizar segmentos de código, ciclos for, entre otras cosas.

El paralelismo es un gran reto, tanto a nivel de desempeño del hardware, como el desarrollo del software especializado. Y, dada la importancia que esto tiene, es imperioso que se acepte el reto, y comencemos a ser más eficientes a la hora de programar, tomando en cuenta el paralelismo como herramienta fundamental.

MapReduce y su simulación de procesos

Este artículo acerca de la tecnología MapReduce, escrito por Dean y Ghemawat, me resultó un tanto interesante, ya que habla acerca de qué es esta tecnología y cuál es el enfoque con el que se desarrolló.

Como hemos visto en artículos diferentes, este es otro esquema de paralelismo computacional. Pero lo que lo hace diferente a los demás, es su estructura de funcionamiento y el sistema en el que corre. El sistema de ejecución de este esquema podría ser implementado en cualquier ordenador, pero funciona mucho mejor en un cluster. Un cluster es un arreglo de varias (muchas) computadoras conectadas entre sí, que pueden ser utilizadas para un sinfín de propósitos. Uno de estos propósitos es la búsqueda de información en la red, tal y como es el servicio de Google.

El funcionamiento de MapReduce puede asemejarse un poco a lo que es una cadena de producción, o una búsqueda en masa de la información. Si suponemos que los datos clave que se deben buscar es una petición de producción, y los documentos donde se busca es la materia prima, existen varios threads (también llamados workers) que se encargan de realizar la búsqueda de los materiales necesarios que se deben utilizar para la producción del lote en cuestión. Posteriormente, cuando los workers terminan, otro conjunto de trabajadores realiza la producción del lote, generando un resultado. Esto viéndolo desde una perspectiva muy sencilla. MapReduce cuenta con su propio calendarizador (scheduler), el cual es el equivalente al líder de equipo o administrador de proyectos, quien es el que se encarga de asignar tareas específicas a cada trabajador, y en caso de que uno acabe antes que los demás, le asigna más trabajo para que no esté en estado de ocio la mayor cantidad de tiempo (siempre y cuando haya algo que hacer).

Me pareció muy interesante ver la esquematización de esta tecnología, ya que se asemeja mucho a situaciones como la anterior, y que tiene un manejo de errores muy eficiente, el cual consiste en que si por algo falla un trabajador, otro toma su lugar y ejecuta lo que el primero deió hacer para poder tener el resultado consistente. Esto, tanto en el algoritmo como en la vida real, resulta ser muy bueno, ya que en un equipo no podemos depender 100% de nuestros colegas, y menos cuando se presenta una falla (baja de energía, un segmentation fault, enfermedad [bug], etc.).

Erlang: un cambio de perspectiva

El artículo escrito por el profesor Ariel Ortiz resume lo que, desde el inicio del curso de programación multinúcleo, nos ha ido diciendo: el paralelismo a nivel de software es un hecho que no podemos ignorar. Y, como ingenieros en software (y algunos en hardware), debemos ser capaces de poder utilizar y explotar las bondades que las nuevas tecnologías nos ofrecen.

Siempre he sido fiel partidario de que hay cosas que el software no puede realizar sin el hardware adecuado. Un ejemplo relevante es la unidad de punto flotante. Sin este módulo, todas las operaciones aritméticas que tengan números flotantes, simplemente se quedarían siempre truncadas a su entero. En este caso, el paralelismo en software se puede dar ya que existen procesadores con más de un núcleo en el mismo chip. Y ahora, con las redes de computación y otras tecnologías, se puede hacer paralelismo utilizando más de una máquina para ello.

Otra de las aseveraciones que defiendo es que el software potencializa al hardware. La verdad, no me imagino programando una computadora con puros ceros y unos (que no niego que sería interesante y al mismo tiempo agobiante). Los lenguajes de programación en sí son un fuerte ejemplo de que el software potencializa al hardware. Sin lenguajes de programación, muchísimas cosas que utilizamos hoy en día podrían existir, pero requerirían de mucho tiempo de trabajo y corrección para que funcionen de manera “aceptable”.

Dados estos dos argumentos, considero que Erlang es una herramienta interesante, empezando por el tipo de lenguaje que es. Los principios por los que surge el lenguaje son interesantes, y su impacto en las aplicaciones más actuales son sorprendentes, considerando que tienen miles de usuarios activos todo el tiempo y que la eficiencia es muy satisfactoria. De no ser así, no tendría caso utilizar Erlang.

En otros cursos, he tenido la oportunidad de utilizar esquemas de threads, Message-passing, entre otros. Pero Erlang promete algo diferente. Para empezar, el hecho de comprender su sintaxis me da curiosidad de cómo funciona la herramienta, y de ver qué cosas podría hacer con ella. Actualmente, estaré aprendiendo Erlang y Cuda al mismo tiempo, por lo que tendré la oportunidad de ver el enfoque de ambos lenguajes, y ver qué podría hacer de manera individual o en conjunto.

Erlang y los nodos concurrentes

La concurrencia es uno de los esquemas más recientes que se han introducido a la computación. Como es sabido, y como lo reitera Joe Armstrong en su podcast, la concurrencia se generó alrededor del año 2003, una vez que las empresas que fabrican procesadores llegaron al límite físico, en la tendencia por el incremento de la frecuencia de reloj de los mismos procesadores. La razón principal: sobrecalentamiento, ya que la misma frecuencia de reloj incrementa proporcionalmente la potencia consumida por el procesador. Dado esto, la nueva tendencia es el desarrollo de chips que contengan varios procesadores, capaces de trabajar simultáneamente, ya sea compartiendo información en memoria, o cada núcleo con su segmento de memoria privado.

Joe Armstrong enfatiza que muchas de las tecnologías que se usan hoy en día para generar concurrencia, en realidad no son concurrentes, sino que sin formas de hacer que el calendarizador del sistema operativo mande los diferentes procesos, o threads a los diferentes núcleos que tiene una misma computadora. Sin embargo, estas tecnologías no permiten que un sólo ordenador envíe procesos a los núcleos de otro ordenador. En otras palabras, si tenemos acceso a otro ordenador mediante una conexión a Internet u otro medio, no podríamos utilizarlo para realizar multiprocesamiento aunque el vínculo sea compatible para ello. Se pueden implementar tareas como el “message passing”, entre otros; para realizar multiprocesamiento. Sin embargo, estas implementaciones son costosas en tiempo y recursos de los equipos.

Erlang es un algo similar a un sistema operativo que permite a los programadores realizar segmentos de código que realmente sean capaces de correr por sí mismos en una computadora con un procesador multinúcleo, e inclusive utilizar nodos para intercomunicar computadoras entre sí, y que cada proceso funcione de manera independiente completamente, en relación a los demás núcleos y/o chips de procesador. Una de las cualidades de Erlang, es que soporta el “message-passing”; sin embargo, esto se utiliza solamente cuando es requerido, y no es una implementación fija en cada programa en Erlang.

Joe Armstrong enfatiza que hay 3 cuestiones en las que debemos siempre tener cuidado para lograr una verdadera aplicación concurrente, y evitar muchas cosas que terminan haciendo de nuestro programa una implementación más parecida a una secuencial que a una paralela: a) el tiempo de cambio de contexto, b) el tiempo de paso de mensaje, y c) el tiempo de creación de los procesos. Personalmente, a estos puntos les puedo dar validez, como ingeniero electrónico, ya que a nivel de hardware es más eficiente un procesador que tarde menos en cambiar de contexto, en especial para las aplicaciones de alto riesgo y que trabajan mediante interrupciones. Si un procesador se espera mucho tiempo en atender una interrupción de alta prioridad, la secuencia de atención no sería ejecutada a tiempo, y podría tener resultados catastróficos. Por ejemplo, si tenemos un microcontrolador, interconectado con muchos otros, y este microcontrolador tarda en procesar que nuestro coche ha chocado y no trabaja oportunamente, el mensaje que debe recibir el microcontrolador que maneja las bolsas de aire, no las abriría a tiempo y los pasajeros correrían peligro de muerte.

Será interesante ver las implementaciones que se pueden hacer con Erlang, y las ventajas que tiene este “lenguaje” en comparación de las tecnologías thread y Fork/Join.

Lambda no sólo significa "longitud de onda"...

Como se menciona en el podcast que Freddy Guime realizó, las expresiones lambda no son cosas que resulten recientes, ya que se han utilizado desde que se empezaron a diseñar los lenguajes de programación de los años cincueta. Sin embargo, este concepto para mi resulta nuevo, ya que muy pocas veces me he encontrado con una expresión lambda en todos los archivos de código que he realizado desde que comencé a programar, e inclusive en los libros de lenguajes que me han encargado que lea.

Resulta “mágico” que una pequeña sentencia sea tan útil como escribir una línea, o inclusive un bloque de código completo, en unos cuantos caracteres, además de utilizar el token “->”. Esto, al principio, resultó un tanto confuso para mí. Lo primero que pensé fue “¿apuntadores en Java? Interesante…”. Pero, claramente, no hay tal cosa en Java. Al menos no de manera explícita en el lenguaje.

Hasta como hemos visto en clase, y dándole crédito a lo que comenta Freddy Guime en su podcast, las expresiones lambda se pueden ver como una expresión “mutable”. Es como una función que puede cambiar de comportamiento, de acuerdo a lo que le solicitemos en la misma expresión lambda.  Y es mucho más sencillo y más rápido que estar creando nuevas clases, o inclusive andar sobreescribiendo la funcionalidad del método run() de la clase Runnable, lo cual tiene un impacto admirable en la simplicidad que le dá al escribir un código en un lenguaje tan verboso como lo es Java.

Una de las “limitantes” que tiene el uso de expresiones lambda en Java, es que el programador debe declarar interfaces funcionales. Estas interfaces, por definición, son aquellas que únicamente contengan un método en ellas. Sin embargo, el hecho de tener que escribir una interface de una línea en lugar de una clase completa (la cual puede tener muchísimas líneas de código para poder funcionar correctamente), es un pequeñísimo “sacrificio” que se debe realizar para poder ahorrarnos tiempo de programación, y en cierta forma tiempo de cómputo en la implementación que estemos programando.

Espero tener la oportunidad de ver una implementación real con expresiones lambda, para poder comprender de mejor manera su funcionamiento, tanto a nivel código como a nivel de desempeño, y tenerlas siempre en cuenta para futuras implementaciones que yo realice, ya sea en Java o en cualquier otro lenguaje de programación que las utilice.

La perseverancia es clave para el éxito, incluso para terminar Super Mario Bros.

En el video documental, se plantea perfectmente el caso de 3 proyectos. Estos proyectos son un tanto singulares, ya que no son “proyectos” como los que normalmente llamamos así: son videojuegos. Sí, los videojuegos también son proyectos de, al menos, mediano plazo, ya que requieren una buena cantidad de tiempo y esfuerzo para poder realizarlos. Además de un poco de dinero, claro. Estos tienen la particularidad de que fueron desarrollados por “agentes libres”; es decir, personas que no trabajan para una empresa, sino para sí mismos.

Estos tres proyetos en paticular ilustran varios aspectos con los que siempre lidiamos en nuestra vida diaria. Sin embargo, si realizamos un trabajo o algo que nos apasiona con tanto ahínco, realmente plasmamos todo nuestro pensar y nuestras emociones en el proyecto. No cabe duda de que estos 3 videojuegos son geniales, no sólo por sus temas o por la manera original de jugarlos, sino porque se ve que están buenos, los 3 tienen características únicas (tanto de jugabilidad como de temas) con respecto a otros juegos que ya están en el mercado), y sobre todo porque los 3 tienen plasmados en ellos los ideales y sueños de los desarrolladores.

En el video se muestra que, lejos de tener un beneficio económico por el juego, los desarrolladores están más preocupados porque la gente de verdad se divierta jugando los juegos, que recuerden los buenos tiempos de los juego que eran extremadamente difíciles, y sobre todo que la gente entendiera el mensaje que estaba plasmado en los juegos: sus emociones y sus sueños.

Desafortunadamente, muchas cosas pueden pasarle a cualquier proyecto que realicemos en nuestras vidas. Así, cada juego tuvo un resultado distinto. Uno de ellos fue exitoso, tanto en críticas como en ventas y en captación del mensaje plasmado. Uno de ellos sufrió complicaciones, pero logró obtener un colchón de tiempo para depurar defectos y mejorar la funcionalidad. Así mismo, uno de ellos sí tuvo venta, pero fracasó porque muy, muy pocos usuarios entendieron el trasfondo del juego, y lo tacharon de ridículo, aburrido y “choteante”.

Aun así, en los 3 juegos se demuestra un gran muy alto de perseverancia, ya que, apesar de los problemas legales, económicos, sociales, entre otros; todos los desarrolladores han puesto toda su energía en lograr algo que ellos quieren, con un nivel de perseverancia tal que unos estuvieron al borde de la locura por conseguir lo que querían: un proyecot funcionando.

Este ejemplo, en lo personal, me ha motivado a mejorar mi perspectiva con respecto a lo que hago en mi día a día, y que no importa qué tan trivial o difícil sea el reto, siempre hay que hacerlo con todo el esfuerzo que se requiera, con perseverancia y actitud positiva. Pero más aun, el hecho de vincularnos emocionalmente con algo que realizamos, nos mueve a hacerlo cada día mejor, y sobre todo, con las únicas ganas de dejar algo como legado en este mundo.