EDICIóN GENERAL

Por qué Matemáticas ha pasado de ser una carrera minoritaria a una de las más codiciadas y de moda

#49 Pues que aprendan a programar también que vaya puta mierda de código hacen.
#56 Después de trabajar con ellos, se aprecia que no son ingenieros de software y no tienen porque serlo. Crean el prototipo de algún algoritmo que pueda ser interesante para temas de aprendizaje profundo y cosas así, pero, a menos que tengan mucha experiencia usando frameworks como Spark y lenguajes como scala, no hacen el algoritmo que entra en producción. Crean su version en spark-R y dependiendo de como sea, se traduce a scala o python. Mas Scala que python, porque el rendimiento en Python sigue siendo penoso. También ocurre lo mismo si ha hecho el prototipo en Python. Se valora si la implementación es adecuada, si no lo es, se trata de escribir una version en scala más eficiente.
#85 el rendimiento en Python sigue siendo penoso

Así, en general, se tiene algo contra Julia ?
#121 No lo he visto usar, aún, en entornos de producción Apache Spark. Que yo sepa, Julia no está soportado por Spark.

Corrijo, algo se puede hacer con Julia y Spark, pero es tremendamente nuevo. Ignoro como de eficiente es, si es un parser que traduce instrucciones Julia en algo que Spark entienda...

Spark es un paso adelante al Map Reduce de Hadoop porque trabaja intensivamente en memoria, trata de minimizar al máximo los shuffles de datos que pueden ocurrir cuando tienes los datos distribuidos entre los nodos. Fue diseñado como una extension de la librería Collections de Java/Scala y los ingenieros prefirieron usar Scala.

Puede que haya alguien que use Julia como lenguaje primario para crear el siguiente framework de computación distribuida en memoria junto con mejores algoritmos para streaming y deep learning.

github.com/dfdx/Spark.jl

menéame