comunidades

#BigData y #DataAnalysis en la era de #acuario: registro y #cómputo #masivo

Entre otras cosas ... BigData y Data Analysis plantean un nuevo tipo de organización, y no plataformas o algoritmos informáticos.


¿Sabemos que nos aporta el BigData y el Data Analysis? ¿Estamos controlando que la inversión a realizar en estas tecnologías tendrá un retorno de inversión adecuado? Pero, ¿porqué son tan importantes? Bueno aquí abordo estas preguntas revisando cómo aparecen el BigData y el Data Analysis, e ilustrando sus ventajas y desventajas.

Discurso de Barak Obama sobre la importancia del BigData (en inglés)
El registro y el análisis de datos: el origen del BigData y el Data Analysis.

Si miramos hacia atrás nos parece una locura la forma en la que antes se guardaba información, cuando Internet no existía y solo se utilizaba papel y tinta. Puede que hasta incluso lo veamos ridículo, agotar tanta energía en anotar todo tipo de registros, con lo fácil que es hoy en día darle a unas teclas, imprimir y poder archivar.
La cuestión es preguntarse porqué se precisa registrar todo. Bueno, muchas personas lo hacen por recordar, tomar nota de cosas que se pueden necesitar mañana, registrar la historia, y así varias cosas muy cotidianas.
Esencialmente se registra porque siempre se requiere recordar, rememorar, cosas del pasado y reflexionar el porqué hicimos o no se hizo tal o cual cosa. Esto suele hacerse por paranoia de control y memoria, por necesidad de aprender del pasado y de proyectar al futuro, o simplemente porque necesitamos cumplir procesos de análisis u obligaciones legales u organizacionales que no podemos realizar todos los días sino en momentos determinados.
Siguiendo en el tema de los procesos de análisis, hablamos de los antiguamente conocidos procesos de análisis de datos. Esto es muy normal en la estadística tradicional, la econometría, en el estudio de proyecciones o de detección de patrones, la identificación de tendencias, etc. Bancos, entidades financieras, empresas de marketing, organizaciones de encuestas, policías, gobiernos, entre otras, tienen experiencia en estas tareas desde hace muchos años, solamente que el volumen de datos es muy grande y las necesidades igualmente son mayores a lo habitual.



Porqué es importante BigData

Este tipo de procesos se apoyaban y apoyan en modelos matemáticos y estadísticos, a su vez ayudados en modelos optimizantes que permiten reducir tiempos de respuesta. Y oh, allí aparecen los computadores u ordenadores, que ayudan más a reducir el tiempo de respuesta y aportan un nivel mayor de precisión en los mismos.
Pues bien, hoy en día podemos ir más allá y dejar almacenada la información en lo que se conoce como nube digital o cloud, un "místico" sitio donde podemos dejar todo lo que queramos sin preocuparnos de la finitud de cualquier dispositivo de almacenamiento como si fuera infinito. Señalo ésto pues la verdad todo ésto de la nube es místico, mágico, pero como todo medio de almacenamiento es finito y su crecimiento tiene un coste.
Sin cloud ya almacenamos mucho más información. En la última década hemos producido y almacenado más información digital que en toda la historia previa de la humanidad. La nube permitirá superar este crecimiento, y está permitiendo que esto sea además mucho más transparente y sencillo.
En suma, acumulamos datos como personas y como organizaciones. Así la noción de BigData es asumir la realidad de que manejamos muchos millones de datos.
Antes eran algunos miles de datos, pero ahora ya se habla de exabytes (o 10 elevado a 18) de datos. Impresionante. Y por lo mismo, al estar esos datos digitalizados, aparecen problemas a resolver dado el estado actual de los algoritmos y hardware que se usa para procesar datos.
BigData es el paso natural al crecimiento "gigante" en las bases de datos. Al inicio se trataba de un problema de algunos Megas o Teras de datos. Luego las bases de datos comenzaron a hablar entre ellas y se federaron, interoperaron, con lo cual, datos de fuentes aparentemente desconexas se vincularon y los datos sumaron ... y los modelos de datos se integraron.
Ante esta situación surgieron las VLDB (Very Large Data Bases) para responder al crecimiento exponencial de las bases de datos tradicionales. Con los años, muchas consultas a las grandes bases de datos requerían técnicas de procesamiento elevadas, cosa que las bases de datos tradicionales no podían cumplir. Surge así el concepto de DataWarehouse que permite tener consultas preprocesadas pero actualizadas de forma transparente a los usuarios. Esto estuvo ligado a las técnicas de DataMining o de minería de datos, que permiten detectar patrones en los datos. Y el Data Analysis es el conjunto de algoritmos y tecnologías de análisis para procesar datos y obtener resultados que permitan proyectar y prospectar tendencias, comportamientos, etc.
Ahora mismo, las bases de datos son más complejas, con tipos de datos estructurados y no estructurados, formales e informales, con frecuencias variables, y esperando todo sea online.
Gracias a los datos contenidos en una BigData (sabiendo que es más un concepto que un gran repositorio) y al potencial del análisis sobre ellos, surgen varios casos de éxito, destacando ahora algunos solamente:
proyectar necesidades hospitalarias o de medicamentos identificando patrones demográficos o de enfermedades en grupos humanos o incluso planificar planes de pensiones;
reconocer tendencias de votación o de elección de productos identificando tendencias en las decisiones de voto o de compra de las personas;
prever alternativas viales analizando datos climatológicos, de tráfico y de horas-pico en las ciudades para evitar atascos de tráfico;
mejorar la lealtad y retención de empleados según sus resultados, percepciones, movilidad, comunicaciones, sus espacios ambientales, etc.;
detectar puntos de oportunidad turístico, comercial o incluso arquitectónico en un determinado territorio;
previsiones de servicios, mantenimiento o crecimiento en redes eléctricas o de energía;
crear oportunidades prospectivas de gobierno inteligente y/o smart city;
establecer políticas de promoción de nuevos negocios si se detecta en un territorio un incremento de peticiones de licencia de apertura de empresas;
determinar intereses y emociones según el comportamiento en redes sociales; o,
aportar online soluciones de evacuación ante desastres analizando información de movimientos de personas, análisis de geografía y comportamiento del clima.
BigData: ventajas y desventajas.

Pero claro, como todo en esta vida, las ventajas que ofrecen BigData y Data Analysis no están libres de esfuerzos y retos a superar. BigData: retos.

1. Entre los retos que podemos encontrarnos a la hora de utilizar este sistema de gran almacenamiento, o el primer reto de BigData es medir el rendimiento y tener métricas, pues si una empresa no genera los suficientes datos y no sabe medir, no se puede realizar un acto en consecuencia efectivo. De qué sirve tener miles de datos si al tratarlos o simplemente manipularlos como activos, el coste -por ejemplo- es más alto que los beneficios.
2. Una vez se tiene rendimiento, debe confirmarse si éste es óptimo, he aquí la segunda traba. Pues puede que genere información y ésta sea tratada, pero el segundo reto de BgData es que si no se aprovecha al máximo, algo se está haciendo incorrectamente. Es obvio, y de forma similar a una bodega, si ésta es grande y mal utilizada es como tener un activo inmovilizado.
3. El tercer reto de BigData es la calidad y el funcionamiento del hardware para asegurar que todo está en buen estado. Los datos se almacenan en repositorios, dispositivos de hardware, que deben operar de forma eficiente y segura. Por ejemplo, un disco con velocidad de acceso lento o que no resista la alta tasa de accesos o interoperación, no será seguro o degradará la calidad.
4. El cuarto reto de BigData es monitorizar la infraestructura del Big Data y el de TI. Como todo centro de alta criticidad, una BigData es un depósito que debe vigilarse continuamente, y es menester que exista un monitoreo constante, fiable y seguro.
5. El quinto reto de BigData es preservar la integración de datos clave y su modelamiento. Como una gran base de datos, del tipo que sea, la integridad, completidud, fiabilidad, etc. de los datos es clave, y por lo mismo todas estos criterios deben estar garantizados y más aún, con un respaldo que los documente y refleje las relaciones que puedan existir entre ellos ya sea en su origen o resultados de los análisis a los cuales son sometidos.
6. Por último, y no es menor, el sexto reto de BigData es invertir en personas y nuevos perfiles profesionales.Data Analysis: retos.

1. Entre los retos que podemos encontrarnos a la hora de utilizar el BigData, es decir procesar y analizar sus datos, tenemos que el primer reto de Data Analysis es algo obvio: generar información. Si la empresa no genera datos útiles, pertinentes, imprescindibles, o simplemente todos los que sean posibles, poco se va a poder analizar.
2. Una vez se consiguen los datos, el segundo reto de Data Analysis es respetar las leyes sobre protección de datos. Por ejemplo, si decidimos hacer una valoración respecto al uso de las bicicletas en nuestra ciudad, no podemos permitir que la identidad de nadie que se haya empleado en el estudio pueda ser descubierta.
3. Nadie analiza sin saber qué se quiere conseguir. El tercer reto de Data Analysis es contar con métricas que permitan medir los resultados y beneficios. Esto requiere al menos un ROI.
4. Superadas las trabas legales pasamos a temas de personal. El cuarto reto de Data Analysis es la dificultad de encontrar personal realmente cualificado en el mundo de la estadística (y la tecnología y el modelamiento de datos), y eso es lo que precisa el análisis de BigData. Los mayores éxitos del análisis de datos no vienen de una gran infraestructura tecnología, sino de la inteligencia y reflexión sobre los datos que aportan los analistas de datos. Casos como el Ayuntamiento de New York con su ejército de analistas es un claro ejemplo de visión inteligente sobre BigData.
5. Aunque raro, un análisis del tipo planteado, requiere directivos cualificados. El quinto reto de Data Analysis es contar con tomadores de decisiones adecuados. Data Analysis requiere velocidad, madurez tecnológica, visión prospectiva, etc. y eso demanda seleccionar y filtrar directivos.
6. Finalmente, el sexto reto de Data Analysis es superar el temor a perder la privacidad. No se trata de garantizar la protección sobre los datos, sino de el deseo de no querer que "mis actos" sean registrados y procesados. BigData y Data Analysis: ventajas / oportunidades.
1. En primer lugar, es práctico colocar sensores en dispositivos y personas (‘’wearables´). Es decir, existe la posibilidad de capturar datos de miles de nuevas fuentes, tanto alrededor de las personas, como desde ellas mismas. La primera ventaja de BigData y Data Analysis es poder capturar muchos datos fácilmente que gracias a nuevos dispositivos de captura y más aún su conexión a internet, permite tenerlos actualizados casi inmediatamente y por ende entregar resultados pronto.

2. Si sólo se recopilase información de unos pocos usuarios, los resultados no serían efectivos. De hecho puede recopilarse aleatoriamente y como no, de forma anónima, todo lo que se desee. La segunda ventaja de BigData y Data Analysis es poder tratar con datos de muchas personas o fuentes, lo cual permite análisis cruzado de datos.
3. Muchos negocios pueden mejorar su servicio gracias al análisis de dichos datos, pues gracias al Big Data, pueden orientar de una forma mucho más precisa los productos y/o servicios al sector de la población que realmente les interesa e incrementar así sus beneficios. La tercera ventaja de BigData y Data Analysis es la precisión y oportunidad del análisis, la alta granularidad o detalle de los análisis, la especificad de proveer oportunidades a nivel de personas, de mercados, o sectores, por ejemplo.
4.- Aunque puede pensarse como un reto, la cuarta ventaja de BigData y Data Analysis es ofrecer oportunidades a inversionistas y clientes.
5. Finalmente, este método de estadística no supone un gran coste económico, por lo que muchas empresas se lo pueden permitir, además, en cuestión de tiempo comprobarían sus beneficios y solo obtendrían valores positivos en sus cuentas. La quinta ventaja de BigData y Data Analysis es que bien utilizada reporta utilidades mayores a su inversión.Finalmente.

Como se puede ver, BigData y Data Analysis plantean ciertos retos, pero también proporcionan una serie de ventajas que no se pueden dejar pasar. Tampoco hablamos de temas complejos, sino que cómo se podrá intuir del post, permiten abordar preocupaciones conocidas pero abordadas ahora con más potencia, y al mismo tiempo aportando nuevas oportunidades.Y así se comprende el decir que son más los beneficios de las ventajas a obtener que las complicaciones derivadas de los retos, inversiones y "dolores de cabeza" que suponen inicialmente y en el día-a-día.
Y lo anterior cobra fuerza al momento de reconocer que la tecnología del futuro se basa en este tipo de análisis, ya que es la única forma de conocer lo que la sociedad y personas realmente podrían necesitar o preferir.
Si soñamos, BigData y Data Analysis permitirían que a nosotros como ciudadanos o clientes, se nos den soluciones antes que surjan los problemas, se pronostiquen y anticipen necesidades, o pensemos en nuevas oportunidades.
BigData y Data Analysis:
Plantean un nuevo tipo de organización, y no plataformas o algoritmos informáticos.
Proveen importantes beneficios estratégicos por sobre -por ejemplo- accionarios.
Mejoran la cultura y las operaciones corporativas.
Permiten escuchar a clientes, ciudadanos, mercados, ciudades, como mínimo.
En su quid no son nuevas cuestiones, sino evoluciones técnicas y organizacionales.
Este post ha sido amplio y aún hay mucho que decir y esperar de BigData y Data Analysis ... y planteo preguntas ... ¿crees que lo dicho aquí es incompleto? ¿Qué crees que falta?

Fuente: este post proviene de Estrategias y proyectos de innovación, TIC y desarrollo, donde puedes consultar el contenido original.
¿Vulnera este post tus derechos? Pincha aquí.
¿Qué te ha parecido esta idea?

Esta idea proviene de:

Y estas son sus últimas ideas publicadas:

Recomendamos

Relacionado

BigData OpenGov Policy affairs ...

#BigData y #Transparencia: mejor democracia, mercados y proyectos sociales

Big Data y Data Analysis han permitido - o puede permitir- que la transparencia sea cotidiana para personas, proyectos y organizaciones. Esto ha permitido que pasemos de hablar de transparencia como un hecho políticamente correcto a un espacio más sólido de tecnopolítica. Ahora podríamos (pues aún hay mucho por hacer) acceder a "datos transparentes de forma transparente". De eso trata es ...

general desarrollo web programación ...

Big Data, qué es y para que sirve?

Big Data es uno de los conceptos de moda en el mundo informático. En la actualidad contamos con una gran cantidad de artículos, e información, y en todas las encuestas a los CIOS aparece entre los primeros lugares la necesidad de implantar un sistema de Big Data. Obs: La materia no es mia, el link al proprietário está al fin del post.Sin embargo, observamos una gran confusión sobre "en qué co ...

_Charlas _Services BigData ...

Internet en las Cosas, Big, Ubicuo y Open: Megatendencias de Gobierno Electrónico y Gobernanza Digital

Hace tiempo que escucho de muchas nuevas tecnologías que están delineando el futuro del gobierno electrónico. Hay mucha gente escribiendo, soñando y evangelizando. Así que no podía ser menor y planteo ahora cuatro (4) megatendencias y estoy seguro me salgo de lo tradicional. Propongo como megatendencias: La internet en las cosas y las personas: (Lo material) Internet of Things, wearables, exoesqu ...

Herramientas Comentarios emprendedor ...

Cómo controlar los comentarios en la red para mejorar la reputación on-line

El Social Big Data, o lo que es lo mismo, los datos que los consumidores generan en internet, tienen cada vez más protagonismo en el mundo empresarial. El motivo de su auge lo encontramos, principalmente, en las redes sociales, las cuales permiten que los usuarios puedan escribir comentarios sobre cualquier marca, entidad, asociación o producto siempre que lo deseen. Pero el incremento del uso de ...

Tutoriales Computación datos ...

Cómo hacer análisis de datos con Excel

El análisis de datos es un proceso que permite inspeccionar, limpiar y transformar toda clase de datos con el propósito de destacar cualquier tipo de información que pueda considerarse útil. Así mismo, ayuda en el proceso de la toma de decisiones. El análisis de datos es usado por toda clase de empresa y/o organizaciones y ocupa una gran variedad de técnicas que ayudan al manejo ordenado de enorme ...

ciencia y futuro informática internet

¿Que es el Big data?

¿Qué es el Big Data? Big Data se define como un conjunto de herramientas para manejar, gestionar y analizar grandes volúmenes de datos de cualquier tipo que no puede ser manejado por las herramientas tradicionales. Gran volumen de datos es un término inglés, la traducción es equivalente a los "datos a granel", datos de gran tecnología que tiene como objetivo analizar los datos e informac ...

alejandro betancourt big data conocimiento ...

Big Data como herramienta de apoyo a la innovación

Si hay algo que en verdad ha impactado sensiblemente en el mundo de los negocios en términos de innovación y rentabilidad ha sido la aplicación del Big Data para ser más asertivo en la toma de decisiones y conectar en forma más estrecha y expedita con nuestro público por Internet. El Big Datasurge a partir de la enorme cantidad y diversidad de datos digitales que se generan en tiempo real tras la ...

Actualidad y noticias #apple compras de Apple ...

Apple adquiere Mapsense, una empresa de análisis de ‘big data

Apple ha comprado Mapsense, una empresa de análisis de “big data” que le ayudará a asimilar el gran volumen de información de localizaciones y mapas generado por los smartphones, los coches conectados y otros dispositivos con acceso a la red de  Internet. Mapsense se fundó hace dos años en San Francisco (California, Estados Unidos)  por un ex ingeniero de Palantir. Se trata de la firm ...

Seguridad Windows

La Mejor Herramienta para Recuperar tus Datos Borrados

¿Se han borrado todos tus archivos? ¿Estabas trabajando, se fue la luz y perdiste todo el avance de tu proyecto? ¿Quieres recuperar las fotos y los vídeos que tenías guardados en un dispositivo USB? ¡No busques más! ¡Aquí tienes la solución! Con las herramientas de EaseUS Data Recovery Wizard Free en su versión 12.0 podrás acceder a todos tus datos de nuevo. Es sin duda la mejor herramienta para r ...

Curiosidades Musica Noticias ...

¿Por qué te gustan las mismas canciones que amaste en tu adolescencia?

A pesar de lo que pueda opinar una persona de muchísima trascendencia en la música, como Quincy Jones con respecto a la música de antaño, más específicamente de los maravillosos Beatles. Ya existen evidencias más sólidas, que confirman que la música que escuchaste en la adolescencia te va a seguir gustando por mucho tiempo, a pesar de que quieras negarlo. Lo anterior fue descubierto después de qu ...