[[bigdata]]

0-Esquema-Infraestructura-Especializacion-BigData

Original file

Propuesta– Esquema & Infraestructura

Desarrollo Curricular

Presentación del programa

Big Data o Datos Masivos como se conoce en español hace referencia a una idea a un conjunto enorme de información que gracias a los sistemas de información empresariales, los buscadores, los indexadores de contenido, las redes sociales entre muchos otros que se encuentra disponible en la red y con el cual apenas empezamos a relacionarnos.

En la actualidad escuchamos temas como “Panama Papers” o “Cable Gate” de WikiLeaks que han sido unas de las mas grandes filtraciones de datos que han revelado problemas políticos u económicos entre los países, el análisis y visualización de esta información ha tomado años y mucho esfuerzo de las personas y de las maquinas para entender lo que allí se estaba presentando, pero eso solo es un ejemplo. Imaginemos el historial de transacciones de un banco fundado hace 100 años, los millones de tweets que se escriben en twitter en una hora, o los millones de videos en youtube. ¿Podemos hacer algo con esa información?

La pregunta anterior es el objetivo principal de esta especialización, entender el mundo de los datos desde su generación o captura, su transformación o procesamiento, el almacenamiento, el análisis y la visualización.

Este programa esta diseñados en dos temas principales: “Big Data” y Visualización, a su vez estos temas se dividen en cuatro cursos, el primero es una introducción general a los diferentes conceptos, en el segundo trataremos todo lo relacionado como los diferentes aspectos técnicos relacionados con el diseño de fuentes de datos, estándares actuales, entender la diferencia entre los diferentes modelos de datos (estructurados, no estructurados, semiestructurados) y el acceso a diferentes tipos de datos, el tercer curso tiene como objeto hacer una introducción especializada al tema de la visualización de datos enfocándonos en el análisis de los mismos y el cuarto curso tiene como objetivo principal conocer la librería para visualización D3js aplicando los conocimientos adquiridos.

Estándares de la industria

Standards
Fuente de Estándares
https://es.wikipedia.org/wiki/Big_data
Lista de Estándares
- Big Data: A Revolution That Will Transform How We Live, Work, and Think (Viktor Mayer-Schönberger, Kenneth Cukier 2013) - Big Data Glossary. Pete Warden (O’Relly) - Learning to Love Data Science. Mike Barlow (O’Relly 2015) - Next Generation Databases. Guy Harrison. 2015 - Agile Data Science. Russell Jurney (O’Relly 2015) - Creating a Data-Driven Organization. Carl Anderson (O’Relly 2015) - Hadoop:The DefinitiveGuide. Tom White (O’Relly 2015) - Scalable Big Data Architecture. Bahaaldine Azarmi (2016) - Data Analysis with R. Packt Publishing (2015) - Graphing Data with R. John Jay Hilfiger. (2016) - Learning ELK Stack. Packt Publishing. (2015) - Elasticsearch in Action. RADU GHEORGHE, MATTHEW LEE HINMAN,ROY RUSSO. (2016) - The Visual Organization. Phil Simon. (2014) - DATA VISUALIZATION WITH JAVASCRIPT. Stephen A. Thomas. (2015) - D3.js By Example. Michael Heydt. (2015) - Learning D3.js Mapping. Thomas Newton, Oscar Villarreal. (2014) - Open Knowledge. https://okfn.org/ - https://d3js.org/ - Tutorial de D3 en Español. http://gcoch.github.io/D3-tutorial/index.html

Objetivos del Programa

Objetivo general del programa:

Al finalizar la especialización, el estudiante estará en capacidad de diferenciar entre los diferentes modelos y estándares para Big Data, podrá diferenciar entre diferentes fuentes de datos, elegir un modelo de análisis y diseñar la visualización mas acertada para los datos que se estén utilizando.

Si el estudiante decide solamente tomar el primer curso de la especialización, estará en la capacidad de entender de una manera general la importancia de los datos en el entorno actual.

Objetivos del programa
Los objetivos específicos del programa son:
- Entender los conceptos la rededor de la idea “Big Data” - Aprender de manera sencilla a diseñar modelos de bases de datos con un enfoque en el almacenamiento masivo de datos. - Aprender a diferenciar entre datos estructurados, no estructurados y semiestructurados - Entender los diferentes tipos de API enfocados a modelos Big Data, Datos Abiertos, Gobierno Abierto. - Conocer sobre diferentes técnicas de captura de datos y sus diferentes aplicaciones. - Adquirir los conocimientos necesarios para realizar análisis de datos en un nivel básico. - Adquirir habilidades para utilizar algunos frameworks para la captura y visualización de datos como ELK. - Adquirir las habilidades para elegir la visualización de datos según el tipo de datos con el que se trabaja. - Adquirir las habilidades necesarias para utilizar la librería de visualización D3js.

Objetivos de Aprendizaje del Programa

Resultados de aprendizaje del Programa
Al completar la especialización de Big Data, los estudiantes estarán en capacidad de:

- Diseñar modelos de bases de datos orientados a almacenar gran cantidad de datos. - Conectarse con diferentes fuentes de datos con el propósito de realizar análisis y realizar visualizaciones utilizando Javascript y en especial D3js - Instalar y configurar ELK + Kibana para conectarlo a diferentes fuentes de datos. - Tener conocimientos básicos sobre Hadoop y Mapreduce que le permitirán luego especializarse en el tema. - Podrá utilizar de R en el análisis y visualización de datos. - Estará en la capacidad de entender los flujos de datos de diferentes redes sociales con el propósito de usarlos como fuentes de datos. - Podrá utilizar el conocimiento general adquirido sobre Big Data para aplicarlo en el desarrollo de aplicaciones en sectores como industria, gobierno y sociedad.

Títulos de los Cursos y Resultados de Aprendizaje

Para este entregable habrá 3 (tres) lecciones, cada una de los siguientes componentes:

  1. título del Curso,
  2. Resultados de Aprendizaje del Curso.

|Cursos 1-4|||


Curso 1:
Introducción al concepto Big Data
Pre-requisito(s):Manejo básico de un computador
Resultados de Aprendizaje:
(
Al completar este Curso, los estudiantes estarán en capacidad de:
- Comprender el concepto de “Big Data” - Diferenciar las diferencias entre los diferentes modelos de datos. - Diferenciar las diferentes aplicaciones de las fuentes de datos.

Curso 2:Frameworks para Big Data
Pre-requisito(s):Curso 1 o Introducción al concepto Big Data.
(Manejo básico de sistemas operativos.)
Resultados de Aprendizaje:Al completar este Curso, los estudiantes estarán en capacidad de: - Entender el concepto de MapReduce - Aplicar técnicas de captura de datos y análisis. - Instalar Hadoop y crear un modelo de base datos basico. - Instalar la herramienta ELK y conectar a esta diferentes fuentes de datos.

Curso 3:
Visualización de Datos
Pre-requisito(s):Curso 2 o Frameworks para Big Data.
Manejo básico de Sistemas Operativos.
Principios de programación.
Resultados de Aprendizaje: Al completar este Curso, los estudiantes estarán en capacidad de: - Podrá elegir el tipo de visualización a desarrollar según el tipo de datos. - Podrá utilizar R para realizar un análisis básico de diferentes fuentes de datos y realizar visualizaciones que puedas exportarse a un sitio web. - Podrá realizar visualizaciones de datos utilizando ELK + Kibana.

Curso 4:
Librería de visualización D3.js
Pre-requisito(s):Curso 3 o Visualización de Datos
Manejo básico de Sistemas Operativos.
Principios de programación.
HTML 5 / CSS3 / Javascript
Resultados de Aprendizaje: Al completar este Curso, los estudiantes estarán en capacidad de:
- Podrá implementar la librería d3js en un sitio web para realizar visualizaciones de datos. - Desarrollar visualizaciones dinámicas de flujos de datos. - Utilizar los diferentes tipos de visualizaciones de la librería d3js.

Componentes del programa

Curso 1 – Introducción al concepto Big Data

Nombre de UnidadNombre de LecciónLista de Actividades de Aprendizaje
CLO #
Unidad 1: ¿Qué es Big Data?Lección1 ConceptosVideo: Introducción al mundo de los datos. “Big Data, un concepto que está transformando el mundo.”
Lectura “Conceptos de Big Data”
Ejercicio: Leyendo el mundo en forma de datos.
1
Lección 2
Línea de tiempo del Big Data
Video: Una historia del “Internet de los datos” .
Lectura: Historia del concepto Big Data.
1
2
Lección 3 El problema de los datosVideo “Diferentes problemas de los datos, privacidad, seguridad”.
Lectura: Los datos como una oportunidad y una amenaza.
2
Lección 4 Ecosistema Big DataVideo “Ecosistema Big Data. Desde las redes sociales a los grandes sistemas de datos empresariales y de gobierno”.
Lectura: La gobernanza de los datos.
2
Unidad 2: Herramientas tecnológicasLección 1
Hardware
Video “¿En donde se almacenan los datos? Recorrido por diferentes tipos de infraestructura, servidores.
Lectura: Donde se guardan los datos.
2
Lección 2: Sistemas distribuidos Video Recorrido sobre los diferentes sistemas distribuidos, sistemas de alta disponibilidad.

Video Los sistemas de información de los sistemas financieros, desde Mastercard hasta las criptomonedas.

Una animación con un recorrido por los servicios de Amazon AWS
2
Lección 3: Herramientas analíticasVideo. Un recorrido por herramientas, desde las hojas de Calculo hasta Tableau
Infografía: Herramientas para análisis estadístico con énfasis en R
2
3
Unidad 3:
Arquitectura
Lección 1:
Almacenamiento de datos.
Video: Recorrido histórico por los diferentes sistemas de almacenamiento de datos. Desde el sistema de archivo y tablas desordenadas, SQL, NoSQL y el futuro.
Ejercicio: Diseño conceptual de un sistema de almacenamiento de datos para crear una biblioteca de activos de una empresa.
Lección 2:
Recolección de Datos.
Video. Recorrido por diferentes fuentes de datos abiertos y el modelo de los buscadores.
Lectura: Como guarda y recoge los datos google.
Lección 3:
Procesamiento de datos.
Video. El procesamiento de datos, enfocado hacia redes sociales.
Lectura: ¿Para que quiere Facebook e instagram todas nuestras fotos?
Lección 4:
Análisis de datos.
Video. Análisis de datos y el periodismo actual. Casos de influencia política logrado haciendo análisis de datos.
Video. Acerca de google y la analítica de datos (Google analyticis, Adsense, Adwords)
Lectura: La analítica de datos no tiene que ver con la causalidad.
Lección 5:
Reportes
Video. El mundo de los reportes. Enfoque en el mundo financiero.
Infografía. Diferencias entre reportes basado en datos.
Unidad 4:
Datos como modelo de negocio
Lección 1:
Modelos Predictivos.
Video. El negocio de los datos. Marketing
Lección 2:
Segmentación
Video. La segmentación de los datos pare mejorar la eficiencia del negocio de los datos.
Lección 3:
Modelo de respuesta incremental
Lección 4:
Minería de datos
Video. Minería sin ensuciarse las manos, los datos son el nuevo oro.
Lección 5:
Sistemas de recomendaciones

Curso 2 – Frameworks para Big Data

Nombre de UnidadNombre de LecciónLista de Actividades de Aprendizaje
CLO #
Unidad 1:
Modelos y Fuentes de Big Data
Lección 1:
Bases de datos tradicionales.
1
2
Lección 2:
Social Data Minning
1
2
Lección 3:
Inteligencia de Negociones (Business Ingelligence)
1
2
3
Lección 4:
Open Data / Open Gov (Datos abiertos y Gobierno Abierto)
2
3
Lección 5:
Introducción MapReduce
Unidad 2:
Técnicas de Análisis de datos
Lección 1:
Asociación
2
3
Lección 2:
Minería de Datos
2
3
Lección 3:
Agrupación (Clustering)
4
Lección 4:
Análisis de texto (Text analitics)
Lección 5:
Técnicas de Scraping de datos
Unidad 3:
Hadoop
Lección 1:
Descarga, instalación y puesta en marcha
Lección 2:
Introducción al Sistema de Archivos distribuidos (HDFS)
Lección 3:
MapReduce
Lección 4:
Gestión de fuentes de datos
Unidad 4:
Elastic Search
Lección 1:
Instalar y configurar ELK
Lección 2:
Manipular datos con la REST API de ELK
Lección 3:
Organizar los datos
Lección 4:
Hacer búsquedas

Curso 3 – Visualización de Datos

Nombre de UnidadNombre de LecciónLista de Actividades de Aprendizaje
CLO #
Unidad 1:
Principios de visualización
Lección 1:
Entendiendo los datos
1
Lección 2:
Representación de los datos
1
2
Lección 3:
Como elegir la visualización apropiada.
1
2
3
Lección 4:
Herramientas de visualización
4
Unidad 2:
R
Lección 1:
R + Visualización de Datos
4
Lección 2:
Visualización básica
Lección 3:
Visualización avanzada
Lección 4:
Conexión con fuentes de datos externas
Lección 5:
Exportar visualizaciones
Unidad 3:
ELK + Kibana
Lección 1:
¿Qué es Kibana y cómo funciona?
Lección 2:
Instalaciones previas
Lección 3:
Visualizar datos con Kibana
Lección 4:
Visualizaciones en tiempo real
Lección 5:
Cartografía

Curso 4. Librería de visualización D3.js

Nombre de UnidadNombre de LecciónLista de Actividades de Aprendizaje
CLO #
Unidad 1:
Introducción a D3.js
Lección 1:
¿Qué es D3.js y cómo funciona?
Lección 2:
Descarga y configuración
Lección 3:
Añadir elementos
Lección 4:
Encadenar métodos
Lección 5:
Asociar datos
Unidad 2:
Procesos de visualización de datos
Lección 1:
Proceso de carga y refinamiento de datos
Lección 2:
Desplegar Bloques básicos
Lección 3:
Usar la Funcion data()
Unidad 3:
D3.js y SVG
Lección 1:
Integración con el formato SVG
Lección 2:
Desplegar SVG
Lección 3:
Tipos de datos
Lección 4:
Diagramas de barras y de dispersión
Lección 5:
Escalas y Ejes
Unidad 4:
Complementos D3plus
Lección 1:
Visualizaciones
Lección 2:
Texto SVG
Lección 3:
Formularios
Lección 4:
Utilidades

Descripción del programa

El programa proporcionará el conocimiento necesario para que los estudiantes al terminar, incluyan diferentes herramientas de análisis y visualización de datosen parte fundamental de su trabajo y puedan desarrollar su perfil profesional basándose en uno de los temas mas interesantes de la actualidad.

La metodología utilizada, garantiza la adquisición de nuevos conocimientos basados en la práctica, mediante el desarrollo de actividades que lo llevaran a entender de una manera practica y entretenida todo lo relacionado con Big Data.

Mapa del Programa

Curso 1: Introducción al concepto Big Data

  1. ¿Qué es Big Data?
    1. Conceptos
    2. Línea de tiempo del Big Data
    3. El problema de los datos
    4. Ecosistema Big Data
  2. Herramientas tecnológicas
    1. Hardware
    2. Sistemas distribuidos
    3. Herramientas analíticas
  3. Arquitectura
    1. Almacenamiento de datos
    2. Recolección de datos
    3. Procesamiento de datos
    4. Análisis de datos
  4. Reportes
    1. Datos como modelo de negocio
    2. Modelos predictivos
    3. Segmentación
    4. Modelo de respuesta incremental
    5. Minería de datos
    6. Sistemas de recomendaciones

Curso 2: Frameworks para Big Data

  1. Modelos y fuentes Big Data
    1. Bases de datos tradicionales
    2. Social Data Mining
    3. Business Intelligence
    4. Open Data / Open Gov
    5. Introducción MapReduce
  2. Técnicas de Análisis de datos
    1. Asociación
    2. Minería de datos (Data Mining)
    3. Agrupación (Clustering)
    4. Análisis de texto (Text analitics)
    5. Técnicas de Scraping de datos
  3. Hadoop
    1. Descarga, instalación y puesta en marcha
    2. Introducción al Sistema de Archivos distribuidos (HDFS)
    3. MapReduce
    4. Gestión de fuentes de datos
  4. Elastic Search
    1. Instalar y configurar ELK
    2. Manipular datos con la REST API de ELK
    3. Organizar los datos
    4. Hacer búsquedas

Curso 3: Visualización de Datos

  1. Principios de visualización
    1. Entendiendo los datos
    2. Representación de los datos
    3. Como elegir la visualización apropiada.
    4. Herramientas de visualización
  2. R
    1. R + Visualización de Datos
    2. Visualización básica
    3. Visualización avanzada
    4. Conexión con fuentes de datos externas
    5. Exportar visualizaciónes
  3. ELK + Kibana
    1. ¿Qué es Kibana y cómo funciona?
    2. Instalaciones previas
    3. Visualizar datos con Kibana
    4. Visualizaciones en tiempo real
    5. Cartografía

Curso 4: Librería de visualización D3.js

  1. Introducción a D3.js
    1. ¿Qué es D3.js y cómo funciona?
    2. Descarga y configuración
    3. Añadir elementos
    4. Encadenar métodos
    5. Asociar datos
  2. Procesos de visualización de datos
    1. Proceso de carga y refinamiento de datos
    2. Desplegar Bloques básicos
    3. Usar la Funcion data()
  3. D3.js y SVG
    1. Integración con el formato SVG
    2. Desplegar SVG
    3. Tipos de datos
    4. Diagramas de barras y de dispersión
    5. Escalas y Ejes
  4. Complementos D3plus
    1. Visualizaciones
    2. Texto SVG
    3. Formularios
    4. Utilidades

Equipo

Miembros del Equipo
Nombre del Miembro del Equipo: Fernando Castro T.
Calificaciones:
Cursos asignados: 1, 2, 3 y 4
  • bigdata.txt
  • Última modificación: 2016/04/11 15:47
  • por kleper