[[bigdata]]

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

bigdata [2016/04/11 15:47] (actual)
kleper File build by odt2dw plugin from file0-Esquema-Infraestructura-Especializacion-BigData.odt
Línea 1: Línea 1:
 +====== 0-Esquema-Infraestructura-Especializacion-BigData ======
 +<​sub>​{{0-Esquema-Infraestructura-Especializacion-BigData.odt|Original file}}</​sub>​
 +
 +**Propuesta– Esquema & Infraestructura**
 +
 +**Desarrollo Curricular**
 +
 +
 +
 +Presentación del programa
 +
 +Big Data o Datos Masivos como se conoce en español hace referencia a una idea a un conjunto enorme de información que gracias a los sistemas de información empresariales,​ los buscadores, los indexadores de contenido, las redes sociales entre muchos otros que se encuentra disponible en la red y con el cual apenas empezamos a relacionarnos.
 +
 +En la actualidad escuchamos temas como “Panama Papers” o “Cable Gate” de WikiLeaks que han sido unas de las mas grandes filtraciones de datos que han revelado problemas políticos u económicos entre los países, el análisis y visualización de esta información ha tomado años y mucho esfuerzo de las personas y de las maquinas para entender lo que allí se estaba presentando,​ pero eso solo es un ejemplo. Imaginemos el historial de transacciones de un banco fundado hace 100 años, los millones de tweets que se escriben en twitter en una hora, o los millones de videos en youtube. ¿Podemos hacer algo con esa información? ​
 +
 +La pregunta anterior es el objetivo principal de esta especialización,​ entender el mundo de los datos desde su generación o captura, su transformación o procesamiento,​ el almacenamiento,​ el análisis y la visualización.
 +
 +Este programa esta diseñados en dos temas principales:​ “Big Data” y Visualización,​ a su vez estos temas se dividen en cuatro cursos, el primero es una introducción general a los diferentes conceptos, en el segundo trataremos todo lo relacionado como los diferentes aspectos técnicos relacionados con el diseño de fuentes de datos, estándares actuales, entender la diferencia entre los diferentes modelos de datos (estructurados,​ no estructurados,​ semiestructurados) y el acceso a diferentes tipos de datos, el tercer curso tiene como objeto hacer una introducción especializada al tema de la visualización de datos enfocándonos en el análisis de los mismos y el cuarto curso tiene como objetivo principal conocer la librería para visualización D3js aplicando los conocimientos adquiridos.
 +
 +Estándares de la industria
 +
 +|Standards\\ |
 +|**Fuente de Estándares**\\ https://​es.wikipedia.org/​wiki/​Big_data\\ **Lista de Estándares**\\ ​  - Big Data: A Revolution That Will Transform How We Live, Work, and Think (Viktor Mayer-Schönberger,​ Kenneth Cukier 2013)  - Big Data Glossary. Pete Warden (O’Relly) ​  - Learning to Love Data Science. Mike Barlow (O’Relly 2015)   - Next Generation Databases. Guy Harrison. 2015  - Agile Data Science. Russell Jurney (O’Relly 2015)  - Creating a Data-Driven Organization. Carl Anderson (O’Relly 2015)  - Hadoop:The DefinitiveGuide. Tom White (O’Relly 2015)  - Scalable Big Data Architecture. Bahaaldine Azarmi (2016) ​ - Data Analysis with R. Packt Publishing (2015) ​ - Graphing Data with R. John Jay Hilfiger. (2016) ​ - Learning ELK Stack. Packt Publishing. (2015) ​ - Elasticsearch in Action. RADU GHEORGHE, MATTHEW LEE HINMAN,ROY RUSSO. (2016) ​ - The Visual Organization. Phil Simon. (2014) ​ - DATA VISUALIZATION WITH JAVASCRIPT. Stephen A. Thomas. (2015) ​ - D3.js By Example. Michael Heydt. (2015) ​ - Learning D3.js Mapping. Thomas Newton, Oscar Villarreal. (2014) ​ - Open Knowledge. [[https://​okfn.org/​|https://​okfn.org/​]] ​ - [[https://​d3js.org/​|https://​d3js.org/​]] ​ - Tutorial de D3 en Español. http://​gcoch.github.io/​D3-tutorial/​index.html|
 +
 +
 +
 +
 +
 +Objetivos del Programa
 +
 +**Objetivo general del programa**:
 +
 +Al finalizar la especialización,​ el estudiante estará en capacidad de diferenciar entre los diferentes modelos y estándares para Big Data, podrá diferenciar entre diferentes fuentes de datos, elegir un modelo de análisis y diseñar la visualización mas acertada para los datos que se estén utilizando.
 +
 +Si el estudiante decide solamente tomar el primer curso de la especialización,​ estará en la capacidad de entender de una manera general la importancia de los datos en el entorno actual.
 +
 +
 +
 +|Objetivos del programa\\ |
 +|Los objetivos específicos del programa son:​\\ ​  - Entender los conceptos la rededor de la idea “Big Data” ​ - Aprender de manera sencilla a diseñar modelos de bases de datos con un enfoque en el almacenamiento masivo de datos. ​ - Aprender a diferenciar entre datos estructurados,​ no estructurados y semiestructurados ​ - Entender los diferentes tipos de API enfocados a modelos Big Data, Datos Abiertos, Gobierno Abierto. ​ - Conocer sobre diferentes técnicas de captura de datos y sus diferentes aplicaciones. ​ - Adquirir los conocimientos necesarios para realizar análisis de datos en un nivel básico. ​ - Adquirir habilidades para utilizar algunos frameworks para la captura y visualización de datos como ELK.  - Adquirir las habilidades para elegir la visualización de datos según el tipo de datos con el que se trabaja. ​ - Adquirir las habilidades necesarias para utilizar la librería de visualización D3js.|
 +
 +
 +
 +Objetivos de Aprendizaje del Programa
 +
 +|Resultados de aprendizaje del Programa\\ |
 +| Al completar la especialización de Big Data, los estudiantes estarán en capacidad de:\\ \\   - Diseñar modelos de bases de datos orientados a almacenar gran cantidad de datos. ​ - Conectarse con diferentes fuentes de datos con el propósito de realizar análisis y realizar visualizaciones utilizando Javascript y en especial D3js  - Instalar y configurar ELK + Kibana para conectarlo a diferentes fuentes de datos. ​ - Tener conocimientos básicos sobre Hadoop y Mapreduce que le permitirán luego especializarse en el tema.  - Podrá utilizar de R en el análisis y visualización de datos. ​ - Estará en la capacidad de entender los flujos de datos de diferentes redes sociales con el propósito de usarlos como fuentes de datos. ​ - Podrá utilizar el conocimiento general adquirido sobre Big Data para aplicarlo en el desarrollo de aplicaciones en sectores como industria, gobierno y sociedad.|
 +
 +Títulos de los Cursos y Resultados de Aprendizaje
 +
 +Para este entregable habrá 3 (tres) lecciones, cada una de los siguientes componentes:​
 +
 +  - título del Curso,
 +  - Resultados de Aprendizaje del Curso.
 +|**Cursos 1-4**|||
 +|\\ Curso 1:\\ Introducción al concepto Big Data\\ |**Pre-requisito(s):​**|Manejo básico de un computador|
 +| |**Resultados de Aprendizaje:​**\\ (| Al completar este Curso, los estudiantes estarán en capacidad de:\\   - Comprender el concepto de “Big Data” ​  - Diferenciar las diferencias entre los diferentes modelos de datos. ​ - Diferenciar las diferentes aplicaciones de las fuentes de datos.|
 +|\\ Curso 2:​Frameworks para Big Data|**Pre-requisito(s):​**|Curso 1 o Introducción al concepto Big Data.\\ (Manejo básico de sistemas operativos.)|
 +| |**Resultados de Aprendizaje:​**|Al completar este Curso, los estudiantes estarán en capacidad de:  - Entender el concepto de MapReduce ​ - Aplicar técnicas de captura de datos y análisis. ​ - Instalar Hadoop y crear un modelo de base datos basico. ​ - Instalar la herramienta ELK y conectar a esta diferentes fuentes de datos.|
 +|\\ Curso 3:\\ Visualización de Datos|**Pre-requisito(s):​**|Curso 2 o Frameworks para Big Data.\\ Manejo básico de Sistemas Operativos.\\ Principios de programación.|
 +| |**Resultados de Aprendizaje:​**| Al completar este Curso, los estudiantes estarán en capacidad de:  - Podrá elegir el tipo de visualización a desarrollar según el tipo de datos. ​ - Podrá utilizar R para realizar un análisis básico de diferentes fuentes de datos y realizar visualizaciones que puedas exportarse a un sitio web.  - Podrá realizar visualizaciones de datos utilizando ELK + Kibana.|
 +|\\ Curso 4:\\ Librería de visualización D3.js|**Pre-requisito(s):​**|Curso 3 o Visualización de Datos\\ Manejo básico de Sistemas Operativos.\\ Principios de programación.\\ HTML 5 / CSS3 / Javascript|
 +| |**Resultados de Aprendizaje:​**| Al completar este Curso, los estudiantes estarán en capacidad de:\\   - Podrá implementar la librería d3js en un sitio web para realizar visualizaciones de datos. ​ - Desarrollar visualizaciones dinámicas de flujos de datos. ​ - Utilizar los diferentes tipos de visualizaciones de la librería d3js.|
 +
 +
 +
 +Componentes del programa
 +
 +**Curso 1 – ****Introducción al concepto Big Data**
 +
 +|**Nombre de Unidad**|**Nombre de Lección**|**Lista de Actividades de Aprendizaje**\\ |**CLO #**|
 +|Unidad 1: ¿Qué es Big Data?​|Lección1 Conceptos|Video:​ Introducción al mundo de los datos. “Big Data, un concepto que está transformando el mundo.” \\ Lectura “Conceptos de Big Data”\\ Ejercicio: Leyendo el mundo en forma de datos.\\ |**1**|
 +| |Lección 2\\ Línea de tiempo del Big Data|Video: Una historia del “Internet de los datos” .\\ Lectura: Historia del concepto Big Data.|**1**\\ **2**|
 +| |Lección 3 El problema de los datos|Video “Diferentes problemas de los datos, privacidad, seguridad”.\\ Lectura: Los datos como una oportunidad y una amenaza.|**2**|
 +| |Lección 4 Ecosistema Big Data|Video “Ecosistema Big Data. Desde las redes sociales a los grandes sistemas de datos empresariales y de gobierno”.\\ Lectura: La gobernanza de los datos.|**2**|
 +|Unidad 2: Herramientas tecnológicas|Lección 1\\ Hardware|Video “¿En donde se almacenan los datos? Recorrido por diferentes tipos de infraestructura,​ servidores.\\ Lectura: Donde se guardan los datos.|**2**|
 +| | Lección 2: Sistemas distribuidos| Video Recorrido sobre los diferentes sistemas distribuidos,​ sistemas de alta disponibilidad.\\ \\ Video Los sistemas de información de los sistemas financieros,​ desde Mastercard hasta las criptomonedas.\\ \\ Una animación con un recorrido por los servicios de Amazon AWS\\ |2|
 +| |Lección 3: Herramientas analíticas|Video. Un recorrido por herramientas,​ desde las hojas de Calculo hasta Tableau\\ Infografía:​ Herramientas para análisis estadístico con énfasis en R|2\\ 3|
 +|Unidad 3:\\ Arquitectura|Lección 1:\\ Almacenamiento de datos.|Video:​ Recorrido histórico por los diferentes sistemas de almacenamiento de datos. Desde el sistema de archivo y tablas desordenadas,​ SQL, NoSQL y el futuro.\\ Ejercicio: Diseño conceptual de un sistema de almacenamiento de datos para crear una biblioteca de activos de una empresa. | |
 +| |Lección 2:\\ Recolección de Datos.|Video. Recorrido por diferentes fuentes de datos abiertos y el modelo de los buscadores.\\ Lectura: Como guarda y recoge los datos google.| |
 +| |Lección 3:\\ Procesamiento de datos.|Video. El procesamiento de datos, enfocado hacia redes sociales.\\ Lectura: ¿Para que quiere Facebook e instagram todas nuestras fotos?| |
 +| |Lección 4:\\ Análisis de datos.|Video. Análisis de datos y el periodismo actual. Casos de influencia política logrado haciendo análisis de datos.\\ Video. Acerca de google y la analítica de datos (Google analyticis, Adsense, Adwords)\\ Lectura: La analítica de datos no tiene que ver con la causalidad.| |
 +| |Lección 5:\\ Reportes|Video. El mundo de los reportes. Enfoque en el mundo financiero.\\ Infografía. Diferencias entre reportes basado en datos.| |
 +|Unidad 4:\\ Datos como modelo de negocio|Lección 1:\\ Modelos Predictivos.|Video. El negocio de los datos. Marketing| |
 +| |Lección 2:\\ Segmentación|Video. La segmentación de los datos pare mejorar la eficiencia del negocio de los datos.| |
 +| |Lección 3:\\ Modelo de respuesta incremental| | |
 +| |Lección 4:\\ Minería de datos|Video. Minería sin ensuciarse las manos, los datos son el nuevo oro.| |
 +| |Lección 5:\\ Sistemas de recomendaciones| | |
 +
 +Curso 2 – Frameworks para Big Data
 +
 +|**Nombre de Unidad**|**Nombre de Lección**|**Lista de Actividades de Aprendizaje**\\ |**CLO #**|
 +|Unidad 1:\\ Modelos y Fuentes de Big Data|Lección 1:\\ Bases de datos tradicionales.| |**1**\\ **2**|
 +| |Lección 2:\\ Social Data Minning| |**1**\\ **2**|
 +| | Lección 3:\\ Inteligencia de Negociones (Business Ingelligence)| |**1**\\ **2**\\ **3**|
 +| |Lección 4:\\ Open Data / Open Gov (Datos abiertos y Gobierno Abierto)| |**2**\\ **3**|
 +| |Lección 5:\\ Introducción MapReduce| | |
 +|Unidad 2:\\ Técnicas de Análisis de datos|Lección 1:\\ Asociación| |**2**\\ **3**|
 +| |Lección 2:\\ Minería de Datos| |**2**\\ **3**|
 +| |Lección 3:\\ Agrupación (Clustering)| |**4**|
 +| |Lección 4:\\ Análisis de texto (Text analitics)| | |
 +| |Lección 5:\\ Técnicas de Scraping de datos| | |
 +|Unidad 3:\\ Hadoop|Lección 1:\\ Descarga, instalación y puesta en marcha| | |
 +| |Lección 2:\\ Introducción al Sistema de Archivos distribuidos (HDFS)| | |
 +| |Lección 3:\\ MapReduce| | |
 +| |Lección 4:\\ Gestión de fuentes de datos\\ | | |
 +|Unidad 4:\\ Elastic Search|Lección 1:\\ Instalar y configurar ELK| | |
 +| |Lección 2:\\ Manipular datos con la REST API de ELK| | |
 +| |Lección 3:\\ Organizar los datos| | |
 +| |Lección 4:\\ Hacer búsquedas| | |
 +
 +Curso 3 – Visualización de Datos
 +
 +|**Nombre de Unidad**|**Nombre de Lección**|**Lista de Actividades de Aprendizaje**\\ |**CLO #**|
 +|Unidad 1:\\ Principios de visualización|Lección 1:\\ Entendiendo los datos| |**1**|
 +| |Lección 2:\\ Representación de los datos| |**1**\\ **2**|
 +| |Lección 3:\\ Como elegir la visualización apropiada.| |**1**\\ **2**\\ **3**|
 +| |Lección 4:\\ Herramientas de visualización| |**4**|
 +|Unidad 2:\\ R|Lección 1:\\ R + Visualización de Datos| |**4**|
 +| |Lección 2:\\ Visualización básica| | |
 +| |Lección 3:\\ Visualización avanzada| | |
 +| |Lección 4:\\ Conexión con fuentes de datos externas| | |
 +| |Lección 5:\\ Exportar visualizaciones| | |
 +|Unidad 3:\\ ELK + Kibana|Lección 1:\\ ¿Qué es Kibana y cómo funciona?| | |
 +| |Lección 2:\\ Instalaciones previas| | |
 +| |Lección 3:\\ Visualizar datos con Kibana| | |
 +| |Lección 4:\\ Visualizaciones en tiempo real| | |
 +| |Lección 5:\\ Cartografía| | |
 +
 +****
 +
 +Curso 4. Librería de visualización D3.js
 +
 +|**Nombre de Unidad**|**Nombre de Lección**|**Lista de Actividades de Aprendizaje**\\ |**CLO #**|
 +|Unidad 1:\\ Introducción a D3.js|Lección 1:\\ ¿Qué es D3.js y cómo funciona?| | |
 +| |Lección 2:\\ Descarga y configuración| | |
 +| |Lección 3:\\ Añadir elementos| | |
 +| |Lección 4:\\ Encadenar métodos| | |
 +| |Lección 5:\\ Asociar datos| | |
 +|Unidad 2:\\ Procesos de visualización de datos|Lección 1:\\ Proceso de carga y refinamiento de datos| | |
 +| |Lección 2:\\ Desplegar Bloques básicos| | |
 +| |Lección 3:\\ Usar la Funcion data()| | |
 +|Unidad 3:\\ D3.js y SVG|Lección 1:\\ Integración con el formato SVG| | |
 +| |Lección 2:\\ Desplegar SVG| | |
 +| |Lección 3:\\ Tipos de datos| | |
 +| |Lección 4:\\ Diagramas de barras y de dispersión| | |
 +| |Lección 5:\\ Escalas y Ejes| | |
 +|Unidad 4:\\ Complementos D3plus|Lección 1:\\ Visualizaciones| | |
 +| |Lección 2:\\ Texto SVG| | |
 +| |Lección 3:\\ Formularios| | |
 +| |Lección 4:\\ Utilidades| | |
 +
 +Descripción del programa
 +
 +El programa proporcionará el conocimiento necesario para que los estudiantes al terminar, incluyan diferentes herramientas de análisis y visualización de datosen parte fundamental de su trabajo y puedan desarrollar su perfil profesional basándose en uno de los temas mas interesantes de la actualidad.
 +
 +La metodología utilizada, garantiza la adquisición de nuevos conocimientos basados en la práctica, mediante el desarrollo de actividades que lo llevaran a entender de una manera practica y entretenida todo lo relacionado con Big Data.
 +
 +****
 +
 +Mapa del Programa
 +
 +
 +
 +**Curso 1: ****Introducción al concepto Big Data**
 +
 +    - ¿Qué es Big Data?
 +      - Conceptos
 +      - Línea de tiempo del Big Data
 +      - El problema de los datos
 +      - Ecosistema Big Data
 +    - Herramientas tecnológicas
 +      - Hardware
 +      - Sistemas distribuidos
 +      - Herramientas analíticas
 +    - Arquitectura
 +      - Almacenamiento de datos
 +      - Recolección de datos
 +      - Procesamiento de datos
 +      - Análisis de datos
 +    - Reportes\\ ​
 +      - Datos como modelo de negocio
 +      - Modelos predictivos
 +      - Segmentación
 +      - Modelo de respuesta incremental
 +      - Minería de datos
 +      - Sistemas de recomendaciones
 +**Curso 2: Frameworks para Big Data**
 +
 +  - Modelos y fuentes Big Data
 +    - Bases de datos tradicionales
 +    - Social Data Mining
 +    - Business Intelligence
 +    - Open Data / Open Gov
 +    - Introducción MapReduce
 +  - Técnicas de Análisis de datos
 +    - Asociación
 +    - Minería de datos (Data Mining)
 +    - Agrupación (Clustering)
 +    - Análisis de texto (Text analitics)
 +    - Técnicas de Scraping de datos
 +  - Hadoop
 +    - Descarga, instalación y puesta en marcha
 +    - Introducción al Sistema de Archivos distribuidos (HDFS)
 +    - MapReduce
 +    - Gestión de fuentes de datos
 +  - Elastic Search
 +    - Instalar y configurar ELK
 +    - Manipular datos con la REST API de ELK
 +    - Organizar los datos
 +    - Hacer búsquedas
 +**Curso 3: Visualización de Datos**
 +
 +  - Principios de visualización
 +    - Entendiendo los datos
 +    - Representación de los datos
 +    - Como elegir la visualización apropiada.
 +    - Herramientas de visualización
 +  - R
 +    - R + Visualización de Datos
 +    - Visualización básica
 +    - Visualización avanzada
 +    - Conexión con fuentes de datos externas
 +    - Exportar visualizaciónes
 +  - ELK + Kibana
 +    - ¿Qué es Kibana y cómo funciona?
 +    - Instalaciones previas
 +    - Visualizar datos con Kibana
 +    - Visualizaciones en tiempo real
 +    - Cartografía
 +**Curso 4: Librería de visualización D3.js**
 +
 +  - Introducción a D3.js
 +    - ¿Qué es D3.js y cómo funciona?
 +    - Descarga y configuración
 +    - Añadir elementos
 +    - Encadenar métodos
 +    - Asociar datos
 +  - Procesos de visualización de datos
 +    - Proceso de carga y refinamiento de datos
 +    - Desplegar Bloques básicos
 +    - Usar la Funcion data()
 +  - D3.js y SVG
 +    - Integración con el formato SVG
 +    - Desplegar SVG
 +    - Tipos de datos
 +    - Diagramas de barras y de dispersión
 +    - Escalas y Ejes
 +  - Complementos D3plus
 +    - Visualizaciones
 +    - Texto SVG
 +    - Formularios
 +    - Utilidades
 +
 +
 +Equipo
 +
 +
 +
 +|Miembros del Equipo|
 +|Nombre del Miembro del Equipo: Fernando Castro T.\\ Calificaciones:​\\ Cursos asignados: 1, 2, 3 y 4|
 +
 +
 +
 +
  
  • bigdata.txt
  • Última modificación: 2016/04/11 15:47
  • por kleper