CSDN-CODE

个人CSDN博客博文中涉及到的源码整合。

王小雷-多面手

专注大数据，机器学习的多面手，对新兴的技术与知识充满了好奇与渴望！

• Hadoop-Fully-Distributed-完全分布式集群部署

  • 超详细从零记录Hadoop2.7.3完全分布式集群部署过程-CSDN博文地址

  • 超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。（首更时间2016年10月27日）

  • Hadoop-Configure-配置文件

    • core-site.xml
    • hadoop-env.sh
    • hdfs-site.xml
    • mapred-site.xml
    • yarn-site.xml

  • bash-脚本

    • hadoop2.7.3.sh
    • jdk1.8.sh

  • 增加Spring案例

• 用windows浏览器打开Linux的Jupyter notebook开发、调试示

  • Jupyter-notebook-config远程服务配置
    • .jupyter
      • jupyter_notebook_config.py
      • migrated
      • mycert.pem
      • mykey.key 配置结果

  登录Jupyter notebook

  在Jupyter notebook上spark编程

• linux下React Native开发环境搭建，使用Android-studio工具进行React Native整合开发。 参考React Native的官方文档，通过图文详细记录开发过程。可以查看本文档中涉及Github源码。步骤1，2，3来配置React Native开发环境步骤4,5做react-native与Android运行demo整合开发。1.安装Nodejs1.1.下载最新版nod...（首更时间 2016/12/21）

  • React-Native-Android-Studio整合开发+环境配置+官方实例
    • bash
      • nodejs-7.2.sh 配置结果

  

• spark (java API) 在Intellij IDEA中开发并运行 - 概述：Spark 程序开发，调试和运行，intellij idea开发Spark java程序。 - 分两部分，第一部分基于intellij idea开发Spark实例程序并在intellij IDEA中运行Spark程序.第二部分，将开发程序提交到Spark local或者hadoop YARN集群运行。(首更时间 2017/2/7) - 源码文件 SparkJavaIdea. - 图1，直接在intellij IDEA(社区版)中开发调试，直接run。

- 图2，直接在intellij IDEA(社区版)中用hadoop YARN模式。

• Spark jdbc postgresql数据库连接和写入操作源码解读

  • CSDN博文地址

  • 概述：Spark postgresql jdbc 数据库连接和写入操作源码解读，详细记录了SparkSQL对数据库的操作，通过Java程序，在本地开发和运行。整体为，Spark建立数据库连接，读取数据，将DataFrame数据写入另一个数据库表中。

• 

Apache Beam WordCount编程实战及源码解读

CSDN博文地址

完整项目地址

概述：Apache Beam WordCount编程实战及源码解读,并通过intellij IDEA和terminal两种方式调试运行WordCount程序，Apache Beam对大数据的批处理和流处理，提供一套先进的统一的编程模型，并可以运行大数据处理引擎上。（首更时间2017年2月21日）

源码目录结构

Apache-Beam-WordCount/

• ApacheBeamWordCount.iml
• pom.xml
• README.md
• src
  • main
    • java
      • WordCount.java
  • resources
  • test
    • java