尚硅谷大数据技术之数据湖Hudi-2核心概念基本概念时间轴TimeLine文件布局File Layout存储方式 12345接下来看一下hudi的文件布局啊，什么意思呢？也就是说hudi它在存储系统上面，它是怎么一个表现形式啊，说白了，比如说咱们用HDFS作为它的数据存储的话啊，它以什么样的格式，什么样的目录来存储对应的数据，还有原数据啊，那其实这个这个地方我们可以类比为hive表。Hive的话，它一张表对应HDFS是不是一个目录啊，对吧？那目录名就是表名，那我们知道hive是不是可以有分区，它在表明目录下面是不是还有分区目录，那在分区目录当中存放的是不是就是数据文件，这个是hive对不对啊那么hudi也有点类似啊，有点类似，那hudi一张表呢，它也是体现为文件系统的一个目录啊，也就是表的名字就是目录的名字，那么在之后呢，它同样有什么呢？也有分区这个概念，那这个分区跟hive有点类似啊，它也是一个分区，是一个目录，一个分区是一个目录。那在分区当中呢，也包含了数据文件啊，那么区别在于哪呢？区别就在于来，我用红色的标出来，它在表的目录下面，除了数据的这些分区目录之外啊，它还有一个是原数据的 ...

idea使用常识idea安装插件缓慢参考链接 12345https://tool.chinaz.com/speedtest/plugins.jetbrains.com搜plugins.jetbrains.com配置hosts java和scala sdk添加1全局配置sdk和为项目配置sdk 为单个项目创建java和scala代码目录1创建目录后，要mark as source root 特殊情况123456大数据开发工程师课程spark word count的一个案例 添加spark-core_2.11 dependency 课程使用的scala是2.12他当时下载的spark版本是 SparK-2.4.3-bin-hadoop2.7.tgz 它带的scala版本是2.11但它带hadoop依赖，所以没下载下面这个2.4.3 spark-2.4.3-bin-without-hadoop-scala-2.12.tg2 12所以这种情况，之前配置的2.12sdk，也要为这个项目改成2.11下载scala2.11，可以解压到之前的scala同级目录，不用配置环境变量。还是配置全局s ...

java用法积累Integer和intInteger是int的包装类型，支持自动装箱和拆箱。总结来说，Integer[]array和int[]的主要区别在于—个是对象数组，一个是基本类型数组。Integer[] array的默认值是null，因为它是对象引用。int[]的默认值是0 因为它是基本类型 12345int[] intArray = {1, 2, 3};Integer[] integerArray = {1, 2, 3};integerArray[0] = intArray[0]; // 自动装箱：int 转换为 IntegerintArray[1] = integerArray[1]; // 自动拆箱：Integer 转换为 int 字符串java.lang.StringBuilder1234String str = ''for(int i=0;i<1000;i++){ str=str+','+i;} 上面这种字符串拼接方式会不断创建新的字符串，然后抛弃旧的，这 ...

web开发版本问题12345Tomcat 6： Servlet 2.5、JSP 2.1、EL 2.1Tomcat7： Servlet 3.0、JSP 2.2、EL 2.2Tomcat8： Servlet 3.1、JSP 2.3、EL 3.0tomcat9: servlet 4.0tomcat10: servlet 5.0 12tomcat8支持java8tomcat10需要java11 1234 Spring Boot 2.x Spring Boot 3.xSpring版本 Spring 5.x Spring 6.xJDK版本 >= 1.8 >= 17Tomcat版本 9.x 10.x

博学谷-零基础大数据在线就业班-第一阶段 java基础 2泛型(廖雪峰)1泛型是一种“代码模板”，可以用一套代码套用各种类型。 什么是泛型123456789101112131415在讲解什么是泛型之前，我们先观察Java标准库提供的ArrayList，它可以看作“可变长度”的数组，因为用起来比数组更方便。实际上ArrayList内部就是一个Object[]数组，配合存储一个当前分配的长度，就可以充当“可变数组”：public class ArrayList { private Object[] array; private int size; public void add(Object e) {...} public void remove(int index) {...} public Object get(int index) {...}}如果用上述ArrayList存储String类型，会有这么几个缺点：需要强制转型；不方便，易出错。 1234567891011例如 ...

博学谷-零基础大数据在线就业班-第一阶段 java基础第一章 java基础语法环境搭建+入门java语言背景介绍java语言跨平台原理JRE和JDK JDK的下载和安装常用DOS命令PATH环境变量的配置HelloWorld案例12编译 javac xxx.java运行 java xxx // 不需要后缀zhui .class 12类名前有public时，类名必须与文件名一致一个程序必须有入口方法main Notepad软件的安装和使用123高级的记事本，方便代码编写(有行号)配置默认代码语言和编码ascII 注释123单行 //多行 /* */文档注释 /** */ 关键字123456789关键字全小写常用代码编辑器里关键字有特殊颜色public classvoidstaticmain不是关键字 数据类型及转换常量123456字符串常量整数常量小数常量字符常量布尔常量空常量null 变量介绍数据类型 12345整数 字节 范围byte 1short 2int(默认) 4 建议long 8 123浮点数 字节 范围float ...

大数据开发工程师-第九周 Hive扩展内容 常见数据压缩格式的使用

大数据开发工程师-第九周 Hive扩展内容 常见数据存储格式的使用数据存储格式12在最开始学习Hive的时候我们说到了，Hive没有专门的数据存储格式，默认可以直接加载文本文件TextFile，还支持SequenceFile、RCFile这些。其实完整来说，主要包括下面这些数据存储格式。 1234其中RCFile数据存储格式是从Hive 0.6版本开始支持的。Avro数据存储格式是从Hive 0.9版本开始支持的。ORC数据存储格式是从Hive 0.11版本开始支持的。PARQUET数据存储格式是Hive 0.13版本开始支持的。 12这些信息主要来源于Hive官网。https://cwiki.apache.org/confluence/display/Hive/ 12345678目前工作中使用最多的是TextFile、ORC和Parquet。默认情况下使用TextFile即可，想要提高数据存储和计算效率，可以考虑使用ORC或者Parquet。本次课程中我们主要演示TextFile、SequenceFile、RCFile、ORC、以及PARQUET的用法。Avro存储格式在 ...

大数据开发工程师-第十一周 sparkSQL快速上手使用Spark SQL12345678910111213Spark SQL和我们之前讲Hive的时候说的hive on spark是不一样的。hive on spark是表示把底层的mapreduce引擎替换为spark引擎。而Spark SQL是Spark自己实现的一套SQL处理引擎。Spark SQL是Spark中的一个模块，主要用于进行结构化数据的处理。它提供的最核心的编程抽象，就是DataFrame。DataFrame=RDD+Schema它其实和关系型数据库中的表非常类似，RDD可以认为是表中的数据，Schema是表结构信息。DataFrame可以通过很多来源进行构建，包括：结构化的数据文件，Hive中的表，外部的关系型数据库，以及RDDSpark1.3出现的DataFrame ，Spark1.6出现了DataSet，在Spark2.0中两者统一，DataFrame等于DataSet[Row] SparkSession1234要使用Spark SQL，首先需要创建一个SpakSession对象SparkSession中包含 ...