SilverSucks

学会了Hive的一些操作，发现Hive建过表，后续的数据并不是向MySQL是通过自己手写进行插入的，而是将TXT文件解析成为数据表的操作。其实是HDFS将文件映射成Hive表，然后然后通过写类SQL的语句来操作该文件，底层会被解析成为MR程序。 Hive的本质把HDFS文件映射成一张Hive表, 然后通过写类SQL的语句来操作它(HDFS文件), 底层会被解析成MR程序, 交由Yarn来调度执行. DDL(Data Define Language)是什么？ 见名知意，数据定义语言==Data Define Language。 对数据库的操作：包含创建(Create)数据库，数据表、修改数据库 (Alter table) 对数据表的操作：内部表(Managed Table)及外部表(External)，分区表(Partition)和分桶表 数据库Operation1234567create database if not exists 数据库名; -- 创建数据库show databases; -- 查看系统中所有数据库use 数据库名; -- 切换数据库 ...

闭包的构成条件： 在函数嵌套(函数里面再定义函数)的前提下 内部函数使用了外部函数的变量(还包括外部函数的参数) 外部函数返回了内部函数 简单闭包12345678910111213def fun_out(num1): # 定义外部函数 def fun_inner(num2): # 内部函数使用了外部函数的变量 result = num2 + num1 print("结果是: ", result) # 外部函数返回了内部函数，这里返回的内部函数就是闭包 return fun_inner f = fun_out(1) # 创建闭包实例f(2)f(3) 当返回的内部函数使用了外部函数的变量就形成了闭包 闭包可以对外部函数的变量进行保存 闭包的作用*闭包的作用: 闭包不仅可以保存外部函数的变量还可以提高代码的可重用性（不需要再手动定义额外的功能函数* 12345678910111213def config_name(name): # 定义外部函数 # 内部函数使用了外部函数的变量 ...

微软NorthWind 本文章的练习题来自Microsoft的Northwind项目，是一个开源的数据库练习项目。 经过一个上午的练习，一口气将34道练习题做完了。 对于这个练习题，我的评价是难度不大，很适合上手，另外一个45道题的刷题本可就比这难多了！ 数据准备数据源是从Git上下载的, 微软的北风项目的源数据Northwind数据库在我的博客园MySQL刷题12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114 ...

HDFS的常见shell命令Summary(总结)第一点：书写HDFS的shell命令大致就是在shell的基础上在开头添加Hadoop fs 或者hdfs dfs这种，并且在命令起始添加 - 。 第二点：基础命令中只有put，get命令，还有appendToFile命令是Linux路径和HDFS路径进行交互的。 12345678910111213141516171819202122232425262728293031323334353637383940# HDFS的Shell命令指的是, 在CRT 或者 Tabby等工具中, 写Shell命令, 操作HDFS文件系统.# 格式, 如下两种方式, 除了通用性以外, 其它没区别. hadoop fs -命令名 [选项] [参数] # 更通用, 可以操作多种文件系统.hdfs dfs -命令名 [选项] [参数] # 只能操作HDFS文件系统.# ls命令, 查看指定目录的(子级)信息的hadoop fs -ls / # 只能查看单级hdfs dsf -ls / # 只能查看单级hadoop fs -lsr / # 查看目录的信息 ...