俊泽·Jason

很多人写博客都是抄来抄去，究其本质，实际上还是每个软件都有固定的操作方式，而且遇到的问题和报错也无非就是几种。 所以我的解决方案是：写一些自己的东西或者见解，然后最后放上参考链接，也方便以后查阅，如此甚好！ QuickStart Target：上传本地文件到Gitlab的项目中，类似于github的提交代码。 Procedures： 1-在Gitlab上创建项目，并添加本地的ssh-key 2-在本地创建项目，push到远程的Gitlab 12345678910111213141516171819202122232425262728-- 首先安装git，然后在本地项目中点git bash here-- 首先配置本地git项git config --global user.name "你的用户名"git config --global user.email "你的邮箱"-- 在上传项目到远程仓库时，对于http是有大小限制的，有些特别大的文件是无法上传的，因此需要设置本地缓存大小：git config http.postBuffe ...

Python中的一些东西如果不常用的话很容易混淆，比如说os.path.split和os.path.splitext这两个函数，看着很像，细分的话发现自己竟然有点搞不清了，只能测试跑个demo看一下，着实难受，为了方便之后的使用，这里还是记录一下。 但是一些很常用的还是要记住的嗷！ os.path.split() os.path.split()是用于将路径分割成目录和文件名两部分。 比如有路径如下 ‘/home/user/file.txt’，os.path.split(该路径)则会得到一个列表list list[0] 为/home/user/ list[1] 为file.txt 案例演示1234567import ospath = '/home/user/file.txt'directory, filename = os.path.split(path)print('Directory:', directory)print('Filename:', fi ...

bb01696d9a845b8693814c32a97c5cc31775823aa5e2c33d411ba9475d22e91317accbb03fe34aaa74d33e0fee96bfa146828ff132df20bb42f1f487d0d7cd0b5c220760d0a35c1a664928f88bc70942f7e593e9207c25f6d62d01a87e899bd5beb2a8a11e086f9366c94871f201faf68a6e78c542d16294a4138c3b01a4a48bdf5af1410bc6eb58afb366d270818d9d297f10fab49ad7dcfce91498aff81fa7e82705986c028c3087c9a1bb134332eb100fd8230a96d2b3809c23bba71436af9d96b2379d5dbc5783571f36a48f5ceb62337203ee6e0b9163aaec1c2f27c930d97e311b813d8c083f620c61f8a65aa223a0a67f2f49 ...

什么是Ranger Apache Ranger是一个Hadoop平台上的全方位数据安全管理框架，它可以为整个Hadoop生态系统提供全面的安全管理。 安装Apache的软件要注意一点，就是各个版本的兼容性问题。 Apache Sentry和Ranger优缺点 一般来说：CDH自带的是Sentry，HDP的是Ranger。 Sentry是由Cloudera公司内部开发而来的，所以Sentry对HDFS，Hive以及同样由Cloudera开发的Impala有着很好的支持性. Ranger则是由于另一家公司Hortonworks所主导。相比较于Sentry而言，它能支持更丰富的组件，包括于 HDFS, Hive, HBase, Yarn, Storm, Knox, Kafka, Solr ,NiFi。 早期CDH版本只提供sentry的权限管理方案，后期新版本提供ranger作为替换方案，而CDH只有商业版本提供sentry升级ranger的服务，开源社区版并未提供这样的能力，可以说Ranger是Sentry的一个升级版。 两个组件的比较如下： Apache Ranger 拥有自己的 W ...

一些命令常用的必须得记住，不常用的忘了后续再翻翻。 查看系统型号环境相关 lscpu 用来查看cpu底层架构，比如是否为x86和arm架构这些 还可以获取cpu核数 lsblk 用于查看当前服务器中挂载上以及没有挂载上的磁盘 free -h 用于查看当前系统的内存状况 df -h 用于查看当前系统硬盘情况 统计Linux中文件夹的大小1du -sh /path/to/folder 其中： du 是用于显示文件或文件夹的磁盘使用情况的命令。 -s 选项表示只显示总和。 -h 选项表示以人类可读的格式显示结果，例如以KB、MB、GB等单位。 将上述命令中的/path/to/folder替换为你要统计的文件夹的实际路径。 执行命令后，会显示该文件夹的总大小。例如，输出可能是 2.3G /path/to/folder，表示文件夹的总大小为2.3GB。 awk命令统计文件大小 其实通过awk命令可以实现按列求和的功能，但是如果将awk和du命令结合，不就可以统计的时候实现求和了吗 有如下a.txt文件 123123.53 demo.py125.54 d ...

fbd00d79a9a47cc2d216070b019beb95a5e0c34bea045df17c390db9a308ceb40a720305dc7c73d690d2e10da551e2dc2f877499693b13893d961b71731cd2f3f75aefdd1abeab6f63de18aacef433656965210b01dbc038fa9b6e0e7f08c23be1811156bf4ca1c4a06452f79580aacba8349ec6517ff3eb2da727c98de9a0af100d3a6c7a29510c76d1c1d92d186ea9f851e1409abaf5ba5595c6f30ae471003d9d64e740bf0a0f3355bdf87e6970ec03725c4ab1884f1702b5be65b538d7867674f6b3415191d6a988a9dbaf07caaee6055c3f15c63fb793541e2bf1864f6b77a789cc43dc2b0051a52453490af5b369d904c21174 ...

a9efd24b9d2b01d3ae1935f5d042a0aa4f23c23784a311eb218232523e1fedaebf8a1be7bfdd7a116c564717fb48a8e7bace0e5b1b4a6aa0e05774f016dfd4c4e2d4ee740550dc3fe16ea59ecfb7f2f50b2d414a7573e691af78c8041f55cc0c52f28886d5bdd2b63667d8e7453bdc40a4a5901db7527ce59b1135242ef0a3b14fedf4bec3e5373e54e46a8b0c8c846961f01ac0ddc991cbdadb115b8adfec9b9224833c8bf9dbe54b2be65aec2a6f216890b052766732c066313c670bf71f3c0b30759029e602525f5f2db898660c7a1ff462cbcb6b0b69f4ef3186b6985516badcbdd0e59cbb8665246f87cb26111cea3c323aad22 ...

iptables是Linux中的控制端口开启与关闭的命令，防止服务器的端口对外暴露。 但是一定要慎用，如果不慎配置错误则会导致服务器访问不了， 如下是一些查看，清理规则的命令（稍微可以挽救一下） 查看规则&&恢复默认设置 1234567891011121314151617181920# 查看已经设置的规则sudo iptables --list# 默认策略设置为ACCEPT，否则后续操作会导致连接断开，无法再次连接sudo iptables -P INPUT ACCEPTsudo iptables -P FORWARD ACCEPTsudo iptables -P OUTPUT ACCEPTsudo iptables -t nat -P PREROUTING ACCEPTsudo iptables -t nat -P POSTROUTING ACCEPTsudo iptables -t nat -P OUTPUT ACCEPT# 清空所有规则sudo iptables -Fsudo iptables -t nat -F# 删除所有非系统默认的链sudo iptab ...

a62ca057361ebd00bf30c6209488981eadd8d42dd934e098cc881b333f655186d2ddcefe7bf70a4f421a992a5799da1e06dcbed60ca5b5b448f957a21fe4b0511455601a7fa9d4d0dee9d0dbc644c471322bd818a45b63c87d51724ca9f4085b05f78348ef79be4fd29d27f7fe1237d6ee3738f8dc785735715beaa5c3686a0855566e7738fc77fb555d66ce1fc56324cce2205af3dfacca04f6cb4ded3ba9b00f2016032f9f182500875265c4833705d08d53464e781127d41d5776b1567d6e6ed19c45f34583a316582c1bddbeed6a6f73194aefb22d612fc44bab42aca37599057b62094e1a4c4aad92a3d7efa9ad76e1022a4ae7 ...

说明：这是一个不太成熟的博客，Redis算是初次接触，很多东西都不会，路还很长，很多东西要学。 参考： Redis命令大全（超详细）博客园 Redis 常用操作命令，非常详细！ 知乎 启动和关闭12345678# 关闭Redis：/usr/local/bin/redis-cli shutdown# Redis 启动！: /usr/local/bin/redis-server /etc/redis.conf# 后台启动：nohup /usr/local/bin/redis-server /etc/redis.conf & 远程连接Redis12345# 连接Redi：redis-cli -h 主机ip -p 6379（端口是可以说设置的）# 登陆Redi：auth yourpassword key操作命令123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051# 获取所有键keys *# 获取键总数: 语法：dbsize127.0.0. ...