俊泽·Jason

【文言文】一. Elasticsearch 的基本概念1. 什么是Elasticsearch： Elasticsearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎，每个字段都被索引并可被搜索，可以快速存储、搜索、分析海量的数据。 全文检索是指对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当查询时，根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。 2. Elasticsearch 的基本概念： （1）index 索引：索引类似于mysql 中的数据库，Elasticesearch 中的索引是存在数据的地方，包含了一堆有相似结构的文档数据。 （2）type 类型：类型是用来定义数据结构，可以认为是 mysql 中的一张表，type 是 index 中的一个逻辑数据分类 （3）document 文档：类似于 MySQL 中的一行，不同之处在于 ES 中的每个文档可以有不同的字段，但是对于通用字段应该具有相同的数据类型，文档是es中的最小数据单元，可以认为一个文档就是一条记录。 （4）Fie ...

MySQL优化 当我们在写SQL语句时，有许多优化方法可以提高查询的性能和效率。下面便列出了一些主要的优化技巧，以及对应的简单SQL语句示例： 一般人想不到的优化： GroupBy优化高基数维度在前，低基数维度在后。 OrderBy优化高基数维度在前，低基数维度在后。 GroupingSets代替GroupbyGroupingSets可以减少表扫描次数，提升性能。 1. 只读取必要的列 不要获取数据库中所有的列，而仅仅获取你需要的列。这可以减少数据传输量，提高处理速度。 例子： 123456# 不推荐SELECT * FROM employees; # 推荐SELECT first_name, last_name FROM employees; 2. 使用Join代替子查询 通常，使用JOIN代替子查询（sub-query）可以改善查询性能。 例子： 12345678910# 不推荐SELECT a.last_name FROM employees a WHERE a.department_id IN (SELECT department_id FROM departm ...

CodeDemo123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899# -*- coding: utf-8 -*-"""Time ： 2023/10/20 18:15Author ： JasonMotto：What seems to us as bitter trials are often blessings in disguise!Description: Use Spark DataFrame to transfer txt file to pcap file."""import hashlibfrom pyspark.sql import SparkSessionfrom pyspark.sql.t ...

Pandas与Python常用数据类型对照表 Pandas类型 Python类型 说明 object string 字符串类型 int64 int 整形 float64 float 浮点型 datetime64 datetime 日期时间类型，python中需要加载 Series详解Series是什么 Series是 pandas 中用来存储一维数据的容器 Series是什么样子？ 123456789# age0 371 612 903 664 565 456 417 77 创建Series1）创建 Series 的最简单方法是传入一个Python列表 如果传入的数据类型是统一的数字，那么最终的 dtype 类型是int64 如果传入的数据类型是统一的字符串，那么最终的 dtype 类型是object 如果传入的数据类型是多种类型，那么最终的 dtype 类型也是object 2）创建 Series 时，也可以通过 index 参数来指定行标签 123s = pd.Series(['bana ...

Anaconda是什么 这个就不多bb了，用到时自然就理解了。 常用命令12345678910111213141516conda create -n 虚拟环境名字 python=3.8 # 创建虚拟环境 python=3.8 指定python版本conda activate 虚拟环境名字 # 进入虚拟环境conda deactivate 虚拟环境名字 # 退出虚拟环境conda remove -n 虚拟环境名字 --all # 删除虚拟环境# 常用镜像源清华：https://pypi.tuna.tsinghua.edu.cn/simple腾讯：https://mirrors.cloud.tencent.com/pypi/simple阿里云：http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学：http://pypi.hustunique.com/山东理工大学：http://pypi.sdutlinux.org/ 豆瓣：http://pypi.douba ...

2cfe756edc1c7e6bd07259ffc80a1d8e26f3ecf8d5c41dd814b5dcd0ecd0a65a9e67e3721b928aa3e5028e63bc0f10df5daf3de3bc869764e9bc65b63f3d33b78c1dfea3415f17116c4ec1b70f9377d07ac12d48c37916a615a9fe6b87de79710cb9a7e1d3f3f28e0643afe20c782076c52397d876a9b156a7c4e911d89bcce3fe622709d1110b9a848cb63fcee0f34fca7f98194b1ddf414ee1a54002e5f7d1c68e132fdb438f3b7f1aaa8feb14caa2b63cdec25ad7ce7b8b62d812062ed7bd400226364f62eaeb549ac3a16a8e3d7560ef91b48dd59b63f795803d9ac08bdf2c2ba306de0c64d2aa2ea84b5d1cbc3dffd03228ea84 ...

2019年5月21日，Elastic官方发布消息： Elastic Stack 新版本6.8.0 和7.1.0的核心安全功能现免费提供。这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色，并且使用 Spaces 为Kibana. 至此，现今出现了一个问题，有些公司用的还是ElasticSearch6.0.1以及比较老的ElasticSearch版本，这写版本的一些基于端口加密的功能等都是要收费的，如果想要使用这些功能的话就需要付费，如果不想付费就需要破解。 Tips 该部署全程都是一步一步实践得来的，需要有一定的动手能力，踩了很多坑呜呜。 其中有两篇文章给了我很多启发： 10分钟内破解elasticsearch x-pack插件-CSDN博客 centos7搭建elasticsearch6.3.0集群并破解x-pack许可并配置证书_ 部署ElasticSearch安装ElasticSearch 上传（yum install lrzsz) 解压（tar -zxvf 包名 -C 路径） 如果想指定解压路径就必须加-C 修改配置 ...

Gitlib部署前置软件的安装1234567891011yum install curl policycoreutils openssh-server opensh-clientssystemctl enable sshdsystemctl start sshdyum install postfixsystemctl enable postfixsystemctl start postfixfirewall-cmd --permanent --add-service=httpsystemctl reload firewalldyum install policycoreutils-python Gitlib安装123456# rpm -ivh 后面接你的rpm包名rpm -ivh gitlab-ce-13.2.6-ce.0.el7.x86_64.rpm-i：表示进行安装操作。-v：表示在安装过程中显示详细的输出信息，即详细模式（verbose mode）。-h：表示以哈希进度条的形式显示安装进度。 修改默认的配置文件安装完成之后 123vim /etc/gitlab/gitlab. ...

Demo123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133import timefrom io import BytesIOfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom scrapy import Selector # 使用S ...

之前一直用别人写的自动化脚本，自己写的很少，说实话Linux的三剑客至今还是懵懵懂懂的状态，没关系慢慢来。 基础知识必会 查看服务器中某个脚本的位置 比如说咱们经常用到的start-all.sh，一直在用却不知道在哪个位置，这就有点尴尬。 start-all.sh 脚本用于启动 Hadoop 集群中的所有组件，该脚本通常位于 Hadoop 安装路径下的 sbin 目录中。 12# 通过脚本名称搜索该脚本的位置sudo find / -name start-all.sh 2>/dev/null 运行结果 12345678910111213/usr/local/dolphinscheduler.bak/bin/start-all.sh/usr/local/dolphinscheduler.bak/script/start-all.sh/usr/local/dolphinscheduler-bin.bak/script/start-all.sh/usr/local/dolphinscheduler-bin.bak/bin/start-all.sh/usr/local/ ...