RAG
P01_RAG系统项目介绍1 背景介绍【了解】
业务:IT教育的答疑项目
技术:RAG【知识库+LLM】
2 RAG相关介绍【掌握】2.1 RAG概念通⽤的基础⼤模型存在一些问题:
幻觉问题,LLM有时会在回答中⽣成看似合理但实际上是错误的信息
LLM的知识不是实时的,模型训练好后不具备自动更新知识的能力,会导致部分信息滞后
LLM领域知识是缺乏的,大模型的知识来源于训练数据,这些数据主要来自公开的互联网和开源数据集,无法覆盖特定领域或高度专业化的内部知识
RAG是一种将大规模语言模型(LLM)与外部知识源的检索相结合,以改进问答能力的工程框架。 它使用来自私有或专有数据源的信息来辅助文本生成,从而弥补LLM的局限性,特别是在解决幻觉问题和提升时效性方面。
2.2 RAG作用
缓解LLM“幻觉”问题 : LLM在生成文本时有时会“一本正经地胡说八道”,即生成听起来合理但实际上不准确或捏造的信息,这被称为“幻觉”。RAG通过提供外部事实依据,显著减少了这种幻觉现象,让LLM的输出更具 事实性 和 可靠性 。
获取最新信息 :LLM的训练数据通常是静态的,这意味着它们无法获取到训练截 ...
LLM大模型基础
大语言模型LLM一种通过学习大量的文本来预测整个序列或者下一个词的概率,从而理解和生成自然语言的模型。
大模型发展历程基于规则与概率:这类模型主要依赖于人工设计的规则和统计方法。如N-gram模型通过计算词语出现的频率来预测下一个词,但存在稀疏性问题,无法很好地处理未见过的词语组合。
神经网络语言模型引入词向量:NNLM利用神经网络,将词语映射成连续的向量(词嵌入),从而捕捉词语间的语义关系。这解决了稀疏性问题,并能更好地理解上下文。然而,NNLM通常需要针对特定任务进行端到端训练。
预训练语言模型:预训练 + 微调以Transformer架构为核心,PLM(如BERT、GPT-½)通过在海量文本上进行无监督预训练来学习通用语言知识,然后针对下游任务进行微调。这极大提高了模型的泛化能力和任务表现。
大预言模型:规模化与涌现能力,LLM(如GPT-¾、PaLM)在PLM的基础上,进一步扩大模型规模(参数量、数据量),从而展现出涌现能力,可以执行多样的任务,如问答、摘要、代码生成等,甚至不需要微调(in-context learning)。
阶段
代表技术
特点
基于规则与统计 ...
TQ System
Day011、什么是知识图谱?概念:知识图谱是以图的形式来表示实体和实体之间关系的语义网络。
节点:实体、概念
边:关系(外部)、属性(内部)
类型有两种:
实体-关系-实体【通常的说法!!】
实体-属性-属性值
2、项目的技术架构图是怎样的?
数据获取
业务数据:比较规范,一般可以直接使用构建知识图谱
采集数据:形式各异,需要进行清洗和信息抽取工作
信息抽取【核心】
工作:实体抽取、关系抽取、属性抽取
方法:规则匹配、机器学习、深度学习
知识融合
任务:消除冗余、解决冲突、统一表达、知识扩展
技术:指代消解、实体消岐、知识融合(实体对齐、关系对齐)
知识加工
工作:质量评估
图谱搭建
工作:将三元组导入到数据库中
图谱应用
工作:搭建问答系统
3、项目用到了哪些工具?
Doccano(多卡诺)是一种用于文本标注的开源工具,支持多种常见的文本标注任务,如命名实体识别、文本分类、关系抽取等。
Flask 是一个轻量级的 Python Web 框架,它的核心作用是帮助开发者快速构建 Web 应用程序和 API,实现使用URL对函数进行调用 。
Gun ...
Jason Project Demo
f1e144e3004993ce3787cf02c976d37c40180e9c1ee33c0a7f400e0504db1e56b20de487287f305ddb2d3f580f9725a61f8403725634d8ded52181c315049242d7fd568421628bfd63d0bd35e488aa89504960d4395094364dc7c613fda4940d200d8a16b27e64e6156c280fc93e80bb6e2093d153100be2a4e1085c53e108ec8ebc11e8373cbe787ddbab94f8b43488c393d90a9e9238f59d80271bf37289ce4e088963e79fbde8f334034f774611e1e8ee446719b135c030aeb2fb13b2cf86ca7d809437cdf593c77fd1baa4ae7e3e4cd51e601a07fc8c7ad6c4972798f8b87e23b0dc4c969697b61dfcb23a121d64f7285569cc80 ...
算法公式推导
Latex公式语法传送门
机器学习ID3是采用信息增益作为特征选择度量,而C4.5采用信息增益率、CART基尼指数。
信息熵:$$Ent(D^v) = -\sum_{i=1}^{k}p_i\log_{b}(p_i)$$信息增益(信息熵 - 条件熵):$$g(D,A)=H(D)-H(D|A)$$即:$$Gain(D,a) = Ent(D) - \sum_ {v=1}^{V}{\frac{\left| D^{v} \right|}{\left| D \right|}Ent(D^{v})}$$信息增益率 (信息增益/特征熵):$$\begin{aligned}\text{Gain_Ratio}(D, a) &= \frac{\text{Gain}(D, a)}{IV(a)} \\end{aligned}$$其中,特征熵可以这样理解就是只在本特征(列)中求不同类型特征的熵:$$IV(a)=-\sum_{v=1}^{V}\frac{\left|D^{v}\right|}{|D|}\log_{2} ...
Jason Interview Note
e822775d2c406ea9a622025ed7fd30ba33aafeb6f1ca1485d8b567f548ea02752002af65a38da3e300cd26e65f46c14457a5d7450289c33dde2372f864fe5e3ec5307cfb1685ee2bba41c1fe38b541327b45e3b9eef8ee277493d886e8a5dd6d569d71eee05cbc50adb16cfa84ccdc81373f58c5acbc24e7a7477dd95ac3cd54d764b16ad058b12c54bf46c22e3faea42b2b50a41625bd5e27676ed2ff22e32428ab0fac9eb7be3fb5b6cd2501e6f5ace5efaa5544c736b404eb64449c5e690708e0f8474e760f830fc3812b0c47f3a0138259fb89961912b788cea7f513bf7ddd0e63913da8eb5456bc0d72ff1a090923f928372f1c ...
NLP自然语言处理
NLP
NLP的全称是Natuarl Language Processing,中文意思是自然语言处理,是人工智能领域的一个重要方向。
文本预处理
文本预处理,就是再数据送给模型之前,要做的工作。一般拿到数据,要根据任务组织样本$x$,$y$。比如对于分类任务,标签$y$是几分类、是否样本均衡、样本$x$长度分布如何。所以文本语料的数据分析一般是先要做的工作
文本预处理基本方法分词
将连续的字序列按照一定的规范重新组合成词序列的过程
作用:词作为语言语义理解的最小单元, 是人类理解文本语言的基础
安装方式
取决于你的解析器(interpreter)的位置.但最终应该离不开Anaconda这个工具包,所以要先切换虚拟环境.
12conda activate aipip install jieba -i https://pypi.tuna.tsinghua.edu.cn/simple/
使用方式
模式
⭐️全模式:将句子中所有可以组成词的词语都扫描出来, 速度非常快,但可能会出现歧义
1jieba.cut("语句", cut_all=Tru ...
数据结构
数据结构算法单链表
链表代码前置知识:
cur.next = new_node:代表current的next指针指向新节点
链表有数值域和链接域
代码实现:节点类
包含两个属性:
item:数值域(元素域)
next :地址域(链接域) 不是他的地址,而是他的下一个节点地址
123456# 自定义SingleNode类,表示节点类class SingleNode: # 初始化属性 def __init__(self, item): self.item = item # 元素域(数值域) self.next = None # 链接域(地址域)
代码实现:链表类
该部分代码包含一个属性
head 表示头结点 指向链表的第一个节点
多个行为:
is_empty(self) :链表是否为空
length(self):判断链表长度
traverse(self):遍历整个链表
add(self,item) :给链表头部添加元素
append(self,item):链表尾部添加元素
insert(self,item): ...
深度学习
深度学习和机器学习的区别
深度学习和机器学习-面试题(●’◡’●)
问:什么样的资料集不适合用深度学习?
(1)数据集太⼩,数据样本不⾜时,深度学习相对其它机器学习算法,没有明显优势。
(2)数据集没有局部相关特性,⽬前深度学习表现⽐较好的领域主要是图像/语⾳/⾃然语⾔处理等领域,
这些领域的⼀个共性是局部相关性。图像中像素组成物体,语⾳信号中⾳位组合成单词,⽂本数据中单词
组合成句⼦,这些特征元素 的组合⼀旦被打乱,表示的含义同时也被改变。对于没有这样的局部相关性的
数据集,不适于使⽤深度学习算法进⾏处 理。
深入理解机器学习和深度学习
深度学习与机器学习的差别
不需要人工特征工程
特征工程+分类/回归 使用一个网络来完成
优点
精确度高,性能好,效果好
拟合任意非线性的关系
框架多,不需我们自己造轮子
缺点
黑箱,可解释性差
网络参数多,超参数多
需要大量的数据进行训练,训练时间长,对算力有较高要求
小数据集容易过拟合
PyTorch深度学习框架PyTorch是什么
PyTorch官网
GPU:一个超级快的数学计算器。(显卡)
CU ...








.png)

