从0到1学习AI开发:涵盖RAG,embedding,rerank等技术,助力行业落地

从0到1学习AI开发:涵盖RAG,embedding,rerank等技术,助力行业落地-1

课程内容:

资料

企业RAG技术实战.pdf

ai认知课.pdf

embedding技术.pdf

rerank技术.pdf

llama-factory微调.pdf

13_第五课:模块化RAG(一)顺序模式,条件模式,分支模式.mp4

11_第三课:高级RAG(一)层次索引,句子窗口,子查询,HyDE.mp4

37_第十一课:Langgraph多Agent架构:协作多Age.mp4

8_第五课:模型部署(模型合并导出与量化,本地部署).mp4

29_第三课:Agent平台:国内外主流平台,Coze搭建智能客服.mp4

33_第七课:Agent设计模式(三):Reflexion,LAT.mp4

15_第七课:Embedding原理:word2vec、CBOW.mp4

16_第八课:Embedding模型训练:llamaindex微调.mp4

21_第十三课:相似性搜索算法:k-means,肘部法则.mp4

1_第一课:人工智能介绍:迭代路径,大模型进化树,技术分类.mp4

35_第九课:Langchain项目原理与实战.mp4

5_第二课:微调数据集准备(SFT继续预训练,偏好优化).mp4

17_第九课:Embedding模型评估:MRR评测,MTEB评测.mp4

23_第十五课:向量数据库选型:专用向量数据库,传统数据库支持向量.mp4

10_第二课:NaiveRAG与langchain实践.mp4

39_第十三课:AutoGen项目原理与实战(二):代码执行,工具.mp4

12_第四课:高级RAG(二)提示词压缩,融合,llamainde.mp4

30_第四课:Agent工具使用与functioncall:MR.mp4

9_第一课:RAG技术原理与RAGFlow项目实操.mp4

27_第一课:Agent原理简介:planning、memory、.mp4

22_第十四课:近似邻近算法与过滤向量:PQ量化,HNSW,LSH.mp4

24_第十六课:向量数据库代码示例:chroma与qdrant代码.mp4

20_第十二课:向量数据库简介与相似性测量:欧式距离,余弦相似度.mp4

28_第二课:提示词工程:软提示词,fewshot,COT TOT.mp4

34_第八课:Agent框架:SingleAgent,Multi.mp4

25_第十七课:RAG评估:评估指标,RAGAs,TruLens.mp4

6_第三课:微调过程lora微调与Qlora微调.mp4

7_第四课:模型评估(批量推理与自动评估benchmark).mp4

31_第五课:Agent设计模式(一):Fewshot,ReAct.mp4

40_第十四课:CrewAI项目原理与实战:Crew Task A.mp4

14_第六课:模块化RAG(二)迭代,递归检索,FLARE,Toc.mp4

19_第十一课:Rerank模型微调与实践(二)rankGPT.mp4

26_第十八课:RAG行业落地:实践心得,落地经验,业务场景.mp4

38_第十二课:AutoGen项目原理与实战(一):AutoGen.mp4

18_第十课:Rerank技术原理与实践(一)交叉编码与双编码.mp4

2_第二课:柏拉图表征假说与scalinglaw:KM缩放定律.mp4

4_第一课:大模型微调llama-factory环境准备.mp4

32_第六课:Agent设计模式(二):REWOO,LLMComp.mp4

3_第三课:AI开发环境(python、conda、vscode.mp4

36_第十课:Langgraph项目原理与实战.mp4

那些向量数据库里的秘密武器

做RAG系统最头疼的就是召回精度问题,明明数据库里存着答案,模型偏偏给你胡编乱造,这时候HNSW和PQ量化这些算法就像夜店门口的保安,得严格筛选哪些向量能进VIP区,上次做医疗问答系统试过用暴力扫描,服务器差点起火,换成量化索引后延迟直接从800ms降到90ms,余弦相似度计算时维度灾难特别明显,特别是处理电子病历那种长文本。

Embedding模型自己动手训练才靠谱

公开的text-embedding模型在专业领域简直像文盲,金融术语全被理解成菜市场词汇,用LoRA在行业语料上微调时batch size调到256就OOM,不得不开启梯度累积,MRR指标从0.42蹦到0.78那天团队点了小龙虾庆祝,MTEB评测集里有个诡异现象,中文法律条款的embedding总是聚不成类,后来发现数据清洗漏了标点规范化。

Agent组团打副本的骚操作

单Agent处理跨域任务就像让厨子修电脑,LangGraph里设计多Agent协作流水线时,调度逻辑写得我想砸键盘,Coze平台搭的客服系统最初老把退货请求转给库存Agent,Reflexion机制加进去后才学会自我纠错,实验过让规划Agent和工具调用Agent玩成语接龙,结果在"为所欲为"这个词上死循环了十五分钟。

RAG组合拳实战黑科技

基础RAG检索不到答案时,HyDE技术会让模型先幻想个假文档,用这个幻影当诱饵去钓真文档,递归检索在处理多层PDF时像剥洋葱,FLARE策略动态调整查询词的颗粒度,某次调优发现子查询模块把"苹果"同时指向水果公司和手机厂商,加了实体过滤器才好些,评估阶段RAGAs给出的置信度分数和人工标注差23个百分点,被迫重新标注三千条测试集。

模型微调里的猫腻

QLoRA省显存但有精度损失,4-bit量化时某些注意力头权重出现雪崩式衰减,继续预训练阶段不小心混进知乎段子,导致模型总用"谢邀"开头,偏好优化时DPO和PPO来回切换,奖励模型过拟合那周验证集曲线波动得像心电图,部署时发现FP16模型在3090上吞吐量只有A100的37%,改用AWQ量化后终于达标。

生产环境的坑比想象的多

Chromadb集群半夜OOM崩溃三次才发现是相似度计算没设阈值,每秒两百次空查询把CPU打满,rerank模块用cross-encoder时延迟超标,换成双编码器缓存才救回来,业务方突然要求支持多模态检索,连夜在pipeline里插进CLIP模型,prompt压缩技术把用户五百字投诉删成三行摘要,结果漏了关键订单号被客户投诉。

资源下载
下载价格5 蛙币
原文链接:https://www.ziyuanwa.com/8463.html,转载请注明出处。
0

评论0

没有账号?注册  忘记密码?