使用PAI-DSW搭建基于LangChain的检索知识库问答机器人

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 在本教程中,您将学习如何在阿里云交互式建模(PAI-DSW)中,基于LangChain的检索知识库实现知识问答。旨在建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

1. 教程简述

在本教程中,您将学习如何在阿里云交互式建模(PAI-DSW)中,基于LangChain的检索知识库实现知识问答。旨在建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

LangChain是一个开源的框架,可以让AI开发人员将像GPT-4这样的大语言模型(LLM)和外部数据结合起来,从而在尽可能少消耗计算资源的情况下,获得更好的性能和效果。本教程启动LangChain WebUI页面,进行春节相关传统文化习俗的知识问答的示例效果如图所示。

image.png

基于本教程可以体验:

新用户可免费领取价值万元的人工智能平台PAI 试用资源

学会如何快速在阿里云上创建一个交互式训练开发环境。

学会如何在DSW中安装LangChain应用以及启动WebUI。

学会如何在WebUI中进行知识问答。



2. 使用PAI-DSW搭建基于LangChain的检索知识库问答机器人

2.1 准备环境和资源

2.1.1 领取交互式建模PAI-DSW免费试用权益

前往试用中心,领取交互式建模PAI-DSW产品免费试用资源包。

对于交互式建模 PAI-DSW 的新用户,阿里云提供了5000CU*H 的免费试用资源,可以在活动页面中直接领取(试用规则请参照阿里云免费试用);或可以购买交互式建模 PAI-DSW 资源包参与活动,购买链接:PAI-DSW 100CU*H资源包,价格 59 元起;如不购买资源包,PAI-DSW 会按量进行计费,计费标准详见阿里云产品定价。

2.1.2 创建PAI-DSW实例(需要补充)

  1. 前往人工智能平台PAI控制台
  2. 开通人工智能PAI并创建默认工作空间。请参见开通并创建默认工作空间
  3. 在人工智能平台PAI控制台内,选择交互式建模PAI-DSW,或点击链接。

image.png

  1. 点击创建实例(如上图)
  2. 自定义输入实例名称

image.png

  1. 选择机型:已领取免费试用权益:选择GPU规格分类下的ecs.gn6v-c8g1.2xlarge或ecs.gn7i-c8g1.2xlarge,支持资源包抵扣;此外其他机型需付费;若无库存可选择其他region尝试,或选择付费机型。

    未领取免费试用:可选择任意A10或V100机型,需自费。

image.png

  1. 选择镜像:modelscope:1.9.1-pytorch2.0.1tensorflow2.13.0-gpu-py38-cu118-ubuntu20.04

image.png

  1. 创建实例

实例状态:启动中-资源准备中-环境准备中-运行中约需3-5分钟,当状态为“运行中”时,实例创建成功。

2.1.3 在DSW中打开教程文件

  1. 打开最佳实践教程 >> 基于LangChain的检索知识库问答WebUI
  2. 在教程右上角 点击 “在DSW中打开”

image.png

  1. 选择刚刚创建好的实例

image.png

2.1.4运行教程文件

  1. 在打开的教程文件langchain_retrieval_question_answering_webui.ipynb文件中,您可以直接看到教程文本,您可以在教程文件中直接运行对应的步骤的命令,当成功运行结束一个步骤命令后,再顺次运行下个步骤的命令。

image.png

  1. 当第3步启动服务运行完成后,在返回的运行详情结果中单击URL链接(http://127.0.0.1:7860),进入WebUI页面。后续,您可以在该页面中进行知识问答。【说明】如果因为网络原因导致打开的WebUI页面显示空白,您可以尝试切换到其他地域或重新运行步骤1中的命令,重新打开WebUI页面。

image.png

2.2 完成部署开始体验

完成以上操作后,您已经成功完成了LangChain应用的WebUI部署。您可以在WebUI页面进行知识问答。

在LangChain WebUI页面左侧请上传知识库文件区域中,已预先为您配置了知识库文件。您也可以单击请上传知识库文件上传自定义的知识库文件,支持的文件格式为.txt.md.docx。在WebUI页面底部请输入问题文本框中,输入业务数据相关的问题,然后单击发送按钮,就可以进行知识问答。

1.删除现有文档,上传春节相关知识库文档

image.png

2.知识库文件向量化

image.png

3.输入问题并发送

image.png

image.png

3. 资源清理及后续

3.1 清理

  • 在实验完成后,可前往对应产品控制台,停止或删除实例(两个操作均可),避免实例持续处于运行中,在超出免费试用额度后,带来额外的扣费

image.png

  • 后续仍考虑使用该实例>>停止;后续不再使用该实例>>删除,成功停止后即停止资源消耗。

3.2 后续

在试用有效期期间,您还可以继续使用DSW实例进行模型训练和推理验证。


如需技术支持,请在钉钉搜索群号「 52485000325」,加入群聊

相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
1天前
|
机器学习/深度学习 自然语言处理 机器人
【RAG实践】基于LlamaIndex和Qwen1.5搭建基于本地知识库的问答机器人
LLM会产生误导性的 “幻觉”,依赖的信息可能过时,处理特定知识时效率不高,缺乏专业领域的深度洞察,同时在推理能力上也有所欠缺。
|
1天前
|
存储 自然语言处理 Cloud Native
云数据仓库ADB问题之全文索引检索字段过长时条件会失效如何解决
云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。
75 4
|
1天前
|
机器学习/深度学习 人工智能 数据库
部署AI大模型,为何必须建立向量数据库和其他知识库?
人工智能将继续快速发展,尤其是在语言模型领域,这些进步有望以前所未有的方式进行变革。
|
1天前
|
存储 机器学习/深度学习 人工智能
RAG:AI大模型联合向量数据库和 Llama-index,助力检索增强生成技术
RAG:AI大模型联合向量数据库和 Llama-index,助力检索增强生成技术
RAG:AI大模型联合向量数据库和 Llama-index,助力检索增强生成技术
|
1天前
|
自然语言处理 API 开发工具
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手(检索增强生成(RAG)大模型)
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手(检索增强生成(RAG)大模型)
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手(检索增强生成(RAG)大模型)
|
1天前
|
存储 SQL 关系型数据库
【LLM】基于pvVevtor和LangChain构建RAG(检索增强)服务
【5月更文挑战第4天】基于pgVector和LangChain构建RAG检索增强服务
|
1天前
|
人工智能 自然语言处理 Cloud Native
向量检索服务在语义检索、知识库搭建、AI多模态搜索等场景中有着广泛的应用
向量检索服务在语义检索、知识库搭建、AI多模态搜索等场景中有着广泛的应用
89 0
|
1天前
|
存储 人工智能 数据库
【AI大模型应用开发】【LangChain系列】2. 一文全览LangChain数据连接模块:从文档加载到向量检索RAG,理论+实战+细节
【AI大模型应用开发】【LangChain系列】2. 一文全览LangChain数据连接模块:从文档加载到向量检索RAG,理论+实战+细节
72 0
|
1天前
|
数据采集 存储 人工智能
理解词向量、向量数据库、嵌入模型、数据预处理和本地知识库
本文介绍了词向量、向量数据库、嵌入模型和构建本地知识库等内容。
|
1天前
|
人工智能 自然语言处理 监控
通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
本文展示了如何使用阿里云向量检索 Milvus 版和灵积(Dashscope)提供的通用千问大模型能力,快速构建一个基于专属知识库的问答系统。在示例中,我们通过接入灵积的通义千问 API 及文本嵌入(Embedding)API 来实现 LLM 大模型的相关功能。
通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统

热门文章

最新文章

http://www.vxiaotou.com