Data connection解析及案例剖析

本节会跟大家讲一个综合案例，这是一款具有会话记忆的AI聊天机器人，旨在使用户能够以更直观的方式讨论CSV、PDF、TXT数据和YouTube视频的内容，基于不同类型的数据，以对话AI的方式进行信息的交互。举个很简单的例子，例如，上传一个PDF文件、CSV文件、或者其他类型的文件，以自然语言的方式跟它进行交互。 Gavin大咖微信：NLP_Matrix_Space

首先，执行pip install -r requirements.txt命令安装运行环境，然后，使用以下命令，启动Web页面：

streamlit run src/Home.py

如图11-1所示，在Web页面中单击“Browse files”按钮，上传一个PDF文件（ReAct- Synergizing Reasoning and Acting in Language Models.pdf）。

图11- 1 上传PDF文件

如图11-2所示，是对话机器人的聊天页面。

图11- 2 对话机器人聊天页面

如图11-3所示，是第一个步骤，先把文档加载进来，这是一个非常直白的过程，比如PDF文档、Excel文档，或者其他任意类型的文档，从理论上讲，都可以支持，为什么？因为LangChain框架提供了统一的接口，例如，加载一个PDF文件，只要你实现了统一的接口，就可以把原有格式的信息，转化成LangChain需要的格式。Gavin大咖微信：NLP_Matrix_Space

图11- 3 加载文档

PDF文件通过加载（load）的方式转化进来，是基本的文本（Text）信息。在LangChain源代码部分，如图11-4所示，有docstore、indexes、embedding等内容。

图11- 4 LangChain的docstore、indexes、embedding等目录

如果11-5所示，是LangChain的document_loaders代码目录示意图。我们执行的操作是通过文档加载（document_loaders），把特定的文件格式，例如PDF文件，从原生的文本方式，转换成LangChain需要的格式。

图11- 5 LangChain的document_loaders目录

如图11-6所示，LangChain支持很多不同的类型，例如：Figma，它是一款实用的UI设计工具，帮助团队完成设计创建、测试和发布，是为设计师而做的产品。LangChain也支持git格式。

图11- 6 document_loaders支持Figma等各种格式

如图11-7所示， LangChain还支持其他很多类型的格式，例如：html、json、notion、notebook等类型。

图11- 7 document_loaders支持html、json、notion等各种格式

如图11-8所示，LangChain支持pdf格式，这是我们现在看见的PDF的内容。

图11- 8 document_loaders支持pdf等各种格式

单击打开pdf.py代码，我们看一下pdf文件加载的内容：