望着各种大的要死的模型，终于有大神给做了一个低配置可以跑的模型。

模型效果就不用指望了，但是可以作为开发测试，或者玩玩。

languagemodels

https://github.com/jncraton/languagemodels

Python的构建模块为您提供了在任何配置有512MB RAM的计算机上探索大型语言模型的机会。

目标受众

这个包的设计尽可能简单，便于学习者和教育者探索大型语言模型如何与现代软件开发交汇。此包的接口都是使用标准类型的简单函数。大型语言模型的复杂性被隐藏起来，同时提供免费的本地推理，使用轻量级、开源模型。所有包含的模型都可免费用于教育用途，不需要API密钥，所有的推理默认都在本地进行。

安装和开始

使用以下命令可以安装此包：

pip install languagemodels

安装完成后，您应该能够像下面这样在Python中与包进行交互：

```python

>>> import languagemodels as lm

>>> lm.do("What color is the sky?")

'The color of the sky is blue.'

```

这将在首次运行时需要下载大量数据（约250MB）。模型会被缓存以供后续使用，后续调用应会快很多。

示例用法

这里有一些作为Python REPL会话的使用示例。这应该能在REPL，notebook，或传统的脚本和应用中工作。

文本补全：

```python

>>> import languagemodels as lm

>>> lm.complete("She hid in her room until")

'she was sure she was safe'

```

跟随指令：

```python

>>> import languagemodels as lm

>>> lm.do("Translate to English: Hola, mundo!")

'Hello, world!'

>>> lm.do("What is the capital of France?")

'Paris.'

```

聊天：

```python

>>> lm.chat('''

... System: Respond as a helpful assistant.

... User: What time is it?

... Assistant:

... ''')

'I'm sorry, but as an AI language model, I don't have access to real-time information. Please provide me with the specific time you are asking for so that I can assist you better.'

```

提供从外部源检索文本的辅助函数，可用于增强提示上下文。

```python

>>> import languagemodels as lm

>>> lm.get_wiki('Chemistry')

'Chemistry is the scientific study...

>>> lm.get_weather(41.8, -87.6)

'Partly cloudy with a chance of rain...

>>> lm.get_date()

'Friday, May 12, 2023 at 09:27AM'

```

语义搜索：

```python

>>> import languagemodels as lm

>>> lm.store_doc("Mars is a planet")

>>> lm.store_doc("The sun is hot")

>>> lm.load_doc("What is Mars?")

'Mars is a planet'

```

性能：

性能： 本包使用的模型比今天使用的最大模型小1000倍。它们是学习工具，但如果您期望获得与ChatGPT或类似的性能，您可能会非常失望。

该基本模型应在有512MB内存的任何系统上运行，但这个内存限制可以增加。设置这个值更高将需要更多的内存并产生结果更慢，但结果应该更好。例如：

>>> import languagemodels as lm

>>> lm.do("If I have 7 apples then eat 5, how many apples do I have?")

'You have 8 apples.'

>>> lm.set_max_ram('4gb')

4.0

>>> lm.do("If I have 7 apples then eat 5, how many apples do I have?")

'I have 2 apples left.'

项目想法

这个包可以用来做许多学习项目的重要部分：

• CLI聊天机器人（见examples/chat.py）
• Streamlit聊天机器人（见examples/streamlitchat.py）
• 有信息检索功能的聊天机器人
• 能获取实时信息的聊天机器人
• 工具使用
• 文本分类
• 提取式问题回答
• 在文档上进行语义搜索
• 文档问题回答

在examples目录下包含了一些示例程序和notebook。