WTF Langchain极简入门: 02. 模型
最近在学习Langchain框架,顺手写一个“WTF Langchain极简入门”,供小白们使用(编程大佬可以另找教程)。本教程默认以下前提:
- 使用Python版本的Langchain
- LLM使用OpenAI的模型
- Langchain目前还处于快速发展阶段,版本迭代频繁,为避免示例代码失效,本教程统一使用版本 0.0.235
根据Langchain的代码约定,Python版本 ">=3.8.1,<4.0"。
所有代码和教程开源在github: github.com/sugarforever/wtf-langchain
模型简介
Langchain所封装的模型分为两类:
- 大语言模型 (LLM)
- 聊天模型 (Chat Models)
在后续的内容中,为简化描述,我们将使用 LLM
来指代大语言模型。
Langchain的支持众多模型供应商,包括OpenAI、ChatGLM、HuggingFace等。本教程中,我们将以OpenAI为例,后续内容中提到的模型默认为OpenAI提供的模型。
Langchain的封装,比如,对OpenAI模型的封装,实际上是指的是对OpenAI API的封装。
LLM
LLM
是一种基于统计的机器学习模型,用于对文本数据进行建模和生成。LLM学习和捕捉文本数据中的语言模式、语法规则和语义关系,以生成连贯并合乎语言规则的文本。
在Langchain的环境中,LLM特指文本补全模型(text completion model)。
注,文本补全模型是一种基于语言模型的机器学习模型,根据上下文的语境和语言规律,自动推断出最有可能的下一个文本补全。
输入 | 输出 |
---|---|
一条文本内容 | 一条文本内容 |
聊天模型 (Chat Models)
聊天模型是语言模型的一种变体。聊天模型使用语言模型,并提供基于"聊天消息"的接口。
输入 | 输出 |
---|---|
一组聊天消息 | 一条聊天消息 |
聊天消息
除了消息内容文本,还会包含一些其他参数数据。这在后续的内容中会看到。
Langchain与OpenAI模型
参考OpenAI Model endpoint compatibility 文档,gpt模型都归为了聊天模型,而davinci, curie, babbage, ada模型都归为了文本补全模型。
ENDPOINT | MODEL NAME |
---|---|
/v1/chat/completions | gpt-4, gpt-4-0613, gpt-4-32k, gpt-4-32k-0613, gpt-3.5-turbo, gpt-3.5-turbo-0613, gpt-3.5-turbo-16k, gpt-3.5-turbo-16k-0613 |
/v1/completions | (Legacy) text-davinci-003, text-davinci-002, text-davinci-001, text-curie-001, text-babbage-001, text-ada-001, davinci, curie, babbage, ada |
Langchain提供接口集成不同的模型。为了便于切换模型,Langchain将不同模型抽象为相同的接口 BaseLanguageModel
,并提供 predict
和 predict_messages
函数来调用模型。
当使用LLM时推荐使用predict函数,当使用聊天模型时推荐使用predict_messages函数。
示例代码
接下来我们来看看如何在Langchain中使用LLM和聊天模型。
与LLM的交互
与LLM的交互,我们需要使用 langchain.llms
模块中的 OpenAI
类。
from langchain.llms import OpenAI
import os
os.environ['OPENAI_API_KEY'] = '您的有效OpenAI API Key'
llm = OpenAI(model_name="text-davinci-003")
response = llm.predict("What is AI?")
print(response)
你应该能看到类似如下输出:
AI (Artificial Intelligence) is a branch of computer science that deals with creating intelligent machines that can think, reason, learn, and problem solve. AI systems are designed to mimic human behavior and can be used to automate tasks or provide insights into data. AI can be used in a variety of fields, such as healthcare, finance, robotics, and more.
与聊天模型的交互
与聊天模型的交互,我们需要使用 langchain.chat_models
模块中的 ChatOpenAI
类。
from langchain.chat_models import ChatOpenAI
from langchain.schema import AIMessage, HumanMessage, SystemMessage
import os
os.environ['OPENAI_API_KEY'] = '您的有效OpenAI API Key'
chat = ChatOpenAI(temperature=0)
response = chat.predict_messages([
HumanMessage(content="What is AI?")
])
print(response)
你应该能看到类似如下输出:
content='AI, or Artificial Intelligence, refers to the simulation of human intelligence processes by machines, especially computer systems. These processes include learning, reasoning, problem-solving, perception, and language understanding. AI technology has the capability to drastically change and improve the way we work, live, and interact.' additional_kwargs={} example=False
通过以下代码我们查看一下 response
变量的类型:
response.__class__
可以看到,它是一个 AIMessage
类型的对象。
langchain.schema.messages.AIMessage
接下来我们使用 SystemMessage
指令来指定模型的行为。如下代码指定模型对AI一无所知,在回答AI相关问题时,回答“I don't know”。
response = chat.predict_messages([
SystemMessage(content="You are a chatbot that knows nothing about AI. When you are asked about AI, you must say 'I don\'t know'"),
HumanMessage(content="What is deep learning?")
])
print(response)
你应该能看到类似如下输出:
content="I don't know." additional_kwargs={} example=False
3个消息类
Langchain框架提供了三个消息类,分别是 AIMessage
、HumanMessage
和 SystemMessage
。它们对应了OpenAI聊天模型API支持的不同角色 assistant
、user
和 system
。请参考 OpenAI API文档 - Chat - Role。
Langchain类 | OpenAI角色 | 作用 |
---|---|---|
AIMessage | assistant | 模型回答的消息 |
HumanMessage | user | 用户向模型的请求或提问 |
SystemMessage | system | 系统指令,用于指定模型的行为 |
总结
本节课程中,我们学习了模型的基本概念,LLM与聊天模型的差异,并基于 Langchain
实现了分别与OpenAI LLM和聊天模型的交互。
要注意,虽然是聊天,但是当前我们所实现的交互并没有记忆能力,也就是说,模型并不会记住之前的对话内容。在后续的内容中,我们将学习如何实现记忆能力。