chatGPT发展过程 protac发展历程

本文目录一览：

• 1、chatbott是什么?
• 2、OpenAI首次揭秘GPT训练细节
• 3、ChatGPT原理详解+实操(1)---SFT(GPT模型精调)
• 4、非结构化数据如何可视化呈现？
• 5、一文教你基于LangChain和ChatGLM3搭建本地知识库问答

chatbott是什么?

对话机器人（Chatbot）是一种程序化的输入-输出系统，旨在通过书面文本与人类在特定领域进行互动的聊天机器人。 用户可以向Chatbot提出问题或下达指令，例如查询最新资讯或询问天气情况，Chatbot会根据关键词匹配数据库并提供答案。

Chatbot是一种计算机程序，旨在模拟与人类进行对话交互。它是基于人工智能技术的应用，通常使用自然语言处理和文本分析来理解用户的输入，并生成相应的回复。Chatbot可以在多个领域和平台上使用，包括网站、手机应用、社交媒体和即时通讯平台等。

chatbot 聊天机器人 聊天机器人（Chatterbot）是经由对话或文字进行交谈的计算机程序。能够模拟人类对话，通过图灵测试。聊天机器人可用于实用的目的，如客户服务或资讯获取。

OpenAI首次揭秘GPT训练细节

1、在预训练阶段，我们通过将标记化后的数组输入Transformer，利用批处理思想分批导入数据。每次训练关注一个特定的单元格，该单元格查看其之前的标记并预测下一个标记。Transformer网络尝试为序列中的下一个标记提供概率分布，然后根据这个分布选择相应的标记作为输出。

2、随着2022年10月 MiniMax 推出Glow，11月OpenAI的ChatGPT登场，MiniMax成为了中国AGI讨论的焦点。闫俊杰不再需要过多解释，而2023年春节后，国内创业者和投资者纷纷寻找类似MiniMax的公司。MiniMax凭借Glow和星野，迅速成为热门创业公司，尤其在经历Glow下架后的升级版星野，用户数量和活跃度猛增。

ChatGPT原理详解+实操(1)---SFT(GPT模型精调)

SFT(supervised fine-tuning)原理SFT是InstructGPT的核心步骤之一，其原理简单但数据需求量大。GPT模型通过大量有监督的Prompt数据进行精调，主要任务是预测下一个token。在精调后的模型对每个输入的文本与Prompt组合进行生成，产生4到9个输出，并进行解码操作。具体流程如图所示。

GPT5（原Instruct GPT）的改进源于对原有GPT-3在理解人类指令方面的局限。GPT-3虽然在某些下游任务中表现出色，但对非标准指令的理解能力较弱，如需要将其转化为机器翻译还是同语言转述等，这就催生了GPT5的诞生。

第一步是使用预训练的 gpt-3 模型进行微调，针对用户实际交互场景的数据进行 finetune。训练过程中，数据集将被下载并转换为 parquet 格式，用于后续处理。在训练结束时，将生成训练日志，包括损失、学习率等关键指标，供后续分析与优化。

非结构化数据如何可视化呈现？

1、其次，整合与清洗数据集： 去除冗余列：检查数据集，移除不必要的列，以简化数据结构。 整合数据集：如果数据集分散在多个表中，需要通过适当的键将它们并联起来，形成一个结构化的数据集。

2、信息可视化（Information visualization）则是一个跨学科领域，主要研究大规模非数值信息资源的视觉呈现。信息可视化侧重于帮助人们理解和分析数据，特别是在处理软件系统中的大量非数值型信息时更为有效。例如，软件系统中的文件、程序代码等，以及非结构化文本或高维空间中的点等数据集。

3、核心：基于不同数据类型和格式，运用数据挖掘算法科学呈现数据特点。价值：挖掘数据内在价值，快速处理大数据，为决策提供科学依据。预测性分析：应用：大数据分析的重要应用领域之一。方法：通过挖掘数据特点，建立科学模型，预测未来数据变化。语义引擎：挑战：应对非结构化数据的多元化挑战。

4、基于可视化分析和数据挖掘的结果，预测性分析能够让分析员做出一些预测性的判断，为决策提供有力支持。语义引擎（Semantic Engines）：语义引擎用于解析、提取和分析非结构化数据，能够从“文档”中智能提取信息，应对数据分析的新挑战。

5、量大 大数据首要特征是其数据量巨大，往往由数十亿及以上的数据组成。这些数据包括结构化数据（例如传统数据库中的数据）、半结构化数据、以及非结构化数据。与传统数据库相比，大数据的数据存储量增长非常快，一天之内的数据存储量可能就已经达到了几百亿或更高。

一文教你基于LangChain和ChatGLM3搭建本地知识库问答

ChatGLM3是基于Transformer的开源语言模型，由清华大学KEG实验室和智谱AI公司训练。提供文本处理、对话流畅性等功能。2 LangChain框架 LangChain是一个开源框架，允许开发者结合GPT-4等大语言模型与外部数据源，实现复杂功能，如问答系统。

受GanymedeNil和AlexZhangji的启发，我们构建了一个全开源模型驱动的本地知识库问答系统，支持ChatGLM-6B和其他模型通过fastchat api接入，包括Vicuna、Alpaca、LLaMA、Koala、RWKV等。默认使用GanymedeNil/text2vec-large-chinese作为嵌入，并使用ChatGLM-6B作为语言模型。

本文介绍如何安装和使用LangChain-Chatchat，一个基于Langchain与ChatGLM等大语言模型的本地知识库问答应用。安装步骤分为三种方式：autoDL、docker和本地部署。本地部署虽然较为麻烦，但能提供更灵活的调试环境和深入了解项目运行机制的机会。

部署基于 Langchain 与 ChatGLM 的本地知识库问答应用 LangChain-Chatchat，我尝试了私有化部署，遵循仓库内的 readme 和 INSTALL.md。过程中遇到了一些小问题，如缺少某些库，导致一键启动脚本启动的服务无法通过服务器IP外部访问。

普通的对话体验与单独使用ChatGLM26b相似。知识库问答部分能够从上传的文档中提取信息并提供答案，但问答过程缺乏指导，需要用户自行探索有效提问方式。总结：LangchainChatchat作为本地知识库问答应用，在文档内容提取和问答方面展现了一定的拓展能力。

在应用实例中，如LangChain框架结合ChatGLM2-6B，通过本地知识库提升问答质量。它涉及加载和处理本地知识文件，如章节划分和向量化存储，以及用户查询的向量化匹配和LLM的参与。然而，应用中也存在挑战，如回答质量、信息检索准确性和模型生成的合理性。