chatgpt可以本地部署吗 本地部署chatGPT要多大显存

本文目录一览：

• 1、基于自己数据微调LLama3并本地化部署
• 2、ChatGLM-6B是如何生成回复的?技术详解
• 3、Discord频道添加GPT4-Bot(Windows+Python)
• 4、GPT大语言模型Vicuna本地化部署实践(效果秒杀Alpaca)

基于自己数据微调LLama3并本地化部署

微调Llama3，遵循官方教程调整。设置训练参数（利用lora微调，适当调整秩、学习率和训练步数）。训练模型，保存lora。使用llama.cpp合并模型，量化为4位gguf格式。安装llama.cpp，转换模型为f16 GGUF格式。将模型转换为q4_k_m格式。挂载谷歌云盘，复制模型至Google Drive。

本地Web Demo部署 创建并配置环境：创建一个conda环境，命名为llama3，并设置Python版本为10。激活该环境，并下载必要的库。下载模型：在指定文件夹中，安装gitlfs依赖。使用gitlfs下载所需模型，或者使用软链接方式将InternStudio中的模型导入。

创建容器 在OpenBayes平台上，选择一台搭载了RTX 4090显卡的1gpu实例。 安装python10和cuda11环境，并完成容器的创建。 下载并配置llamafactory源码 从相关渠道下载llamafactory的源码。 在容器中，通过命令安装llamafactory所需的模块，注意在安装过程中不要添加代理。

ChatGLM-6B是如何生成回复的?技术详解

ChatGLM-6B生成回复的两种接口分别为stream_chat()和chat()，默认使用stream_chat()接口，但用户可以根据需要进行调整。

ChatGLM-6B是基于GLM架构的开源双语问答对话语言模型，具有62亿参数，针对中文问答和对话进行优化，经过1T标识符的中英双语训练，并采用监督微调、反馈自助、人类反馈强化学习等技术，生成符合人类偏好的PaddleNLP提供了ChatGLM微调示例代码，适合THUDM/chatglm-6b模型。

ChatGLM6B是一个由清华大学团队开发的开源大语言模型，基于Transformer架构。它支持中英文双语对话与问拥有62亿个参数，采用GLM架构，并可通过模型量化技术在普通显卡上运行。训练实操：算力购买：可直接在海光提供的超算互联网上购买算力进行训练，价格亲民。

`prompt`由`tokenizer.build_prompt(query， history)`生成，包含了历史对话和当前轮次用户输入的拼接。`answer`则为当前轮次的回复。通过查看huggingface上`chatglm2-6b`的tokenizer代码，我们发现`build_prompt`方法中包含了结束符`eos_token`，揭示了ChatGLM2多轮对话数据组织格式的关键点。

B模型，可通过服务端下载THUDM/chatglm-6b或从本地加载，以实现快速运行。加载StableDiffusion模型同样支持从服务端获取Linaqruf/anything-v0或本地加载。执行`chat_with_glm`函数，输入如你好即可开始聊天。生成的图片将保存于`pictures`目录下。项目已共享至AiStudio，可以直接Fork运行。

ChatGLM-6B是由清华大学团队开发的开源大语言模型，基于Transformer架构，支持中英文双语对话与问它拥有62亿个参数，采用GLM架构，并通过模型量化技术，可在普通显卡上运行（仅需6GB显存）。经过1T中英双语训练，结合监督微调、反馈自助及强化学习等技术，ChatGLM-6B在中文问答与对话方面表现出色。

Discord频道添加GPT4-Bot(Windows+Python)

要在Windows上使用Python将GPT4Bot添加到Discord频道，你可以按照以下步骤操作： 准备工作 Discord账号：确保你有一个Discord账号，并在其中创建或选择一个频道。获取该频道的DISCORD_BOT_TOKEN。OpenAI账号：在OpenAI平台创建一个付费账号，并获取你的OPENAI_API_KEY。

在Discord中添加NFT搜索Bot的步骤如下：创建Discord应用：启动Discord Developer Portal。点击左上角的Application，然后点击右上角的New Application，填写应用名称并完成创建。创建Bot：进入刚创建的应用的管理页面。点击右侧的Add Bot，选择Yes， do it！进行Bot创建。

创建机器人应用：在Discord开发者界面创建一个新的机器人应用。设置Bot Token和权限：为机器人应用生成一个Bot Token，并确保其具有管理员权限，以便在群聊中执行管理任务。将机器人添加到群组 使用OAuth2添加机器人：通过OAuth2授权流程，将机器人添加到之前创建的Discord群聊中。

方法一：快速三步操作 重新访问 Midjourney 官网：首先，你需要重新访问 Midjourney 的官方网站。 点击“Join the Beta”：在官网上找到并点击“Join the Beta”按钮，这将跳转至指定页面。 接受邀请并自动连接：在指定页面上接受邀请，Midjourney 会自动将 Bot 连接到你的 Discord 账户。

GPT大语言模型Vicuna本地化部署实践(效果秒杀Alpaca)

文章经过对GPT大语言模型Vicuna的本地化部署实践，其表现明显优于之前的Alpaca模型，尤其是在中文支持和推理效率上，尽管对精确推理效果和数学计算能力仍有待提升，但总体来看，Vicuna-7B已经在推荐菜谱、多语言理解和普通对话场景中展现出了优秀性能，且推理速度可观。

Vicuna模型部署过程相对简单，对于单GPU用户来说，选择lmsys/vicuna-7b-v5版本是合适的选择。Vicuna对A卡、CPU，甚至是苹果M1芯片都支持，但对内存有较高要求，适合作为个人玩具或实验开发工具。

首先，您需要从Git上克隆项目。GitHub地址：Facico/Chinese-Vicuna，这是一个基于LLaMA的中文指令遵循模型，采用低资源llama+lora方案，其结构参考了alpaca。使用命令：git clone github.com/Facico/Chinese-Vicuna 接下来，进入克隆后的文件夹。

BLOOM：由Hugging Face和BigScience Workshop合作开发的开源LLM，但后来被LLaMA模型取代。其指令微调版本为BLOOMChat，支持多语言和HuggingFace聊天界面。CerebrasGPT：由Cerebras公司开发，基于Chinchilla定律，展示了其WaffleScale技术。Dolly：使用Databricks平台训练的LLM，经过微调后在Alpaca数据集上表现有所提升。

Alpaca：特点：通过selfinstruct方法生成了52k的训练数据，并在LLaMa基础模型上进行了全参数微调。优势：提高了模型处理指令任务的能力，同时保持了较高的效率。Vicuna：特点：利用ShareGPT的对话数据进行训练，特别注重多轮对话任务。

Vicuna，以小羊驼为名，是LLaMA指令微调模型的代表，由UC伯克利开发，模型版本为Vicuna-13B。其训练过程基于ShareGPT用户分享的70k条ChatGPT对话数据，对LLaMA进行监督质量微调，性能超越LLaMA与Stanford Alpaca，接近ChatGPT水平。Stable Vicuna，基于Vicuna-13B v0进行RLHF微调的版本，由StabilityAI发布。