chatgpt微调fine-tuning

article/2024/2/25 16:06:47

openai/chatgpt微调/fine-tuning/测试用/投喂资源

微调涉及以下步骤:

准备训练数据: 链接: https://download.csdn.net/download/gujunsheng837735/87537800
直接下载可用

整理了chatgpt微调所需要的测试资源数据,按照fine-tuning的格式生成的数据集。可以直接 fine_tunes.create -t 使用。微调完毕后可以 -p 回答结果。其中包含三四百条数据。适合测试openai自定义模型的人群使用。

chatgpt微调适用于以下模型:davinci curie babbage ada。

第一步:安装 OpenAI 命令行界面 (CLI)
pip3 install --upgrade openai
第二步:

设置环境变量:OPENAI_API_KEY
export OPENAI_API_KEY=“sk-************************************************”

export OPENAI_API_KEY="sk-************************************************"

下载上面的准备训练数据
格式为:
{“prompt”: “”, “completion”: “”}
{“prompt”: “”, “completion”: “”}
{“prompt”: “”, “completion”: “”}

第三步(用上面的数据可跳过):
openai tools fine_tunes.prepare_data -f /文件存放位置/json_prepared.jsonl 

它的作用是引导你完成建议的更改后,将输出保存到 JSONL 文件中。

第四步:

创建微调模型
使用 OpenAI CLI 启动微调:

openai api fine_tunes.create -t "/文件存放位置/json_prepared.jsonl" -m davinci --suffix "davinci model test01" 

-m:chatgpt微调适用于以下模型:davinci curie babbage ada。(不加m参数 默认是curie)
–suffix:自定义模型名称

刚刚的命令会执行这几项操作:

  1. 第一次使用json_prepared.jsonl的时候会上传文件,如果下次依旧用这个文件训练其他模型的话,就不会重复上次了。
  2. 创建微调任务
  3. 传输过程直到完成(一般情况挺快的,但如果前面很多排队的,你就得慢慢等,自己训练数据量的大小也会影响速度)
  4. 如果事件中断了,可以通过以下命令来恢复:
openai api fine_tunes.follow -i ft-************************

你的微调工作id:ft-************************

微调完成以后可以在命令行测试:
openai api completions.create -m davinci:ft-********:davinci-model-test01-2023-03-02-09-13-35 -p "小明的妈妈有三个儿子,大儿子叫大明,二儿子叫二明,三儿子叫什么。"

-m: 刚刚创建成功的微调模型名称
-p: 你要提问的问题


http://chatgpt.dhexx.cn/article/phGGW0QT.shtml

相关文章

chatgpt赋能python:Python下载安装指南

Python下载安装指南 Python是一种易学易用的高级编程语言,它是很多软件工程师的首选语言。在这篇文章中,我们将介绍如何下载和安装Python,以便你可以开始使用这个强大的语言。 下载Python 首先,你需要下载Python的安装程序。请…

在HBuilderX中使用ChatGPT

在HBuilderX中使用ChatGPT,需要安装相应插件。 插件地址:Ask chatGPT, 无需任何配置直接使用 - DCloud 插件市场

在Idea中添加ChatGPT插件——PyCharm

一、下载插件 在setting设置中找到Plugins,下载插件,要点apply应用按钮。 二、相关设置 重启idea,在右边可以看到chatGPT图标 此时还不能使用,输入问题后显示下图右下角的内容,提示缺少token, 下面打开设…

在线可玩的 ChatGPT

这段时间发布了很多AI产品,包括GPT4,MidjourneyV5 ,文心一言,Microsoft 365 Copilot,ai产品要百花齐放了,这里就分享几个基于chatgpt的网站,在线可玩。 ChatGPT prompts 这个网站收集了各种 Cha…

中文ChatGPT平替——ChatGLM:全新对话模型内测,手把手调教开源单卡版本

❤️觉得内容不错的话,欢迎点赞收藏加关注😊😊😊,后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论(包括但不限于NLP算法相关,linux学习相关,读研读博…

开源项目ChatGPT-website再次更新,累计下载使用1600+

📋 个人简介 💖 作者简介:大家好,我是阿牛,全栈领域优质创作者。😜📝 个人主页:馆主阿牛🔥🎉 支持我:点赞👍收藏⭐️留言&#x1f4d…

ChatGPT应用工具

ChatGPT作为一种先进的自然生成技术,已经在各个领域展现出了其强大的应用能力,下面将给大家介绍一些ChatGPT的功能应用。 简介 此系统是基于likeadmin—PHP开发的智能对话系统,ChatGPT是一种基于人工智能技术的聊天机器人,它可以…

FastChat-Vicuna开放,媲美ChatGPT的90%能力——从下载到安装、部署

FastChat-Vicuna开放,媲美ChatGPT的90%能力——从下载到安装、部署 前言两个前置软件创建FastChat虚拟环境安装PyTorch安装 FastChat下载 LLaMA,并转换为HF格式生成FastChat对应的模型Vicuna启动FastChat的命令行交互将模型部署为一个服务,提…

面试官-你真的懂computed原理?(源码解读)

要理解 computed 的工作原理,只需要理解下面4个特性 - 特性1:computed默认不执行(因为 lazy 的原因,在新建watcher实例的时候,会将 watcher.value 赋值为 undefined,而不会立马进行计算。) - 特性2:取值的…

ChatGPT的兴起的时代,国内chatgpt产品大盘点

1、 百度文心一言 2023年3月发布 文心一言​yiyan.baidu.com/ 2、阿里通义千问 2023年4月发布 通义千问​tongyi.aliyun.com/ 3、讯飞火星 2023年5月发布 讯飞星火认知大模型​xinghuo.xfyun.cn/ 4、360:360智脑 2023年4月发布 360智脑 x 360搜索邀您体验​…

ChatGPT是什么?为何会引爆国内算力需求?

过去十年中,通过“深度学习大算力”从而获得训练模型是实现人工智能的主流技术途径。由于深度学习、数据和算力这三个要素都已具备,全世界掀起了“大炼模型”的热潮,也催生了大批人工智能企业。 大模型是人工智能的发展趋势和未来 大模型&…

国内那么多AI专业,为什么国内却没有ChatGPT?

作者:赵俊博 Jake(浙大博导 AI专家) 浙大青椒,谢邀。以下纯为个人观点,不喜勿喷。 首先,我必须肯定一下ChatGPT,这个模型展现出来如下几个点让我震惊:(1)推…

你如何看待,“国内ChatGPT还没成熟,但ChatGPT的付费模式已经成熟了?”

作者:小傅哥 博客:https://bugstack.cn 沉淀、分享、成长,让自己和他人都能有所收获!😄 说来奇怪🤔,我们从0到1的事往往较少,但从1到100的嫁衣神功却很多也很快。就像 ChatGPT 还没有…

国内这么多“ChatGPT”是真是假

国内这些产品是真的吗?与国外的ChatGPT有什么联系? 用ChatGPT官方图标当头像 免费试用几次后开始收费 据澎湃科技报道,随手点开微信搜索框,就可以发现一系列与ChatGPT“沾亲带故”的产品,并以ChatGPT的官方图标为头像。…

国内版 ChatGPT 要来了?传百度有此计划

整理 | 苏宓 出品 | CSDN(ID:CSDNnews) ChatGPT 横空出现,引发 AIGC 热潮。虽然 ChatGPT 目前尚未面向国内普通用户开放,但是其彰显的潜力也引得很多开发者、企业跃跃欲试,这其中便包括了搜索引擎巨头百度。…

文心一言:中国版“ChatGPT”介绍与测评

👨‍💻作者简介: 大数据专业硕士在读,CSDN人工智能领域博客专家,阿里云专家博主,专注大数据与人工智能知识分享。公众号:GoAI的学习小屋 ,免费分享书籍、简历、导图等资料&#xff0…

借助国内ChatGPT平替+MindShow,飞速制作PPT

系列文章目录 借助国内ChatGPT平替markmap/Xmind飞速生成思维导图 借助国内ChatGPT平替剪映/百度AIGC平台快速制作短视频 利用ChatGPT编写Excel公式,对比讯飞星火与ChatGPT对Excel公式的回答 文章目录 系列文章目录前言一、科大讯飞“星火”认知大模型介绍二、使…

阿猫智能机器人称:国内用户轻松训练类ChatGPT等大语言模型,使得人人都能拥有自己的ChatGPT!

4月12日,微软宣布开源了Deep Speed Chat,帮助用户轻松训练类ChatGPT等大语言模型,使得人人都能拥有自己的ChatGPT!(国内chatgpt平台阿猫智能机器人项目合作地址:https://3amao.comGptChat, AI, APIhttps://…

不要让ChatGPT成为你的智商税

难处 我相信有部分人苦于政策,但是又没有途径,没法享受到chatGpt带来的便利。 我也相信有不少无良的人,在百度浏览器的各个官网搞什么接入openaiAPI的网站,欺骗广大人民交那么几十块。 这种行为本身不合理,也不合法…

全网唯一,不忽悠的ChatGPT

Datawhale干货 作者:Ben,中山大学,Datawhale成员 最近ChatGPT火出圈了,它和前阵子的Stable Diffusion(AIGC)一样成为社交媒体上人们津津乐道的话题。“ChatGPT要取代谷歌搜索了?”“ChatGPT要让…