本文来自作者[admin]投稿，不代表博钧号立场，如若转载，请注明出处：https://ws-game.cn/zlan/202601-1099.html
在本节中，我们评估了模型崩溃对语言模型的影响。我们在补充材料中涵盖了更多可解释的机器学习模型（VAE和GMM）。代码在参考文献中公开可用。13。
模型崩溃在机器学习模型的各个家族中都是普遍的。但是，如果通常从头开始对GMM和VAE等小型型号进行训练，LLMS则不同。它们从头开始训练非常昂贵，以至于通常使用预先训练的模型（例如Bert4，Roberta5或GPT-2）（参考文献2）初始化它们，这些模型在大型文本语料库中进行了培训。然后，它们对各种下游任务进行微调14。
在这里，我们探索语言模型与其他模型生成的数据进行顺序微调时会发生什么。我们可以轻松地复制本文中涵盖的所有实验，并在非修补设置中使用较大的语言模型来证明模型崩溃。鉴于培训单个中等大型模型是美国终生二氧化碳价值的两倍（参考文献15），我们选择不进行这样的实验，而是专注于更现实的概念验证。请注意，即使本文中描述的语言实验也花了数周的时间。我们评估了训练语言模型的最常见环境，这是一个微调设置，每个训练周期都从具有最新数据的预训练模型开始。这里的数据来自另一个微调的预训练模型。由于训练仅限于生产与原始预训练模型接近的模型，并且模型产生的数据点通常会产生很小的梯度，因此这里的期望可能是模型只能在微调后适度改变。我们微调了Meta通过拥抱Face提供的OPT-125M因果语言模型。
我们在Wikitext2 DataSet16上微调它。对于训练有素的模型，我们使用五向光束搜索。我们阻止训练序列为64个令牌。然后，对于训练集中的每个令牌序列，我们要求模型预测下一个64个令牌。我们浏览所有原始的培训数据集，并产生相同大小的人工数据集。因为我们浏览了所有原始数据集并预测所有块，所以如果模型有0个错误，则将产生原始的Wikitext2数据集。每一代的培训始于原始培训数据的生成。每个实验进行五次运行，结果显示为五个单独的运行，具有不同的随机种子。用真实的Wikitext2数据微调的原始模型从115的零射击基线获得了34个平均困惑，也就是说，它成功地学习了任务。最后，为了尽可能现实，我们使用原始任务上最佳的模型，使用原始Wikitext2验证集评估，作为后代的基本模型，这意味着 - 在实践中，可以更加明显地观察到的模型崩溃。在这里，我们考虑两个不同的设置：
这两种训练制度都导致模型中的性能降低，但是我们确实发现使用生成数据学习是可能的，并且模型可以成功地学习（某些）基础任务。特别是，从图1及其在补充材料中的3D版本中，我们看到模型崩溃发生了，因为在世代相传的样品的密度开始积累。反过来，这几代人可能会类似地崩溃到三角洲函数。
重要的是要注意，观察到的行为与“理论直觉”部分中建立的一般直觉一致。确切地说，在所有实验中，世代学习仅在有限的（通常很少）的世代上进行，而“理论直觉”部分的主张大多以世代的限制为Infinity。但是，从补充材料中的VAE和GMM的实验中可以看出，收敛到三角洲功能和这种收敛的特定速率与所考虑的问题的细节高度相关，即使在少量步骤之后，也可能发生完全崩溃。理论上在补充材料中进一步说明了这一点，其中即使经过几代人，也可能会出现与原始模型的差异。
图1B，左侧的C显示了由不同世代生成的单个数据点困惑的直方图，这是由使用Real Wikitext2训练数据开发的第一个模型评估的。在这里，在几代人中，模型倾向于产生更多原始模型会产生较高可能性的序列。观察到的效果类似于补充材料中VAE和GMM所述的效果，其中（几代人）模型开始生成原始模型较高概率产生的样品。同时，我们发现生成的数据具有更长的尾巴，这表明原始模型永远不会产生某些数据，这些数据是由于使用生成数据而累积的错误。
由模型崩溃影响的OPT-125M模型的文本输出的示例 - 代替了几代人的降级，为此，每个新一代都经过上一代生产的数据培训。
我们发现，在实验中，语言模型生成的数据最终包含大量重复短语，如示例1所示。在几乎所有文本生成模型17,18中都观察到了重复问题17,18，并且为了将其排除为模型崩溃的原因，我们进一步鼓励模型明确地提供非重复序列的数值实验。我们发现，这会导致模型产生较低的分数连续性以避免使用重复序列，从而导致随后的模型的性能更糟。模型的困惑度在整个世代转向了更可能的令牌序列，该序列是使用对原始真实数据分布训练的模型进行了测量的。补充材料中提供了进一步的插图。特别是，对LLM实验执行此操作会导致与原始相比的困惑两倍。模型仍然容易受到模型崩溃的影响，即使不是更多。
所描述的过程表明，语言模型的微调不能遏制模型崩溃的效果，而被微调的模型也很脆弱。我们发现，在几代人中，模型倾向于从原始数据中产生更可能的序列，并开始引入自己的不可能的序列，即错误。
赞 (30)
关于作者
文章推荐
-
用于印刷晶体管的高驾驶电子传输聚合物
印刷电子产品是一项革命性的技术，旨在在塑料箔上制造非常规电子设备，并且可能依靠有机薄膜晶体管（OTFT）制造的聚合物半导体。除了在环境条件下具有出色的电荷传输特性外，此类材料还必须满足其他关键要求，例如化学稳定性，常见溶剂中的大溶解性以及廉价的溶液和/或低温处理。此外，P通道（孔传输）和N通道（
-
小师妹金技能/小师妹金色技能
《无双小师妹》人要衣装佛要金装(下)—上官欢篇1、《无双小师妹》中上官欢的时装汇总及特殊技能简介如下：正太可爱的熊猫时装描述：这款时装以上官欢身着可爱的熊猫套装为特色，憨态可掬，萌力全开。熊猫的黑白配色与圆润造型，让上官欢瞬间变身成为游戏中的萌宠。特殊技能：可能附带增加角色亲和力或降低敌人攻击
-
众泰汽车t600pps价钱多少
众泰T600设计上有着德系风范造型，外观大气，时尚，众泰T600走的是亲民路线，低配价格仅为7.98万，最高配也才13.58万，综合性价比非常的高，配置丰富，属于经济实用型的SUV。价格各地存在差异，具体以当地报价为准。众泰T600Coupe油耗高吗？听听车主们的真实感受二手众泰t600挺不错的。
-
大众dsg是什么档次
大众旗下的?迈腾和帕萨特这两款车堪称国内商务中型轿车市场的中坚力量，上市多年来它们一直占据着销量榜的头几名，也是街头能见度极高的车型。如今走在市区街头随意一瞥，都会出现在视野里。群众的选择往往不会错，销量好的车也逃不开真香定律。西装革履正襟危坐也许是有点无趣，不过了解一下的话就会发现他们往往有不少真
-
捷安特XTC770 原售价多少钱
2015款捷安特ATX山地车系列捷安特ATX660价格：1458元捷安特ATX670价格：1480元捷安特ATX680价格：1698元捷安特ATX690价格：2198元捷安特ATX20价格：1258元捷安特ATX24-D价格：1598元捷安特ATX810价格：1998元捷安特ATX730价格：199
-
世界名车前二十名是什么-
1.布加迪EB16.4威龙———120万美元最贵理由：11=1最高车速405.7公里/小时，比起历经10年未被打破的麦克拉伦车队在一级方程式大赛中创下的纪录还快19公里/时，0～100公里/小时加速时间为2.9秒，比F1纪录快0.3秒，每辆售价约120万美元，相当于两辆法拉利。2.法拉利En
-
手动挡起步技巧点油门-
手动挡起步点油门技巧：1、手动挡车子起步油门在离合后挂1挡起步离合松掉（平路上不溜车的情况下）后可以加油门；2、首先轻踩油门（让转速表有微微浮动，就像赛车就位时轰油门一样，但是不要浮动太大，相当于预热）这个也是手动挡汽车快速起步技巧中关键的起步动作，慢抬离合（从离合踩到底到最后全部放开都要慢，这是关
-
邢台微信公众号查违章
5.在公众号主页，点击“关注公众号”;6.进入公众号后，点击底栏的“查询工具”，再在弹出的列表里，选择“违章查询”;7.在违章查询界面，选择查询城市，填入车牌号等相关信息，就能够查询交通违章。查询后，假如发生了违章，系统会提示违章地点、违章行为、罚金、记分等信息。下方是一些车主使用本站微信公众
-
油电混动suv汽车排行榜前十名
油电混动SUV车型前十有途观L新能源、标致4008新能源、荣威RX5新能源、缤越ePro、大指挥官PHEV、星越新能源、名爵HS新能源、探岳GTE、唐新能源、领克01新能源。1、途观L新能源对于途观L新能源的用户而言，让用户选择途观L的肯定不止是绿牌，本质上是搭配了一套插电式混合动力系统以后，灵活性
评论列表（3条）
我是博钧号的签约作者“admin”
本文概览： 在本节中，我们评估了模型崩溃对语言模型的影响。我们在补充材料中涵盖了更多可解释的机器学习模型（VAE和GMM）。代码在参考文献中公开可用。13。 模型崩溃在机器学...
文章不错《AI模型在经过递归生成的数据进行培训时崩溃》内容很有帮助