分歧数据集有分歧的Scaling law？而你可用一个紧缩算法来预计它
一般而言，训练神经网络耗费的盘算量越大，其性能就越好。在扩大盘算规模时，必须要做个决定：是增多模型参数目还是提升数据集巨细 —— 必须在固定的盘算预算下权衡此两项因素。Scaling law 告诉我们：只要能适当地分配参数和数据，就能在固定盘算预算下实现性能最大化。之前已有不少研究探索过神经说话模型的 Scaling law，而这些研究通常得出的结论是参数和训练 token 数应当一比一地扩展。但…- 9
- 0
gzip
扫码打开当前页
- ￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×