管家婆2023正版资料图

信息茧房、过滤泡、回声室等概念都描述了一个共同的担忧：在选择性的信息接触中，人们可能会陷入一种自我强化的反馈循环，从而失去了接触多种信息、不同观点的机会。这个复杂的社会问题有很多成因，受到包括个体、技术、场景与社会等多种因素的共同影响。但是在人们的日常认知中经常把这个多因——多果的问题，简化为“算法导致信息茧房”形式的单因——单果的说法。

1：瞭望·治国理政纪事｜中国式现代化发展之路

2：满洲里疫情外溢哈尔滨 北京海淀新增1例核酸阳性人员

3：云南新能源发电有效弥补枯水期水电下降影响

管家婆2023正版资料图有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。