有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。

      Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。精准三中三论坛网站

      “发展新质生产力，科技创新是核心要素，产业创新是关键载体，两者相互促进，互为支撑。”四川省委书记王晓晖表示，要完整准确全面贯彻新发展理念，因地制宜发展新质生产力，以科技创新塑造发展新动能新优势，深入推进发展方式、发展动力、发展领域、发展质量变革，加快四川高质量发展。精准三中三论坛网站

      开展习近平文化思想研究阐释须统筹各方力量，浙江将发挥省域独特优势，进行深入探索。一是发挥理论优势。任何科学理论的出现，都是过程与结果的辩证统一。研究习近平文化思想，既要把握“全貌”也要观照“过程”。习近平总书记在浙江工作期间，从战略意义、内涵要义、发展规律、实践体系、方法路径、制度保证等各方面对推进文化建设作出系列重要论述，彰显出鲜明的文化战略性、主体性、引领性、创新性。要通过回望回溯历史场景，充分感受习近平总书记思考决策背后的深谋远虑，体会其风范情怀，深入研究习近平文化思想蕴含的道理学理哲理。二是发挥人文优势。浙江是中华文明重要发祥地之一、中国革命红船启航地。“良渚遗址是实证中华五千年文明史的圣地”，透过良渚文化，能够更加深刻把握中华文明的伟大起源、发展脉络和突出特性。浙江将持续推进文明之源大遗址保护群、世界文化遗产群打造，深入实施文化研究工程，统筹推进上山、良渚、大运河等文化发掘研究，吴越、宋韵、阳明等文化传承发展，红船精神、浙江精神等研究传播，在中华优秀传统文化、革命文化、社会主义先进文化研究上积极探索。三是发挥实践优势。浙江肩负着打造新时代全面展示中国特色社会主义制度优越性的重要窗口、建设共同富裕示范区等重任，在推动物质文明、政治文明、精神文明、社会文明、生态文明协调发展方面具有鲜明特点。我们将紧扣中国式现代化的浙江实践，积极开展物质富裕与精神富有、制度自信与文化自信、人文与经济等重大课题研究，深入挖掘中国式现代化背后的文化根基和文化意蕴。精准三中三论坛网站（撰稿：匡浩榕）