6月3日，总台记者从上海市商务委员会了解到，为更大力度提升跨境贸易便利化水平，持续打造市场化、法治化、国际化一流口岸营商环境，上海市商务委、上海海关、上海市交通委、上海市市场监管局、上海市发展改革委、上海市经济信息化委、上海市药品监管局、上海市生态环境局、上海市科委等九部门和单位共同制定了《上海口岸2024年促进跨境贸易便利化专项行动若干措施》（以下简称《若干措施》），推出34项举措，并开展上海口岸促进跨境贸易便利化专项行动，持续推进国际贸易领域营商环境改革。

      区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。九州电影

      在主责主业中彰显担当作为，预算司党总支积极谋划重大宏观调控政策，研究提出积极财政政策要加力提效、注重精准、更可持续的政策基调；将落实党中央、国务院重大决策部署作为预算安排的首要任务，集中财力增强国家重大战略任务保障和对地方转移支付资金支持；牵头建立财政资金直达机制，推动各项惠企利民政策快速落地见效。九州电影

      Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。九州电影（撰稿：顾贤康）