大语言模型：新的摩尔定律？

面对微软与 NVIDIA 推出 530B 参数 Megatron-Turing NLG 带来的高能耗与近 $100M 成本，行业无需盲目追逐超大模型。DistilBERT 减小 40% 体积且提速 60% 仍保留 97% 理解力，BigScience 的 T0 缩小 16x 却在多任务上超越 GPT-3。实际应用应优先选择预训练小模型、微调技术与高效云设施，以低成本实现高质量解决方案。