论文工作台

本文研究如何通过指令微调（instruction tuning）与人类反馈强化学习（RLHF）提升大语言模型（LLM）在开放域任务上的可控性与有效性。作者构建了多任务指令数据集，并对比了不同微调策略对模型泛化能力的影响。

该工作探索了检索增强生成（Retrieval-Augmented Generation, RAG）框架在开放域问答任务中的效果，通过引入外部知识库检索模块降低生成式模型的幻觉问题。

本文分析了 Vision Transformer（ViT）架构在大规模图像分类任务中相较卷积神经网络（CNN）的优势与不足，讨论了数据规模对 Transformer 类模型性能的关键影响。

本文针对扩散模型（diffusion model）在图像生成任务中训练不稳定、采样速度慢的问题，提出了一种改进的噪声调度与加速采样策略。

本文提出了一种基于对比学习（contrastive learning）的自监督表征学习方法，通过构造正负样本对在无标注数据上学习通用视觉特征。

本文研究图神经网络（Graph Neural Network, GNN）在大规模图数据节点分类任务中的可扩展性瓶颈，并提出基于邻居采样的训练加速方案。

本文关注强化学习（Reinforcement Learning, RL）在真实机器人操纵任务中样本效率低的问题，提出结合模型预测与离线数据的混合训练框架。

本文针对联邦学习（Federated Learning）中客户端与服务器间通信开销大的问题，提出一种梯度压缩与自适应通信频率结合的优化策略，同时保证差分隐私（differential privacy）约束。

本文系统对比了训练后量化（Post-training Quantization）与量化感知训练（Quantization-aware Training）两类方法在大语言模型推理加速中的效果与代价。

本文研究视觉-语言（vision-language）联合预训练模型如何通过对比式跨模态对齐目标学习图文共享表征，并评估其在图文检索与视觉问答任务中的迁移能力。

本文评估了大语言模型在代码生成任务中结合执行反馈进行自我修复（self-repair）的能力，探讨了迭代式生成-测试-修复流程对代码正确率的影响。

本文提出一种稀疏化注意力机制，用于降低标准 Transformer 在长上下文建模中的二次方计算复杂度，同时尽量保持长距离依赖建模能力。