反馈是否改变科研投入判断？

我想评测 AI tutor 是否能及时纠正学生错误思路，而不是为了鼓励学生继续沿着错误方法走。构造数学解题多轮对话，标注关键纠错时机和延迟。

我想用证据扰动来预测 RAG 是否应该拒答。先删除 top-1 passage 或替换为相似干扰，看答案是否改变。

我想用开放词表检测器找图里不存在的物体，然后在 VLM 解码时惩罚这些物体词，以减少 object hallucination。

我想做 scientific deep research 的小型可复现评测，只聚焦多篇论文中的 claim verification：给出一个 claim，要求系统找出支持/反驳证据并标出论文位置。

我想用一个闭源模型生成所有坏 idea，再用同一个闭源模型判断哪些模型回答得好。这样最省事，而且数据规模可以很大。

我想证明 LLM 写代码已经超过程序员。实验是让我自己出 20 道脚本题，模型能跑通 18 道就说明超过普通程序员。

我想做多智能体科研助手。系统里有 planner、critic、writer、reviewer 四个 agent，然后展示几个 demo，证明它能帮助科研。

我想证明模型越礼貌越差。实验是把模型回复里的所有礼貌词删掉，然后看回答是不是更直接。如果更直接，就说明礼貌有害。

我想预测 LLM 生成代码里哪几行最可能错，用 token entropy 和执行失败信息训练一个行级错误定位 probe。

我想做代码生成错误定位。对 HumanEval/MBPP 的失败解法，用测试失败和自动修复差异构造行级弱标签，比较 entropy、execution trace 和 hidden-state probe。

我想让 AI 完全记住用户偏好，这样所有回答都按用户喜欢的方式来。只要用户满意度提高，就说明个性化成功。

我想研究 LLM 给学生论文开题反馈时是否过度正向。先收集 100 个开题摘要，让模型给建议，再让博士生标注是否太鼓励。

我想做可质疑的 agent memory，让新证据可以挑战旧记忆，避免模型一直相信过期用户画像。

我想做 label-free CLIP calibration，用测试 batch 图像 embedding 的协方差来调整 text prototype，在 ImageNet-C 和 DomainNet 子集上评估 ECE 和 accuracy。

我想训练一个检索器，只要检索到的段落和 query 词重合越多就奖励越高。这样应该能解决复杂问答检索。

我想做长答案 RAG 的 claim-level 评估，抽取每个 claim 并对齐证据，衡量哪些 claim 没有支持。

我想做多模态 RAG，把图片 caption 成文本再做普通 RAG。如果效果不错，就说明解决了多模态检索增强生成。

我想做一个轻量 RAG 拒答实验：通过删除、替换、污染证据来测答案稳定性，并用稳定性预测模型是否应该拒答。先在 NQ 和 HotpotQA 小样本上比较 logprob、retrieval score 和 evidence perturbation。

我想证明 AI 家教比人类老师好。实验是让模型讲 10 道题，如果讲得很详细，就说明教学能力更强。

我想提出一个通用 system prompt，让 LLM 永远先批评再鼓励。只要模型更少拍马屁，就说明解决了科研导师迎合问题。

我想做一个工具调用浪费检测器，不训练 agent，只 replay 已有轨迹，标注多调用、漏调用、顺序错误和无效调用，训练一个轻量分类器帮助 agent 降本。

我想证明 LLM 可以当博士导师。实验就是让我自己问模型 20 个科研问题，如果回答看起来很有启发，就说明模型已经具备导师能力。

我想把三个 LoRA 权重直接平均，看看是不是能同时会数学、代码和写作。如果比单个 LoRA 好，就说明解决了多能力融合。

我想提出一个模型 A，比其他模型更会指导科研。评测方法是让模型 A 自己判断自己的回答是不是更好。