研究笔记

如何检查模型证据。

用实用的检查框架，区分一个模型分数与能够支持实际用途的证据。

数据与独立性

每条观测如何产生？哪些样本共享同一人、来源、时间段或采集过程？先明确哪些数据必须分开，再选择划分方式。

选择基线、明确待比较的改变，并将最终评估与模型及预处理选择分开。需要学习的变换应在适当的训练数据上拟合。

将整体分数与类别错误、不确定性及错误代价共同解读，并判断指标是否对应系统实际要回答的问题。

检查数据条件发生相关变化时的表现。内部结果良好，并不能单独证明新环境中的表现；部署层面的判断还需要额外证据。

从项目中得到的认识

表情分类器学习的是数据集标签。关于一个人内在状态的判断，需要不同的证据基础。

硕士研究分别讨论边界质量、细胞测量和预测表现。其中一项改善，不会自动证明另一项也改善。