Marico's space

1. 问题定义

别急着扔数据，先别急着扔模型。首先，你要问自己：这真的是机器学习（ML, Machine Learning）能解决的吗？还是只是统计问题或运筹学问题？如果业务逻辑简单（比如计算折扣），那直接写代码就行，别搞 ML。其次，定义成功指标，准确率、召回率、AUC(ROC曲线下面积) 选哪个？选错指标，模型再好也是垃圾。

最后，明确问题类型。是分类（预测标签）、回归（预测数值）、聚类（分组）还是推荐（排序）？选错赛道，再好的车也开不动。

2. 数据收集

这一步是地基，地基不稳，上面盖什么都塌。先查数据来源，是公开数据集、内部日志，还是爬虫？量够不够？如果只有几百条，别指望用深度模型，老老实实用线性回归吧。还要考虑标注成本，标注人工成本高，那数据量必须大得多。别为了凑数据而造假，隐私法规（如 GDPR、个人信息保护法）也是红线，别踩雷。

3. 数据清洗与预处理

警告：这是最容易被忽视的一步，也是最容易翻车的一步。很多项目在这里直接结束，因为数据太烂了。

• 缺失值处理：直接填 0 或均值？还是插值？或者删除？这完全取决于业务逻辑，别瞎填。
• 去重与异常值：重复数据要删，但异常值要警惕，是数据污染还是真实分布？用统计学方法还是业务规则判断？
• 格式统一：日期格式、字符串编码（UTF-8 vs GBK）、类别标签的编码，这些细节一旦搞错，模型训练直接报错或预测全错。
• 转换与归一化：数值型数据一定要标准化或归一化，否则大数会主导模型权重，小数据反而没影响，导致偏差。

4. 探索性数据分析（EDA, Exploratory Data Analysis）

数据刚进来，先看看分布。直方图、箱线图、相关性热力图是标配。有没有缺失值？有没有离群点？特征之间有没有冗余？发现前期遗漏的数据质量问题，比如某个特征本来不该有，结果全都有，那模型就废了。

5. 特征工程与选择

特征工程是 ML 的灵魂。别直接把原始数据扔进模型，得自己造数据。比如从日期提取"年、月、日"，从文本提取"关键词、情感极性"，从地理位置提取"经纬度、区域代码"。

特征选择至关重要！用相关性分析（皮尔逊相关系数）、树模型的重要性（如 XGBoost）、L1 正则化（Lasso）来剔除冗余特征。少一个特征，模型可能过拟合；多一个特征，模型可能欠拟合。别贪心，宁缺毋滥。

6. 模型选择

根据问题类型选算法。分类问题选逻辑回归、随机森林、XGBoost 等；回归问题选线性回归、SVM(支持向量机)、神经网络等。数据量大且复杂时，深度学习是主流；数据量少且追求可解释性，回归树或逻辑回归更合适。记住，别一开始就搞神经网络，先从简单模型开始，验证效果后再升级复杂度。

7. 模型训练

划分训练集、验证集、测试集，别混用！选损失函数（交叉熵、MSE(均方误差) 等），设置超参数（学习率、迭代次数）。迭代训练，根据验证集表现调整，直到达到最佳性能。这是模型学习的核心过程。

8. 模型评估与调优

别只看准确率，要看业务指标：精确率、召回率、F1 分数、AUC-ROC、MSE(均方误差) 等。根据指标短板调参数。比如召回率低，就增加正样本权重；过拟合了，就增加正则化或早停；类别不平衡，就用 SMOTE 或调整损失函数权重。别为了调参数而调参数，先解决指标问题。

超参数调优方法：Grid Search（网格搜索）、Random Search（随机搜索）、Bayesian Optimization（贝叶斯优化）。

9. 模型部署

模型不能只跑在服务器上，得能上线。做序列化和打包（如 PyTorch, TensorFlow, ONNX），创建 API 接口（RESTful 或 gRPC）。基础设施选型：云服务（AWS/GCP/Aliyun）、K8s 容器化、边缘计算等。最后决定是实时推理（毫秒级，适合风控、推荐）还是批量推理（分钟级，适合离线分析）。

10. 监控与维护

上线不是终点，是起点。监控性能指标（延迟、吞吐量）、数据漂移（输入分布变了）、概念漂移（输入分布变了导致输出分布变了）、资源使用（CPU/内存）。当指标异常时，及时重新训练或调整策略。建立版本管理和 champion/challenger 系统，谁负责模型，谁负责监控，职责要分清楚。