domain-ml 是梳理 Rust 机器学习工程约束的 Skill。它从数据规模、GPU、模型格式、数值精度和复现,连接到加载、批处理与流水线设计。
模型每次请求重载会增成本,一次加载复用却还要看线程安全与生命周期。张量用视图可少复制,但“Rust”或“零复制”不能保证没有其他传输与计算开销。
批量可能提高吞吐,也可能让单个请求等待更久。主文推理函数标成 async,内部同步计算并不会自动转移到后台或释放运行线程,得核真实执行方式。
代码里有省略类型和未定义辅助函数,它是思路示例,不是完整可编译服务。适合先定位部署取舍,模型格式支持、后端与硬件兼容需另核;设随机种子也不单独保证 GPU 结果可复现。