1. 注意profile的使用
| Profile | 用途 | 优化方向 | 适合场景 |
|---|---|---|---|
aiml-training | AI 模型训练 | 高吞吐读取、大量顺序读 | PyTorch、TensorFlow 训练数据集 |
aiml-checkpointing | Checkpoint 保存 | 高吞吐写入 | 保存模型 checkpoint |
aiml-serving | 模型推理 | 快速读取、缓存优化 | LLM、Stable Diffusion、Embedding 服务 |
gcsfuse使用的时候，加入–profile参数，进行调优，保证吞吐量拉满。
2. gcsfuse尽量使用只读模式
使用只读模式，防止误操作大量写入导致的严重拖慢速度。
3. 上传文件使用gcloud cli或者gsutil
使用gcloud cli或者gsutil这种支持多线程上传的工具，保证能够跑满带宽。
写入工具使用google原生推出的工具，jax自带的compilation cache支持gs:// URI方式直接保存到gcs，或者orbax工具支持gs:// URI直接保存checkpoint.