工作職責(zé)：
1. 負責(zé)主流大語言模型（如 LLaMA、Mistral系列）及多模態(tài)模型的部署與性能調(diào)優(yōu)，確保其在服務(wù)器上高效運行；
2. 設(shè)計并搭建高性能推理服務(wù)系統(tǒng)，支持大模型在實際應(yīng)用中的低延遲、高吞吐需求；
3. 負責(zé)開發(fā)自動化部署流程，簡化大規(guī)模模型的上線與版本管理；
4. 監(jiān)控 GPU/CPU 資源使用情況，排查性能瓶頸，并進行合理的調(diào)度與資源分配。
工作要求：
1. 計算機科學(xué)、人工智能、軟件工程等相關(guān)專業(yè)碩士及以上學(xué)歷，具有豐富的實戰(zhàn)經(jīng)驗可酌情放寬；
2. 熟練使用 Python 進行開發(fā)，具備良好的代碼規(guī)范與文檔習(xí)慣；
3. 了解 Linux 環(huán)境下的系統(tǒng)開發(fā)與優(yōu)化，熟悉分布式部署流程；
4. 熟練掌握至少一種大模型推理與部署框架，如 vLLM、Ollama、huggingface TGI 等；
5. 具備 GPU 加速技術(shù)經(jīng)驗（CUDA、cuDNN），熟悉混合精度計算與模型壓縮方法；
6. 有大規(guī)模深度學(xué)習(xí)模型部署經(jīng)驗，具備優(yōu)化多卡訓(xùn)練與推理速度的實踐經(jīng)驗。