15天前活跃
程序猿
• UID:28691
综合评分 33
方向：
人工智能-机器学习与深度学习
、
人工智能-计算机视觉与图像处理
香港
2500元/8h
1年经验
求职意愿：接单·不求职(15天前更新)
个人简介
熟练掌握Transformer架构、MoE、注意力机制、LoRA微调、RLHF、模型并行训练。擅长使用PyTorch、DeepSpeed、Megatron-LM进行大语言模型的预训练、指令微调与推理部署。具备大规模分布式训练实践经验，熟悉HuggingFace、vLLM、LangChain、FAISS等技术栈。
技能
核心技能：
Transformers
其他技能：
交流语言：
普通话（ 母语水平 ）
行业经验：
在线教育
、
人工智能
项目案例
基于改进Transformer的轴承故障诊断
Transformer是一种基于自注意力机制的神经网络架构，最初应用于自然语言处理领域，因其强大的序列建模能力而被广泛用于时间序列分析任务。在物联网传感器故障检测与定位中，传感器数据表现为多变量时间序列，Transformer能够捕捉长距离依赖关系，从而有效识别异常模式。
人工智能
工作经历
智谱AI（Zhipu AI）
1001-10000人
大模型算法实习生
2024.04
-
2025.02
参与千亿参数基座模型的预训练数据清洗与实验调优；负责Transformer模型中MLP层与Attention机制的性能分析；独立完成LoRA微调任务，提升模型在代码生成任务上的正确率8%；协助搭建分布式训练监控系统，利用TensorBoard跟踪损失曲线并优化训练超参数。
教育经历
清华大学
2019.06
-
2026.05
大模型科学与工程
博士后
相似推荐
技能：Python
技能：Python、PyTorch
技能：C++、Python、C++ Builder、OpenCV、PyTorch
技能：PyTorch
技能：JavaServer Faces (JSF)、Vue、PyTorch、OpenCV、Fast.ai、Microsoft SQL Server
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服