第5节课作业(1班)

[AXYZdong]

基础作业：

• 使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事（需截图）

进阶作业（可选做）

• 将第四节课训练自我认知小助手模型使用 LMDeploy 量化部署到 OpenXLab 平台。
• 对internlm-chat-7b模型进行量化，并同时使用KV Cache量化，使用量化后的模型完成API服务的部署，分别对比模型量化前后和 KV Cache 量化前后的显存大小（将 bs设置为 1 和 max len 设置为512）。
• 在自己的任务数据集上任取若干条进行Benchmark测试，测试方向包括：
  （1）TurboMind推理+Python代码集成
  （2）在（1）的基础上采用W4A16量化
  （3）在（1）的基础上开启KV Cache量化
  （4）在（2）的基础上开启KV Cache量化
  （5）使用Huggingface推理

备注：由于进阶作业较难，完成基础作业之后就可以先提交作业了，在后续的大作业项目中使用这些技术将作为重要的加分点！

[xujinzh]

https://xujinzh.github.io/2024/01/13/ai-internlm-lmdeploy/

[gongxiucheng]

https://ckfajwu6zv.feishu.cn/docx/GuhFdjcnCoMJaZxCePbcA3zdnLg?from=from_copylink

[Gu-Xiao]

https://zhuanlan.zhihu.com/p/677706019

[biscuit279]

https://blog.csdn.net/qq_46212981/article/details/135609140

[woxinyonghen]

https://github.com/woxinyonghen/InternLMCamp/tree/main/homework04/基础作业/

[AXYZdong]

https://nuly9zxzf1.feishu.cn/docx/KnFwdgJYfoHpiQxiSV7cN5hNnsb#VbJ7d7ZmRopR55xbrrMcJPmznDb

[strong-leaf]

https://zhuanlan.zhihu.com/p/677990123
作业见最后第5部分

[10086zgyd]

https://github.com/10086zgyd/LMDeploy

[ZMcc18]

https://www.yuque.com/zixul/avxnzn/hgnukovqh1fuskny?singleDoc# 《lesson5 LMDeploy 的量化和部署 作业》

[UncleLLD]

https://blog.csdn.net/uncle_ll/article/details/135637903

[zpc-666]

https://blog.csdn.net/zpc1219/article/details/135682163
作业在3.1小节

[ustbzgn]

https://blog.csdn.net/qq_46052444/article/details/135685729

[blurmemo]

https://github.com/blurmemo/LLM/blob/main/note/InternLM/homework/chap4-homework.md

[xiaozhuang223]

https://zhuanlan.zhihu.com/p/678053451

[grey2818]

https://zhuanlan.zhihu.com/p/679062776

[raulming]

https://quilled-apparatus-d9a.notion.site/1601447672b34e6baafec6dd38dbc8d8。见末尾