Loading...
本文介绍了如何使用Qwen2.5-0.5B-Instruct模型快速启动一个模型服务，包括下载模型、安装git-lfs、使用git clone下载模型、编写推理代码、使用vLLM加速推理，并通过Docker部署服务。同时也分享了部署时的一些经验。
本文详细介绍了在 Linux 系统上配置深度学习环境的步骤，包括配置 SSH 登录、安装显卡驱动及禁用 Nouveau、安装并配置 Docker 以支持 GPU 以及切换至普通用户并安装 Miniconda。此外，文章还提供了如何配置 conda 和 PyPI 镜像的方法，并给出了若干实用建议，以避免常见问题和潜在风险，提高配置效率和安全性。
一直以来模型推理成本对于想要使用大模型却又注重隐私的用户来说都是个难题，本文探索了如何使用一张 300 元的显卡借助 llama.cpp 来推理 Qwen1.5-14B-Chat 的 q2_k 量化模型，获得不慢的推理速度与不俗的性能表现。
本文用来收集各种和生成式模型相关的内容，由于 ChatGPT 是其代表，也是会被写入人类历史进程的一个名字，所以便用 ChatGPT 作为标题的一部分，以表示我对 OpenAI 团队由衷的敬佩。
最近整了张矿卡，为了这盘醋，包了盘饺子。虽然我已经预料到买前深度学习，买后电子竞技，但还是象征性的先配下环境。