使用 300 元的显卡推理 Qwen1.5-14B
一直以来模型推理成本对于想要使用大模型却又注重隐私的用户来说都是个难题,本文探索了如何使用一张 300 元的显卡借助 llama.cpp 来推理 Qwen1.5-14B-Chat 的 q2_k 量化模型,获得不慢的推理速度与不俗的性能表现。
一直以来模型推理成本对于想要使用大模型却又注重隐私的用户来说都是个难题,本文探索了如何使用一张 300 元的显卡借助 llama.cpp 来推理 Qwen1.5-14B-Chat 的 q2_k 量化模型,获得不慢的推理速度与不俗的性能表现。
本文用来收集各种和生成式模型相关的内容,由于 ChatGPT 是其代表,也是会被写入人类历史进程的一个名字,所以便用 ChatGPT 作为标题的一部分,以表示我对 OpenAI 团队由衷的敬佩。
最近整了张矿卡,为了这盘醋,包了盘饺子。虽然我已经预料到买前深度学习,买后电子竞技,但还是象征性的先配下环境。
在 Word2Vec 中,Embedding 是一个映射,将词从原先所属的空间映射到新的多维空间中,也就是把词从原先所在空间嵌入到一个新的空间中去。本文介绍的 CBOW 和 Skip-Gram 是生成 Embedding 矩阵比较著名的两种无监督训练方法。