本地快速部署文生文AI

前言

当我们在网上搜索关于 “如何本地部署 text-generation-ai” 时，你大概率会看到要求你不仅下载 Conda，而且还要自行创建 Conda 环境，并安装对应的依赖包。

这种方法虽然可行，但实际上，该项目的官方已经提供了一个更加便捷、高效的方法，而且自动下载 Conda 及其软件包，软件包也会部署在项目对应的指定文件夹内，方便管理，且支持在线升级，那么我们为什么还要自己手动配置呢？

部署

  1. 部署的方法很简单，当我们下载好项目后，只需要到目录下，根据你的系统（如：macos、linux、Windows 和 WSL），进入终端启动对应的脚本即可。

    git clone https://github.com/oobabooga/text-generation-webui.git

    cd text-generation-webui

    # macos
    ./start_macos.sh

    # Windows
    .\start_windows.bat

    # 同时兼容 WSL （Windows Subsystem for Linux）
    .\start_wsl.bat

  2. 当执行脚本后会要求选择 GPU 类型，根据自己的情况选择，网络不佳请自行更换 PyPI 源或启用加速器。

  3. 安装完成后，默认的链接为: http://localhost:7860/

使用

当我们安装完成后，进入前端是无法直接使用的，我们需要在 Model 中配置模型

  1. 点击 Model
  2. 打开 Hugging Face
  3. 寻找合适的模型，复制模型名(e.g. google/gemma-7b) 到 Download model or LoRA 文本框并点击 Download
  4. 网页中无法看到下载进度，在终端中查看下载进度
  5. 下载完成后，在左上角 Model 下点击 None，选择刚刚下载好的模型，并点击右侧的 Load
  6. 等待加载完成后就可以回到主页正常使用了

Troubleshooting

  1. 当我们的 loader 为 Transformers 时，建议打开 8bit 或 4bit 对模型进行量化，通过降低精度提高 tps
  2. 升级请使用脚本 update_wizard_linux.sh, update_wizard_windows.bat, update_wizard_macos.sh, 或 update_wizard_wsl.bat

参考文献

text-generation-webui