Link
Wiki

Welcome to My Blog, A documentary of Life.

Search

大模型周边

目录

  1. 大模型周边
    1. ChatGPT 类似的服务
    2. 本地运行大模型
    3. Chatbox
      1. Web 版本
      2. 本地运行版本
    4. 大模型托管网站
    5. 一些开源大模型
    6. 基于云服务构建 AI 应用
    7. AI 开发框架/工具
    8. 微调大模型
    9. 大模型跑分

工具太多了，有必要整理个清单。

ChatGPT 类似的服务

  • 文心 https://yiyan.baidu.com/ 百度的
  • 通义千问 https://tongyi.aliyun.com/ 阿里的
  • Kimi https://kimi.moonshot.cn/ 月之暗面
  • 智谱AI https://open.bigmodel.cn/ 清华的
  • Gemini https://gemini.google.com/app 谷歌的， 这个得翻墙，还不能选香港服务器
  • Llama https://chat.aichatzw.com/ Meta 的
  • TXYZ https://txyz.a 基于ChatGPT， 主要强在科研学术文献的解读总结

本地运行大模型

  • Ollama：强烈推荐，上手难度 ☆☆☆
    • 需要命令行操作
    • 需要额外的 Chatbox，否则只能用命令行或 API
    • 下载模型速度很快
    • 提供 API，可被外部调用
  • LM Studio：强烈推荐，上手难度 ☆
    • UI 可以直接下载 Hugging face 上的模型（需要国际加速）
    • UI 可以直接加载大模型
    • UI 自带 Chatbox
    • 提供 Server 模式，可被外部调用
  • H2O AI Personal GPT：iPhone上运行的大模型（需使用美区账号下载）
  • 使用 Python 实现：调用 Transformer 库，自动下载云端的大模型，在本地运行执行任务

Chatbox

Web 版本

本地运行版本

  • Chatbox，支持全平台，支持 Ollama，但是好像不支持 LM Studio 对接（LM Studio 也不需要额外的 Chatbox）

大模型托管网站

  • Hugging face：上万个大模型，还具备模型预览功能，也提供推理 API 功能
  • 魔塔社区 ModelScope：国内的大模型托管网站

一些开源大模型

基于云服务构建 AI 应用

  • 使用 Hugging face interfere API
  • 使用 Colab 的 Transformer pipeline，colab 提供一定的计算资源来运行指定的大模型

AI 开发框架/工具

  • llamaindex：LlamaIndex is a simple, flexible data framework for connecting custom data sources to large language models.
  • Langchain：LangChain is a framework for developing applications powered by large language models (LLMs).
  • Dify：Dify is an open-source LLM app development platform. Orchestrate LLM apps from agents to complex AI workflows, with an RAG engine. More production-ready than LangChain.
  • MLflow：Build better models and generative AI apps on a unified, end-to-end, open source MLOps platform

微调大模型

微调模型需要的硬件环境：

https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md#%E7%A1%AC%E4%BB%B6%E4%BE%9D%E8%B5%96

大模型跑分