大模型周边
目录
工具太多了，有必要整理个清单。
ChatGPT 类似的服务
- 文心 https://yiyan.baidu.com/ 百度的
- 通义千问 https://tongyi.aliyun.com/ 阿里的
- Kimi https://kimi.moonshot.cn/ 月之暗面
- 智谱AI https://open.bigmodel.cn/ 清华的
- Gemini https://gemini.google.com/app 谷歌的， 这个得翻墙，还不能选香港服务器
- Llama https://chat.aichatzw.com/ Meta 的
- TXYZ https://txyz.a 基于ChatGPT， 主要强在科研学术文献的解读总结
本地运行大模型
- Ollama：强烈推荐，上手难度 ☆☆☆
- 需要命令行操作
- 需要额外的 Chatbox，否则只能用命令行或 API
- 下载模型速度很快
- 提供 API，可被外部调用
- LM Studio：强烈推荐，上手难度 ☆
- UI 可以直接下载 Hugging face 上的模型（需要国际加速）
- UI 可以直接加载大模型
- UI 自带 Chatbox
- 提供 Server 模式，可被外部调用
- H2O AI Personal GPT：iPhone上运行的大模型（需使用美区账号下载）
- 使用 Python 实现：调用 Transformer 库，自动下载云端的大模型，在本地运行执行任务
Chatbox
Web 版本
本地运行版本
- Chatbox，支持全平台，支持 Ollama，但是好像不支持 LM Studio 对接（LM Studio 也不需要额外的 Chatbox）
大模型托管网站
- Hugging face：上万个大模型，还具备模型预览功能，也提供推理 API 功能
- 魔塔社区 ModelScope：国内的大模型托管网站
一些开源大模型
- qwen：通义千问，阿里开源，实测本地跑 7b 模型挺好用
- Llama3：Meta 开源
- ChatGLM：清华开源的大模型
- VisualGLM：文生图开源模型，基于 ChatGLM，提供比较完整的部署文档
- OrionStar 猎户星座：提供的模型比较大单机跑不动，有在线 demo
基于云服务构建 AI 应用
- 使用 Hugging face interfere API
- 使用 Colab 的 Transformer pipeline，colab 提供一定的计算资源来运行指定的大模型
AI 开发框架/工具
- llamaindex：LlamaIndex is a simple, flexible data framework for connecting custom data sources to large language models.
- Langchain：LangChain is a framework for developing applications powered by large language models (LLMs).
- Dify：Dify is an open-source LLM app development platform. Orchestrate LLM apps from agents to complex AI workflows, with an RAG engine. More production-ready than LangChain.
- MLflow：Build better models and generative AI apps on a unified, end-to-end, open source MLOps platform
微调大模型
- H2O LLM Studio
- LLaMA-Factory
- 在 Hugging face 上获取训练数据、模型和文档
微调模型需要的硬件环境：
https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md#%E7%A1%AC%E4%BB%B6%E4%BE%9D%E8%B5%96
大模型跑分
- LLM Benchmark：一系列 LLM 跑分汇总
- Hugging face LLM leaderboard：Hugging face 的大模型跑分