多模态开源项目

Vic Woo May 10, 2023

类ChatGPT汇总

• awesome-chatgpt
• Chinese-LLaMA-Alpaca：中文LLaMA&Alpaca大语言模型+本地CPU/GPU部署 (Chinese LLaMA & Alpaca LLMs)
• langchain-ChatGLM：local knowledge based ChatGLM with langchain ｜ 基于本地知识的 ChatGLM 问答
• ChatGPT-on-WeChat：使用ChatGPT搭建微信聊天机器人，基于GPT3.5/4.0 API实现，支持个人微信、公众号、企业微信部署，能处理文本、语音和图片，访问操作系统和互联网。
• ChatGPT-Mirai-QQ-Bot：支持ChatGPT、文心一言、Bing、Bard、ChatGLM、POE，多账号，人设调教，虚拟女仆、图片渲染、语音发送，支持 QQ、Telegram、Discord、微信等平台
• OpenaiBot：直觉性设计的全平台Bot，多轮会话管理，多模态(语音/图片)理解，自维护套件，交叉追溯回复。
• QChatGPT：高稳定性、低耦合、支持插件、适配多种模型的 ChatGPT New Bing QQ 机器人
• ChatLLM Web

LLMs汇总

• Awesome Pretrained Chinese NLP Models，高质量中文预训练模型集合
• A list of open LLMs available for commercial use.
• Fengshenbang-LM(封神榜大模型)是IDEA研究院认知计算与自然语言研究中心主导的大模型开源体系，成为中文AIGC和认知智能的基础设施。
• Chinese version of CLIP which achieves Chinese cross-modal retrieval and representation generation.

多模态集成应用汇总

• wukong-robot 是一个简单、灵活、优雅的中文语音对话机器人/智能音箱项目，支持ChatGPT多轮对话能力，还可能是首个支持脑机交互的开源智能音箱项目。
• Fay是一个完整的开源项目，包含Fay控制器及数字人模型，可灵活组合出不同的应用场景：虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her。