visual-chatgpt

TaskMatrix是什么
TaskMatrix是一个创新性的人工智能平台，它将ChatGPT等大语言模型（LLMs）与一系列视觉基础模型（Visual Foundation Models）紧密连接，实现了在对话过程中发送和接收图像的功能。该项目的核心目标是构建一个能够处理各种复杂任务的通用人工智能系统，通过融合大语言模型的广泛知识与视觉基础模型的专业能力，为用户提供更加智能和高效的交互体验。

TaskMatrix的主要功能包括支持图像的检测、分割、编辑等多种视觉任务。例如，通过集成GroundingDINO和segment-anything等先进模型，用户只需输入简单的指令（如“find xxx in the image”或“segment xxx in the image”），TaskMatrix就能快速定位图像中的目标对象并返回检测或分割结果，甚至支持中文指令，极大地提升了多语言用户的交互便利性。此外，TaskMatrix还引入了“模板”概念，这是一种预定义的执行流程，能够帮助ChatGPT高效组装涉及多个基础模型的复杂任务。模板中包含了人类总结的复杂任务经验解决方案，可以调用多个基础模型，甚至创建新的ChatGPT会话，无需额外训练即可实现功能扩展。例如，通过InfinityOutPainting模板，TaskMatrix能够无缝扩展图像尺寸至任意大小，只需与现有的ImageCaptioning、Inpainting和VisualQuestionAnswering等基础模型协作即可完成。

TaskMatrix解决的问题主要在于传统AI系统在处理多模态任务时的局限性。大语言模型虽然具备广泛的知识理解能力，但在视觉等特定领域的深度知识上存在不足；而视觉基础模型虽然在专业领域表现出色，但缺乏对复杂任务的统筹能力。通过将两者结合，TaskMatrix创造了一个既能理解用户意图又能精准执行视觉任务的人工智能系统，为用户提供了从简单图像交互到复杂任务处理的全方位解决方案。其价值在于推动了人工智能向更通用、更智能的方向发展，广泛应用于图像编辑、内容创作、智能客服等领域，显著提升了人机交互的效率和质量。

TaskMatrix使用示例
使用TaskMatrix非常简单，以下是快速入门教程：
1. 克隆项目仓库：在命令行中运行 `git clone https://github.com/microsoft/TaskMatrix.git`，然后进入 `visual-chatgpt` 目录。
2. 创建并激活环境：使用 `conda create -n visgpt python=3.8` 创建新环境，再通过 `conda activate visgpt` 激活。
3. 安装基础依赖：运行 `pip install -r requirements.txt` 安装所需库，并通过 `pip install git+https://github.com/IDEA-Research/GroundingDINO.git` 和 `pip install git+https://github.com/facebookresearch/segment-anything.git` 安装额外的视觉模型依赖。
4. 配置OpenAI密钥：根据系统环境设置 `OPENAI_API_KEY`（Linux使用 `export OPENAI_API_KEY={Your_Private_Openai_Key}`，Windows使用 `set OPENAI_API_KEY={Your_Private_Openai_Key}`）。
5. 启动TaskMatrix：运行 `python visual_chatgpt.py –load “ImageCaptioning_cuda:0,Text2Image_cuda:0″`（可根据GPU配置调整模型加载参数，例如CPU用户可使用 `ImageCaptioning_cpu,Text2Image_cpu`）。
6. 交互使用：启动后，用户可以直接输入指令，例如“find xxx in the image”进行目标检测，或使用模板指令（如“extend the image to 2048×1024”）调用预定义模板完成复杂任务。