video-search-and-summarization：实践指南

实际看video-search-and-summarization，先要确认它的用途：NVIDIA AI 视频搜索和摘要蓝图 (VSS) 是一个 GPU- 加速参考架构，用于构建具有实时验证警报、可视化问答和自动报告功能的视频分析代理。视频制作里，素材、节奏、编码和最终画面容易不一致。我会拿一组已有素材完成一段短样片，检查素材路径、渲染结果、音画同步和导出格式。它适合有真实素材并需要稳定视频产出的创作者；采用前仍要看维护状态和试跑结果。

NVIDIA AI 蓝图：视频搜索和摘要 (VSS)

构建 GPU- 加速视频 AI 代理，使用自然语言对实时或录制视频进行搜索、分析、总结和推理。

NVIDIA AI 视频搜索和摘要蓝图 (VSS) 结合了视觉语言模型、RAG 和 NVIDIA NIM 微服务，可提供实时视频分析、可视化问答、警报验证、剪辑检索、长视频摘要。

• 使用自然语言查询搜索视频流或档案
• 总结视频时长
• 提出视觉问题并自动生成报告
• 使用 VLMs 检测和验证实时警报

尝试演示 · ⚡ 快速入门 · 文档 · 架构 · 最新版本

概述

NVIDIA 视频搜索和摘要蓝图 (VSS) 提供了一套参考架构，用于构建视觉代理和 AI- 支持的视频分析应用程序。这些架构汇集了加速视觉微服务、视觉语言模型 (VLMs) 和大型语言模型 (LLMs)，因此您可以在现有应用程序中使用它们，作为独立的微服务，或作为更大的视觉代理的一部分。

VSS 分为三个处理和分析领域：实时视频智能（特征提取、嵌入和流理解，并将结果发布到消息代理）、下游分析（将元数据丰富到轨迹、事件和经过验证的警报）以及代理和离线处理（用于搜索、问答、摘要和剪辑检索的编排工具，包括通过模型上下文协议）。

该存储库实现了蓝图，并为自然语言视频代理的 NVIDIA 构建体验 提供支持 - 搜索、摘要、视觉问答和相关工作流程 - 由生成式 AI、VLMs 和 VLMs 提供支持LLMs 和 NVIDIA NIM 微服务在下面的堆栈中配置。

用例/问题描述

NVIDIA AI 视频搜索和摘要蓝图解决了部署能够与大量存储和流式视频数据交互的视觉代理的挑战。这可用于创建视觉 AI 代理，该代理可应用于多种用例，例如监控智能空间、仓库自动化和 SOP 验证。这一点非常重要，因为快速、准确的视频分析可以带来更好的决策并提高运营效率。

代理工作流程

我们提供了多个参考 代理工作流程，它们演示了代理如何利用各个组件：

软件组件

1. NIM 微服务：以下是此蓝图中使用的模型：

   • Cosmos3 Nano Reasoner
   • NVIDIA Nemotron 3.5闪电30B A3B

2. 实时视频智能：实时视频智能层从视频数据中实时提取丰富的视觉特征、语义嵌入和上下文理解，将结果发布到消息代理以进行下游分析和代理工作流程。它提供了三个用于处理视频流的核心微服务。

3. 下游分析：下游分析层处理并丰富实时视频智能微服务生成的元数据流，将原始检测转化为可操作的见解和经过验证的警报。

4. 代理和离线处理：顶级代理利用模型上下文协议 (MCP) 通过统一的工具界面访问视频分析数据、事件记录和视觉处理功能。它集成了多种基于视觉的工具，包括使用视觉语言模型的视频理解 (VLMs)、使用嵌入的语义视频搜索、用于扩展镜头分析的长视频摘要以及视频 snapshot/clip 检索。

目标受众

该蓝图旨在简化设置，提供广泛的配置选项，需要技术专业知识。它的目的是：

1. 视频分析师和 IT 工程师： 专注于分析视频数据并确保高效处理和汇总的专业人员。该蓝图提供一键式部署步骤、易于管理的配置和即插即用模型，使其可供早期开发人员使用。

2. GenAI 开发人员/机器学习工程师： 需要针对特定用例定制蓝图的专家。这包括修改独特数据集的管道并根据需要微调 LLMs。对于高级用户，该蓝图提供了详细的配置选项和自定义部署可能性，从而实现了广泛的自定义和优化。

存储库结构概述

文档

有关此蓝图的详细说明和附加信息，请参阅 官方文档。

先决条件

获取API密钥

• NVIDIA AI 本地主机 NVIDIA NIM 需要企业开发人员许可证。
• API 目录键：
  • NVIDIA API 目录 或 NGC （生成密钥的步骤)

容器镜像可用性

开发容器注意事项： 标记为 develop-* 或 nightly-* 的图像是预发布工件，仅用于开发和测试。它们可能会更改，恕不另行通知，并提供“AS IS”。官方发布镜像通过NVIDIA NGC发布。对于生产部署，仅使用 NGC 中已完成 NVIDIA 发布审核的版本化发布映像。

硬件要求

平台要求可能会有所不同，具体取决于用于 VSS 的配置和部署拓扑以及 VLM、LLM 等依赖项。有关经过验证的 GPU 拓扑的列表以及要使用的配置，请参阅 GPU 要求。

快速入门指南

可启动部署

非常适合： 快速开始制作您自己的视频，无需担心硬件和软件要求。

按照 文档 和 deploy/docker/scripts 目录中的笔记本中的步骤完成所有先决条件，并在 2xRTX PRO 6000 中使用 Brev Launchable 部署蓝图SE AWS 实例。

• deploy/docker/scripts/deploy_vss_launchable.ipynb：此笔记本专为使用临时存储的 AWS CSP 量身定制。

Docker Compose 部署

非常适合： 在您自己的硬件或裸机云实例上部署 VSS 代理。

系统要求

• OS:
  • x86 主机：Ubuntu 24.04
  • DGX站（GB300）：DGX OS 7.6.0
  • DGX-SPARK: DGX OS 7.5.0
  • IGX-THOR（T5000和T7000）：IGX-SW 2.0生产（LTS），包括IGX OS 2.0（Ubuntu 24.04）
  • Jetson AGX Orin、AGX-THOR 和 Jetson Orin NX：JetPack 7.2（Jetson Linux/L4T r39.2）
• NVIDIA 驱动程序：
  • 595.58.03（使用 Ubuntu 24.04 的 x86 主机）
  • 595.58.03（DGX 站 GB300）
  • 580.173.02 (DGX-SPARK)
  • 580.00，与 IGX-SW 2.0 捆绑（IGX-THOR）
  • 595.78（Jetson AGX Orin、AGX-THOR 和 Jetson Orin NX）
• NVIDIA容器工具包：1.17.8+
• Docker 引擎：28.3.3 <= Docker 引擎 < 29.5.0
• Docker 撰写：v2.39.1+
• NGC CLI: 4.10.0+

Docker 上限： Docker Engine 29.5.0+ 可能无法拉取 NGC- 托管映像。使用 Docker Engine 28.3.3 或低于 29.5.0 的其他受支持版本。

请参阅此处的 先决条件部分，了解安装详细信息。