介绍
本文档基于鲲鹏920系列处理器,介绍了在openEuler 22.03 LTS SP3操作系统中迁移推理部署框架TensorFlow Serving(简称TF-Serving),并部署测试模型进行压力测试。
简要介绍
TensorFlow Serving是一个用于机器学习模型的高性能服务系统,它允许开发者部署模型并进行扩展,以便在生产环境中进行预测和推理。它支持多种模型类型,并且可以轻松地与TensorFlow训练的模型集成。
关于TensorFlow Serving的更多信息请访问TensorFlow Serving官网。
开发语言:Python/C++
一句话描述:开源推理部署框架

使用开源软件时需遵守开源软件的许可协议。
建议的版本
建议使用的版本为“TF-Serving 2.15.0”。