3.python3 使用tritonclient
根据我的测试，grpc方式调用triton的性能远远高于http方式，在极端情况下甚至可以达到十倍的性能差距，因此如果没有特殊需要，我不建议使用http方式调用。如果报如下错误ModuleNotFoundError: No module named 'tritonclient'，则使用。triton python client的安装非常简单，使用如下方式即可，如果你只使用http或grpc方式调用
·
pip3 install nvidia-pyindex
pip3 install tritonclient[all]
triton python client的安装非常简单，使用如下方式即可，如果你只使用http或grpc方式调用，可以将tritonclient[all]替换为tritonclient[http]或tritonclient[grpc]
如果报如下错误ModuleNotFoundError: No module named 'tritonclient'，则使用
python3.7 -m pip install nvidia-pyindex
python3.7 -m pip install tritonclient[all]
这样可以确保你的依赖被安装到你使用的python环境中。
根据我的测试，grpc方式调用triton的性能远远高于http方式，在极端情况下甚至可以达到十倍的性能差距，因此如果没有特殊需要，我不建议使用http方式调用。
欢迎来到由智源人工智能研究院发起的Triton中文社区，这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂，为推动人工智能技术的普及与深化应用贡献力量。
更多推荐
0
0- 0
已为社区贡献2条内容
所有评论(0)