软件环境
paddle-bfloat 0.1.7
paddle2onnx 1.0.6
paddlefsl 1.1.0
paddlenlp 2.5.2 commit id:de8c91d92de69299e3c6b98ae40b673ef7bd82ea
paddlepaddle-gpu 0.0.0.post116
重复问题
错误描述
参考[https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/gpt-3/projects/gpt/docs/inference.md去执行推理,PaddleNLP使用6月2日版本de8c91d92de69299e3c6b98ae40b673ef7bd82ea;复现出的GPT-3(6.7B) 单卡推理| 128 | 8 | 1 | 1 | 结果为121ms,与官网84.93ms数据不符。
稳定复现步骤 & 代码
参考[https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/gpt-3/projects/gpt/docs/inference.md
软件环境
重复问题
错误描述
稳定复现步骤 & 代码
参考[https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/gpt-3/projects/gpt/docs/inference.md