[Bug]: ValueError: (InvalidArgument) Unsupported data type of Scale and Bias

[xiaoluomi]

请提出你的问题

我这边用最新的paddlenlp 的develop代码，在llm/bloom/里 跑run_eval.py 自动下载的模型跑时会报错：

一切都是默认设置

[lugimzzz]

确认一下paddlepaddle-gpu版本是develop版本

[lugimzzz]

https://github.com/PaddlePaddle/PaddleNLP/blob/develop/llm/bloom/run_eval.py#L325
请修改为with paddle.amp.auto_cast(True):

[lugimzzz]

如果不是有跑wikitext的需求，建议不要使用该文件，这块是早期用于验证模型效果的。需要使用bloom请参考文档

[xiaoluomi]

确实是有跑wikitext的需求，按照上述的修改后（with paddle.amp.auto_cast(True):），并且将paddle升级到了最新的develop版本 和2.5.1版本 均遇到了上述问题。

如果不是有跑wikitext的需求，建议不要使用该文件，这块是早期用于验证模型效果的。需要使用bloom请参考文档