LINUX DO 最新· linganshi·· 3 小时前AI 评分22
6.1 sol 未开启 fast 模式推理速度最高达 90 TPS
今天6.1 sol真快,没开fast,最大居然能跑到90 tps
AI 导读
6.1 sol 在未开启 fast 模式时最大推理速度达到 90+ TPS。该成绩基于 CPAMP 的“总输出/总时间”算法测得;若按排除首字时间的“总输出/(总时间-首字时间)”方式计算,实际 TPS 数值还会更高。
来源:LINUX DO 最新 · linux.do
今天6.1 sol真快,没开fast,最大居然能跑到90 tps
6.1 sol 在未开启 fast 模式时最大推理速度达到 90+ TPS。该成绩基于 CPAMP 的“总输出/总时间”算法测得;若按排除首字时间的“总输出/(总时间-首字时间)”方式计算,实际 TPS 数值还会更高。
来源:LINUX DO 最新 · linux.do