Token Forecaster

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
Token Forecaster
访问
26
28284

在按下回车前,预估 LLM 回复的运行时间


Token Forecaster 能在你按下回车之前,预测 LLM 回复的长度区间——既给出常见长度,也给出覆盖 90.6% 极端情况的"最长预估"。回复流式生成时,它会实时提示是否已经超出预期;整个过程只在本地观察历史、不修改任何请求,开源且遵循 MIT 协议。