LLM 可观测性实测:OpenAI 兼容网关的 usage 靠不靠得住
5 个模型实测同一台 OpenAI 兼容网关:include_usage 空操作、MiniMax 回传全 0 usage、断连丢 token、prompt_tokens 差 6.8 倍。
5 个模型实测同一台 OpenAI 兼容网关:include_usage 空操作、MiniMax 回传全 0 usage、断连丢 token、prompt_tokens 差 6.8 倍。
介绍 Spring Boot 集成 Micrometer 与 Prometheus 的方式,并给出自定义监控指标的实现与规范。