AI Device Template-AI设备模板:集成Whisper语音识别、TTS文本转语音、Groq、Llama3、OpenAI等技术,打造智能语音助手,支持语音输入、文本转语音输出、图像处理、功能调用和条件渲染UI组件
主要特性
全能转发:可转发几乎所有类型的请求
性能优先:出色的异步性能
缓存AI预测:对AI预测进行缓存,加速服务访问并节省费用
用户流量控制:自定义请求速率与Token速率
实时响应日志:提升LLMs可观察性
自定义秘钥:替代原始API密钥
多目标路由:转发多个服务地址至同一服务下的不同路由
黑白名单:可对指定IP进行黑白名单限制
自动重试:确保服务的稳定性,请求失败时将自动重试
快速部署:支持通过pip和docker在本地或云端进行快速部署
终端文本效果引擎:为终端文本提供丰富的视觉特效,支持多种颜色和动画效果,适用于系统应用和Python脚本