LocalAI是一个可替换的REST API,与OpenAI API规范兼容,用于本地推理。它允许你用消费级硬件在本地或内部运行LLM(而不仅仅是),支持与ggml格式兼容的多个模型系列。不需要GPU。

评一下

已发表评论
登录后可发布评论哦~

    暂无数据