← 返回项目库

Jlama 本地推理工作台

面向开发者的 Java 本地大模型推理工作台，提供中文聊天预览、运行状态与集群拓扑页面。

该项目基于 Jlama Java 推理引擎，保留 OpenAI 兼容聊天接口和命令行启动方式，并增加无需下载模型即可体验的本地演示适配器。演示页面明确标注数据边界，适合在本机或内网环境验证交互链路。

真实界面

项目截图

共 6 张

Jlama 能力预览
部署指引
本地推理优势
运行状态
接口说明
集群拓扑

Capabilities

核心功能

✓中文本地推理工作台与对话界面
✓无需下载模型的确定性演示模式
✓OpenAI 兼容聊天接口说明与真实模式切换指引
✓运行状态卡片与本地演示服务信息
✓协调器与工作节点集群拓扑可视化
✓SSE 流式聊天输出与会话标识
✓Java CLI、Spring Boot REST API 与 Maven 构建链路
✓保留真实模型加载与原始推理模块

适用场景

在本地快速体验 Java 大模型推理与流式聊天接口
为内部工具提供 OpenAI 兼容的本地模型服务入口
验证分布式推理协调器、工作节点和拓扑状态展示

适合谁

需要在 Java 应用中集成本地大模型、OpenAI 兼容接口或分布式推理拓扑的开发者和技术团队。

商业化思路

开源源码交付与本地部署、模型接入、界面定制和企业内部推理服务集成服务。

你会拿到什么

  • ✓Jlama Java 推理引擎源码与中文本地演示界面
  • ✓Apache 许可证、中文交付说明、源码包和可复现构建证据
  • ✓本地功能验证、浏览器截图、许可证与发布前置门禁记录

部署流程

  1. 1使用 Java 21 执行 mvn -DskipTests package 完成构建
  2. 2演示环境执行 jlama restapi --demo --port 8080 demo/model 后打开 /ui/index.html
  3. 3真实环境移除 --demo 并提供 Hugging Face 模型名称，再通过 /chat/completions 接入客户端

真实验证结果

已通过 6 个真实运行中文界面、HTTP、可见正文、控制台、坏图和横向溢出质量门。

部署前须知

当前截图和本地功能证据使用明确标注的演示适配器，未连接外部模型服务；真实推理需要按模型规模准备内存和模型权重，生产环境还需自行配置访问控制、日志和资源监控。

部署难度

中等

最低配置

建议使用 Java 21、Maven 3.9+ 与可用的本地磁盘；真实推理需要按模型规模准备内存，演示模式无需模型权重。

开源许可证

Apache License 2.0

最后验证

2026-09-02

技术栈

Java 21MavenSpring BootUndertowOpenAI 兼容 REST APIServer-Sent Events

授权说明

仓库根目录 LICENSE 提供 Apache License 2.0。交付时原样保留许可证、版权声明和上游来源，并披露本次中文界面、本地演示适配器与构建配置修改。

Release notes

版本记录

1 个已发布版本

vcn-7cb08eebbb8d 当前推荐

新增中文本地推理工作台、确定性演示适配器、运行状态与拓扑页面；修复 Maven Protobuf 插件配置与原生下载脚本权限，并通过本地功能和浏览器证据验证。

部署要求：Java 21、Maven 3.9+；演示模式无需下载模型，真实模式需要提供模型名称并准备与模型规模匹配的内存和磁盘。

已知问题：演示模式不代表真实模型质量或吞吐；真实模型加载、访问控制、资源监控和生产数据策略需要按部署环境补充。

登录后领取