fxyz666/LogicPipe: LogicPipe 是一个面向边缘多设备协同 LLM 推理的开源软件项目,提供离线管线规划、分布式 stage 权重加载、依赖感知任务调度和上下文 KV cache 复用能力。

LogicPipe 是一个面向边缘多设备协同 LLM 推理的开源软件项目,提供离线管线规划、分布式 stage 权重加载、依赖感知任务调度和上下文 KV cache 复用能力。

Read Original

Related