Mesh LLM:在 iroh 上进行分布式人工智能计算

Mesh LLM 是一个开源项目,能将用户多台机器上的 GPU 和内存池化,对外暴露兼容 OpenAI 的 API。它通过 iroh 网络库实现点对点连接,无需中央服务器。请求可在本地 GPU 运行、路由到已加载模型的节点,或将大模型按层分区(内部称”Skippy”)流水线式拆分到多台机器。系统内置 40 多个模型,从 5 亿参数到 235B MoE 巨模型均可支持。软件体积约 18 MB,启动后以 `localhost:9337/v1` 提供服务。

Mesh LLM 是一个开源项目,能将用户多台机器上的 GPU 和内存池化,对外暴露兼容 OpenAI 的 API。它通过 iroh 网络库实现点对点连接,无需中央服务器。请求可在本地 GPU 运行、路由到已加载模型的节点,或将大模型按层分区(内部称"Skippy")流水线式拆分到多台机器。系统内置 40 多个模型,从 5 亿参数到 235B MoE 巨模型均可支持。软件体积约 18 MB,启动后以 `localhost:9337/v1` 提供服务。

信息来源:Hacker News 热门(buzzing.cc 中文翻译)

转载请注明出处:https://www.ysthink.site/4081/
(0)
的头像
上一页 2026年7月12日
下一页 2026年7月12日

相关推荐

  • Hugging Face 公开自主智能体网络攻击详情

    首次自主智能体网络攻击是一次前所未有的事件,理应获得前所未有的透明度。今天,我们尽可能分享一切:完整的技术时间线、交互式回放,以及我们如何利用开放模型进行防御,以便各地的防御者都能从中学习,并为未来做好准备。

    https://huggingface.co/blog/agent-intrusion-technical-timeline

    AI资讯 8小时前
    00
  • 商汤开源 SenseNova-Vision-7B-MoT 多任务视觉模型

    商汤发布并完全开源 SenseNova-Vision-7B-MoT,一个统一处理检测、OCR、GUI、深度与法线估计、分割、多视图等主要视觉任务的模型。该模型支持通过自然语言定义新的视觉任务变体,跨传统任务边界重组视觉能力。开源内容包括模型权重及 SenseNova-Vision Corpus(含 5000 万示例子集及复现剩余公开数据的完整工具包)。

    AI资讯 2026年7月14日
    00
  • ABot-World-0:单张桌面级GPU实现无限交互式世界生成

    ABot-World-0是一个动作条件视频世界模型,能在单张NVIDIA RTX 5090 GPU上以720P分辨率、最高16 FPS、1.2秒动作到首帧延迟和约19 GiB峰值显存预算运行无限交互式世界生成。该模型采用统一的帧同步键盘动作接口,通过LongForcing分布匹配阶段解决长程自回归漂移问题,并集成轻量级VAE解码器、低比特DiT推理和局部上下文KV缓存等系统级优化。

    AI资讯 2026年7月21日
    00
  • Google 推出 Tunix:基于 JAX 的高吞吐智能体后训练库

    Google 发布 Tunix,一个基于 JAX 的原生后训练库,旨在消除多轮、使用工具的 LLM 推理智能体训练中的 TPU 闲置瓶颈。Tunix 通过高并发异步 rollout 与解耦的生产者-消费者流水线最大化硬件吞吐量,确保训练器持续获得数据。该库提供即插即用抽象和持续宏观级性能分析,便于集成自定义环境。

    AI资讯 2026年7月22日
    00
  • Codex 周活超700万,两月更新150+项

    7M+ 周活跃 Codex 用户。两月内 150+ 项更新。

    @romainhuet 为你梳理 Codex 新动态:GPT-5.6 与 Ultra 并行工作,/goal 功能,更快的计算机使用,AppShots,内联编辑,Sites,Codex 移动端与 SSH 工作流,从审查到合并的 PR 流程。

    AI资讯 2026年7月15日
    00

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

自6.2开始主题新增页头通知功能,购买用户可免费升级到最新版体验