蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming,仓库为 github.com/vllm-project/humming。
信息来源:vLLM 官方博客(RSS)
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming,仓库为 github.com/vllm-project/humming。
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming,仓库为 github.com/vllm-project/humming。
信息来源:vLLM 官方博客(RSS)