【Rust日报】crabml,使用 Rust 重写 GGML
项目 - crabml,使用 Rust 重写 GGML
crabml 是一个正在进行中的实验性项目,相当于是使用 Rust 重新实现 GGML。目前它已经支持推理 Q8_0 量化的Llama 3B模型,与 ggml 性能差距仅有 1token/s 。
其设计目标是:
专注于推理。 将张量运算限制为 LLM 推理所需的最低限度。 在廉价硬件上具有足够快速的推理能力。 从实现之初就采用 mmap()
。SIMD 实现的优先级大于 GPU 实现。
crabml 的作者 f 叔 将会在周日(3 月 3 日)晚 7 点分享关于 Rust 和 AI 推理相关的内容,欢迎届时访问 https://meet.google.com/qnc-opkf-aft 参与。
GitHub - crabml/crabml: https://github.com/crabml/crabml
文章 - 为 WASI 0.2 设计异步运行时
来自 Yoshua Wuyts 的文章,著名的 Rust 开发者,async-std 的合作者之一,并且刚刚为 WASI 0.2 完成了一个可以工作的、最小的、正确的异步运行时的实现。
在这篇文章中详细介绍了作者如何为 WASI 0.2 实现这一运行时的。作者是第一个编写这一特定用途的代码的人,这些经验值得来自 Smol、Monoio、Glommio 或 Tokio 社区或者对 Rust 异步运行时设计和实现感兴趣的人学习。
Designing an Async Runtime for WASI 0.2: https://blog.yoshuawuyts.com/building-an-async-runtime-for-wasi/
Week In Rust 536
新一期的 Rust 周报速递发布,快来看看有哪些内容你曾经关注过 :)
This Week in Rust 536: https://this-week-in-rust.org/blog/2024/02/28/this-week-in-rust-536/
From 日报小组 PsiACE
社区学习交流平台订阅:
Rust.cc 论坛:支持 rss 微信公众号:Rust 语言中文社区