Groqbook:使用 Groq 和 Llama3 在几秒钟内生成整本书
Groqbook 项目概述
今天看到的最有意思的项目就是 Groqbook。
https://github.com/Bklieger/groqbook?utm_source=bensbites&utm_medium=newsletter&utm_campaign=daily-digest-last-call-for-early-bird-pricing
Groqbook 是一款精简版应用程序,可使用 Groq 上的 Llama3 通过单行提示创建书籍。它适用于非小说类书籍,并在几秒钟内生成每一章。该应用程序混合了 Llama3-8b 和 Llama3-70b,利用较大的模型来生成结构,并利用两者中较小的模型来创建内容。目前,该模型仅使用章节标题的上下文来生成章节内容。将来,这将扩展到更完整的书籍上下文,以允许 Groqbook 生成高质量的小说书籍。
视频展示
多亏了 Groq 最新的速度优化升级,Groqbook 的内容生成速度快到让人难以置信。
在上面的演示中,这个基于 Llama3 模型的精简应用程序仅用了不到18秒的时间,就生成了多达23000个 tokens 的内容,真可谓“谈笔风生“。
生成小说的效果
当Groqbook的运行到第12秒时,我简直惊呆了——16000个tokens,约12000个英文单词的小说内容竟在弹指一挥间就已然成型!
这意味着,一部中等长度的小说,或许在 AI 的辅助下真的可以在几分钟之内完成初稿了。
示例主题为:
元素之力的传承:在一个元素魔法的世界里,四大元素(火、水、土、风)之间的平衡被打破,世界陷入了混乱。主角是一名具有特殊天赋的年轻人,他必须找到四大元素的传承者,并联合他们一起恢复世界的平衡。
生成的章节
当我看到 Groqbook 生成的众多英文单词时,不禁有些犯愁。
作为一个非英语母语的读者,要完整地消化这些内容谈何容易。
我请 Gemini 1.5 Pro 总结了下(下图是部分内容)。
Groqbook 允许用户下载包含整本书内容的文本文件。
下载下来的文本文件就像一块潜力无限的“创作石料“,等待着我们这些“写作工匠“去打磨、雕琢。
我们可以在AI生成的基础上进行改写、润色,赋予故事更多个人特色;也可以将其作为灵感的源泉,激发更多原创的想法。
开启AI写作之旅,云端本地两相宜
如果你渴望体验Groqbook的神奇魅力,不妨先“一键启程“——只需访问 groqbook.streamlit.app,就能直接使用托管在云端的版本。
但如果你希望更好地掌控自己的写作旅程,不放心将 Groq API 密钥托付给云端,那么不妨在本地搭建属于自己的 Groqbook。
本地安装和使用步骤
1. 安装 Conda
从 Conda官网下载并安装适用于你操作系统的 Conda 版本。
2. 克隆 Groqbook 代码仓库
打开终端(Mac)或命令提示符/PowerShell(Windows),并执行以下命令:
git clone https://github.com/Bklieger/groqbook.git
3. 进入 Groqbook 代码目录
在终端或命令提示符/PowerShell 中执行以下命令:
cd groqbook
4. 创建并激活虚拟环境
在终端或命令提示符/PowerShell 中执行以下命令:
conda create -n groqbook_env python=3.11
conda activate groqbook_env
5. 安装依赖
在终端或命令提示符/PowerShell 中执行以下命令:
pip install -r requirements.txt
6. 设置 Groq API 密钥
Mac:
export GROQ_API_KEY=gsk_yA...
Windows:
set GROQ_API_KEY=gsk_yA...
或者你可以将密钥直接设置在 Streamlit 应用中。
7. 运行 Streamlit 应用
在终端或命令提示符/PowerShell 中执行以下命令:
streamlit run main.py
更多关于 Groq API 密钥的申请,请参考这篇文章,现在是免费使用的。
结语
Groqbook并非要取代人类创造力,而是与之激荡出更多灵感火花。
希望这篇文章对你有所帮助。如果觉得有用,欢迎点赞、分享、留言。
精选历史文章,请看这里:
Groq + Llama 3 实现本地 RAG:Phidata 框架的应用与性能展示
Groq API 使用指南:无需申请即可体验,从速率限制到模型参数解析
不只是快,新版 ChatGPT 数据分析体验全记录,分享超实用 AI 提示词,助你轻松驾驭复杂数据分析
推荐一个自动生成复杂提示词的模版:思考链(CoT)如何通过分步推理提升AI任务准确性