中国有卖 TxtrBeagle电子书阅读器吗?（探索新Ollama Python库：在应用程序中集成本地LLM）

中国有卖 TxtrBeagle电子书阅读器吗?

暂时没有，楼上说的ttsuu我用过，还行，用了一次放弃了。

txtrbeagle只能用蓝牙貌似，楼主要买就要等了啊。

探索新Ollama Python库：在应用程序中集成本地LLM

Ollama 推出Python & JavaScript 库，这两个库能够让开发者仅用几行代码，就能将新的或已有的应用程序与 Ollama 无缝集成，同时共享 Ollama REST API 的功能和用户体验。

官方介绍博文

https://ollama.ai/blog/python

这里以python为例来介绍。

https://github.com/ollama/ollama

我的体验

虽然使用 Ollama 的客户端、Web UI、插件很多，但我觉得有了 Ollama 库之后，定制自己的程序也不错。

我用 Streamlit 写了 python 程序来运行本地大模型“yi”。

Streamlit 是一个面向数据科学和机器学习领域的开源 Python 库，其主要功能是以简单快速的方式创建和分享既美观又定制化的 web 应用。

作为一个基于 Python 的工具，它能够生成互动性强的网站页面。

安装 Streamlit

pip install streamlit

运行 Streamlit 应用

streamlit run app.py

01.ai推出的模型“yi”拥有6B参数规模，在我的32GB内存的Mac上运行表现出色，不仅速度快，生成的内容也令人满意。

https://www.ollama.ai/library/yi/tags

LLaVA是一种端到端训练的大型多模态模型，结合了视觉编码器和Vicuna，用于通用视觉和语言理解。

https://www.ollama.ai/library/llava

分享下下图界面的 python 代码，支持文字和图片模型。

识别图片时，记得把模型先选为“llava”。

import streamlit as st
import ollama
from PIL import Image
from io import BytesIO

39;yi&39;dolphin-mistral:7b-v2.6-fp16&39;openhermes:7b-mistral-v2.5-q6_K&39;ifioravanti/neuralbeagle14-7b:7b-q8_0&39;llava&39;yi:34b&39;选择模型:&39;提出一个问题:&39;&34;&34;
<style>
.dashed-box {
border: 2px dashed 34;&34;, unsafe_allow_html=True)

uploaded_file = st.file_uploader(&34;, type=[&39;,&39;,&39;])

if uploaded_file:
img = Image.open(uploaded_file)

39;RGBA&39;RGB&39;上传的图片&39;提交&39;role&39;user&39;content&39;jpeg&39;images&39;&39;content&39;message&39;message&39;content&39;<div class=&34;>{final_response}</div>& 设置默认模型
default_model = &39;

st.markdown(&34;&FFA500;
border-radius: 10px;
padding: 10px;
margin: 10px 0;
}
</style>
&34;& 允许用户批量上传图片
uploaded_files = st.file_uploader(&34;, type=[&39;, &39;, &39;], accept_multiple_files=True)

39;为所有图片提出一个问题:&39;&39;提交&39;& 用于保存所有回答的字符串
for uploaded_file in uploaded_files:
img = Image.open(uploaded_file)

39;RGBA&39;RGB&39;jpeg&39;role&39;user&39;content&39;images&39;&39;content&39;message&39;message&39;content&39;图片 {i+1}&39;图片 {i+1} 的回答：{final_response}\n&39;<div class=&34;>{response_text}</div>& 创建下载按钮
st.download_button(
label=&34;,
data=all_responses,
file_name=&34;,
mime=&34;
)

ifioravanti 使用 Ollama Python 库在本地生成微调合成数据集。

通过简单的代码，就可以自动获取针对某个主题的问答训练数据，极大地简化了训练数据的准备工作。

https://gist.github.com/ivanfioravanti/bcacc48ef68b02e9b7a4034161824287

上述页面的代码解释：

我用模型“yi”试了下，出错，于是换成 ifioravanti 使用的 “openhermes:7b-mistral-v2.5-q6_K” 模型，运行成功。

输入儿童教育主题后，终端得到如下结果。

同时，生成3个文件。

Ollama 原生集成到 Python 和 JavaScript 应用程序中，可以帮我们节约成本，搭建我们的AI Agent。

声明:本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。 E-MAIL:admin@bb1314.com