如何在本地使用Ollama运行开源LLMs

news/2024/7/10 20:06:12 标签: 开源, 人工智能, chatgpt, 语言模型, AIGC, gpt

本文将指导您下载并使用Ollama,在您的本地设备上与开源大型语言模型(LLMs)进行交互的强大工具。

与像ChatGPT这样的闭源模型不同,Ollama提供透明度和定制性,使其成为开发人员和爱好者的宝贵资源。

我们将探索如何下载Ollama并与两个令人兴奋的开源LLM模型进行交互:Meta的基于文本的模型LLaMA 2和LLaVA,一个可以处理文本和图像的多模态模型。

(本文内容参考:java567.com)

如何下载Ollama

要下载Ollama,请访问Ollama的官方网站并点击下载按钮。

在这里插入图片描述

Ollama支持3种不同的操作系统,Windows版本处于预览模式。

在这里插入图片描述

您可以根据您的操作系统选择可执行文件,在成功下载可执行文件后,运行可执行文件进行安装。

对于Linux用户,您需要执行屏幕上显示的命令,而不是下载可执行文件。

如何运行Ollama

为了向您展示在本地使用开源LLMs的强大功能,我将用不同的开源模型和不同的用例展示多个示例。这将帮助您轻松使用未来的任何开源LLM模型。

那么,让我们从第一个示例开始吧!

如何运行Meta的LLama2模型

Llama 2模型是Meta的开源LLM模型,我们将像使用ChatGPT(免费版本)一样与之交互,只是基于文本的交互。

首先,让我们使用以下命令下载模型:

ollama run llama2

在下载模型后,您应该看到类似于以下输出:

pulling manifest
pulling 8934d96d3f08... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 3.8 GB
pulling 8c17c2ebb0ea... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 7.0 KB
pulling 7c23fb36d801... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 4.8 KB
pulling 2e0493f67d0c... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏   59 B
pulling fa304d675061... 100% ▕████████████████████████████████████████████████████████████████

您应该在下载模型后看到类似于上述内容的输出。

现在,它应该会要求您发送一条消息或提示。让我们问一下llama2:“你能为我做什么?”(您可以问任何您想问的问题)。

如果您问的是上面的同样问题,则应该得到类似于以下回复:

>>> 你能为我做什么?

作为负责任的AI语言模型,我在这里帮助您解答任何您可能遇到的问题或任务。以下是我可以帮助您的一些示例:

1. 回答问题:我可以提供有关各种主题的信息,从科学技术到历史文化。
2. 生成想法:我可以帮助您为创意项目出谋划策,或提供解决问题的建议。
3. 写作辅助:我可以帮助您进行写作任务,例如校对、编辑和建议替代词或短语。
4. 翻译:我可以将文本从一种语言翻译成另一种语言。
5. 摘要内容:我可以将长篇的文本,如文章或文档,总结为更简短、更易消化的版本。
6. 创造力:我可以帮助您生成故事、诗歌或其他形式的创作的创意。
7. 语言学习:我可以通过提供语法解释、词汇表和练习题来帮助您学习一门新语言。
8. 聊天:我在这里与您聊天,并对您想讨论的任何问题或主题提供回复。

如果有任何特定的事情需要我帮助您,请告诉我。

>>> 发送消息(/? 获取帮助)

这就是我从llama2得到的回应。

要退出程序,您可以键入/exit。

现在让我们运行一个多模态模型,您可以发送一张图片并基于此提问。

如何运行LLaVA模型

LLaVA是一个开源多模态LLM模型。多模态模型可以接受多种类型的输入,并相应地生成响应。

使用此模型,我们现在将传递一张图片并根据此提问。

所以,首先要做的是,让我们下载模型:

ollama run llava

成功下载模型后,您应该在终端看到类似于以下内容:

pulling manifest
pulling 170370233dd5... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 4.1 GB
pulling 72d6f08a42f6... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 624 MB
pulling 43070e2d4e53... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏  11 KB
pulling c43332387573... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏   67 B
pulling ed11eda7790d... 100% ▕████████████████████████████████████████████████████████████

我将使用来自pexels的这张图片。

这是我从LLaVA得到的输出:

>>> 这张图片里是什么? ./Downloads/test-image-for-llava.jpeg
已添加图像'./Downloads/test-image-for-llava.jpeg'
该图像显示一个人正在穿越一个十字路口。可以看到交通信号灯,街道上停着一辆公共汽车。道路上标有车道标线和行人过街信号。该地区似乎是城市的,周围没有可见的建筑或结构。

>>> 发送消息(/? 获取帮助)

您可以看到这是对图片的准确解释。

随意尝试其他内容,尽情享受吧。

结论

就是这样!使用Ollama,您可以在自己的设备上尝试强大的LLM模型,如LLaMA 2和LLaVA。

下载Ollama,探索开源大型语言模型的激动人心的世界吧!

(本文内容参考:java567.com)


http://www.niftyadmin.cn/n/5468485.html

相关文章

SpringBoot登录校验(四)过滤器Filter

JWT令牌生成后,客户端发的请求头中会带有JWT令牌,服务端需要校验每个请求的令牌,如果在每个controller方法中添加校验模块,则十分复杂且冗余,所以引入统一拦截模块,将请求拦截下来并做校验,这块…

react diffing算法及函数柯里化

一.deffing 算法 (1)虚拟DOM中Key的作用: 当状态中的书韩剧发生变化时,react会根据【新数据】生成【新的虚拟DOM】,随后React进行【新虚拟 DOM】与【旧虚拟DOM】的diff比较,比较规则如下 : a.旧…

Java RESTful API开发:搭建基于Spring Boot的轻量级API服务

引言: 在当今互联网时代,API(Application Programming Interface)已经成为了各种软件系统之间交互的重要方式。而REST(Representational State Transfer)则是一种设计风格,用于构建分布式系统中…

【airtest】自动化入门教程(四)Poco元素定位

目录 一、基础操作 1、通过属性名等方式 2、通过属性组合 3、子节点方式 4、子节点加属性组合方式 5、孙节点offspring 6、兄弟节点sibling 7、父节点parent 8、正则表达式 9、直到某个元素出现 10、直到某个元素消失 二、通过局部坐标定位 1、使用局部坐标系的cli…

不能在主机和虚拟机之间拷贝文本(虚拟机ubuntu16.04)

问题 ubuntu16.04不能在主机和虚拟机之间拷贝文本。 原因 vmware tools没安装好。 解决办法 重新安装vmware tools,步骤入下: 让虚拟机加载C:\Program Files (x86)\VMware\VMware Workstation\linux.iso光盘文件,设置如下: …

交互设计师、UI设计师、视觉设计师面试作品集包装模板figma源文件

页面数量:19页 页面尺寸:1920*1080PX 交付格式:figma 赠送文件:24款高质量样机 交付文件:作品集模板源文件、作品集包装psd源文件、作品集所用字体文件 该作品集虽然只有19页,但可根据需求复制作品集里已有…

UE4_材质节点

UE4_材质节点 2017-12-07 13:56 跑九宫格 跑UV 评论(0)

网站访问502,网站服务器崩溃,比较常见几个的原因

其实,配置再好的服务器也难免在使用过程中出现一些故障,造成宕机。 服务器一旦出现故障,影响到用户实时访问网站,造成用户流失,如果在企业的销售高峰期,则将直接影响到商业利润,而且不仅影响外…