AI办公工具
Jan

本地运行大模型并进行AI对话的工具,免费开源

Tags:

Jan(Jan.ai)是一个免费开源的本地运行大模型并进行AI聊天对话的工具,可帮助用户在本地电脑(Windows、Mac、Linux)上安装、部署、运行并使用开源版本的ChatGPT替代大模型,如LLaMa、Mistral、Phi-2等20多个模型,也支持输入自己的OpenAI API Key以运行GPT。相较于AI工具集此前介绍的Ollama,该工具提供了对话UI和API服务器,适合开发者、研究人员或AI爱好者本地体验开源的大模型。

Jan AI

Jan的主要功能

  • 本地运行开源大模型:支持LlaMa、Mistral、Phi-2、DeepSeek、Yi等20多个模型,可手动导入也可以在模型库下载模型
  • 简洁好用的聊天界面:软件界面清爽简洁、直观易用,直接在本地与开源大模型快速进行对话聊天
  • 支持多个平台:Jan支持在Windows、Mac(Intel、M1/M2/M3)和Linux等操作系统运行,后续还将推出移动端APP。
  • 内置API服务器:与OpenAI API兼容,可通过API获取模型信息、下载、启动、停止模型及聊天等

Jan本地运行Phi-2模型

如何使用Jan

  1. 访问Jan的官网(jan.ai),选择对应的电脑操作系统版本,点击Download进行下载
  2. 然后安装并打开软件,在软件界面的左下角点击Download your first model
  3. 进入模型库Hub界面,选择你感兴趣的模型进行下载,下载完成后点击Use使用该模型
  4. 在对话界面输入你的描述即可与你选择的模型进行对话啦

Jan还在持续开发中,后续会支持移动端APP、创建AI助理、推理引擎、插件扩展等功能。

Relevant Navigation