Локальная установка privateGPT на базе LLM Ollama

Самый простой способ запустить PrivateGPT полностью локально — положиться на Ollama в качестве LLM. Ollama предоставляет локальные LLM и встраивания, которые очень просты в установке и использовании, абстрагируя сложность поддержки графических процессоров. Это рекомендуемая настройка для локальной разработки.

Перейдите на ollama.ai и следуйте инструкциям по установке Ollama на свой компьютер.

После установки убедитесь, что настольное приложение Ollama закрыто.

Установите модели, которые будут использоваться, по умолчанию в файле settings-ollama.yaml настроен пользовательский mistral 7bLLM (~4 ГБ) и nomic-embed-textвстроенные файлы (~275 МБ). Поэтому:

ollama pull mistral
ollama pull nomic-embed-text

Теперь запустите службу Ollama (она запустит локальный сервер вывода, обслуживающий как LLM, так и Embeddings):

ollama serve

После этого на другом терминале вы можете установить PrivateGPT с помощью следующей команды:

poetry install --extras "ui llms-ollama embeddings-ollama vector-stores-qdrant"

После установки вы можете запустить PrivateGPT. Прежде чем запускать следующую команду, убедитесь, что у вас есть работающая Ollama, работающая локально.

PGPT_PROFILES=ollama make run

PrivateGPT будет использовать уже существующий settings-ollama.yamlфайл настроек, который уже настроен для использования Ollama LLM и Embeddings, а также Qdrant. Просмотрите его и адаптируйте под свои нужды (разные модели, разные порты Ollama и т. д.).

Пользовательский интерфейс будет доступен по адресу http://localhost:8001.

Источник