Ollama позволяет запускать большие языковые модели, такие как Llama 2, локально. Список поддерживаемых моделей можно посмотреть по этой ссылке. Веб-интерфейс же сделает работу с этими моделями более удобной.
Его создание состоит из следующих шагов:
🦶Клонировать этот репозиторий.
🦶Установить Ollama. Этот этап можно объединить с установкой самого Web UI через Docker Compose. Нужно выполнить команду:
docker compose up -d --build🦶Затем следует активировать поддержку GPU. Это можно сделать через дополнительный файл Docker Compose следующей командой:
docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d --build🦶После установки нужно проверить, что Ollama запустилась. Для этого в адресной строке браузера следует написать:
http://127.0.0.1:11434/ (стоит отметить, что порт может различаться).🦶Если всё прошло успешно, нужно выполнить команду:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main🦶Ollama Web UI должен стать доступен по адресу:
http://localhost:3000