Нещодавно виникла думка, щоб використовувати Chat GPT 4 через їх офіційний API. Для чого це потрібно? Зазвичай я використовую Chat GPT 3.5 через офіційний застосунок для Ubuntu чи через офіційний сайт і тих можливостей які там є мені вистачає. Але інколи виникає необхідність використання GPT 4. Наприклад, коли працюєш з новими даними, яких просто нема в версії 3.5. Для мене таке трапляється досить рідко тому купувати версію Chat GPT 4 за 20 доларів на місяць для кількох десятків запитів нема бажання. Саме в такій ситуації є сенс використовувати API.
Але тут є інша проблема, нам треба якось користуватись цим API. Тобто ми маємо ключ, а що робити з ним далі? Треба ж якийсь застосунок, чат, де ми можемо ставити питання, чи відправляти завдання в нейромережу. На щастя цим питанням займаються багато інтузіастів і є досить багато рішень які представлені на github.com. Давайте розглянемо деякі з них.
По-перше варто виділити проект FreeGPT. Детальну інформацію про нього ви можете знайти в мережі, все є розписано також на Github. Я встановив його собі, навіть на VPS сервер через докер. Використовував цей проект: https://github.com/fantasy-peak/cpp-freegpt-webui#cpp-freegpt-webui встановив таким чином :
docker pull fantasypeak/freegpt:latest
docker run -p 8858:8858 --name freegpt -d fantasypeak/freegpt:latestПісля чого переходимо в браузері: http://your-ip:8858/chat
Система працює, є варіант вибрати різні нейронки, список досить великий. Але працює з цього списку близько 30%, інші хочуть ключ ;). З позитивного можна зазначити, що працює Llama. Інші канали працюють з Chat CPT 3.5 тому не зовсім зрозуміло для чого це потрібно, можна просто використовувати цю нейронку через офіційний додаток і не стрворювати собі додаткових проблем. Обіцяна Chat GPT 4 через цей додаток в мене не запрацювала.
Отож дивимось які є додатки для роботи безпосердньо з Open AI API. Мою увагу привернули два проекти.
Сhatgpt-ui
Виглядає гарно. Окремо зроблений бекенд на Джанго, окремо є фронтенд. Є авторизація для користувачів, тобто скрипт можна встановлювати на сервер і користуватись онлайн. Можна навіть трохи допрацювати і зробити свою “аля нейронку” яких зараз з’являється все більше й більше з кожним днем та перепродавати токени з націнкою. Відмічу те, що проект має дуже гарно прописану документацію, що дуже добре. Автори вказують інструкції з установки додатку на Ubuntu 22.04. Я ж спробував все встановити на свій лептот під Ubuntu 20.04, встановлення ніби пройшло успішно, проте додаток не запрацював. Фронт встановився та запускався при переході за посиланням, хоч і дуже повільно. Але авторизуватись в системі я не міг. Бекенд взагалі не подавав ніяких ознак життя (тому скоріш всього я і не міг авторизуватись )), тож я почав дивитись інші рішення. І серед багатьох мою увагу привернув один проект. Про нього і піде мова далі.
Chatgpt-web
Це дуже простий додаток який запускає чат для роботи з Open AI API. Нема розподілу на фронт та бек, просто чат в якому ви вказуєте свій ключ і далі починаєте спілкування з Chat GTP. З одного боку все дуже просто і працює швидко. З іншого боку використовувати цей додаток варто лише на локальному комп’ютері. Звісно ви можете все встановити та запустити і на публічному сервері, але є ймовірність, що ваш чат знайдуть та будуть використовувати посторонні особи. А враховуючи те, що ми платимо за кожен токен, то це може бути трохи затратно.
Тож піднімаємо це все на локальному комп’ютері. Перше, що нам потрібно – це Ubuntu (це в моєму випадку, я думаю будь-який інший Лінукс піде також без проблем). Далі нам треба встановити свіжу Node.js. Для цього переходимо: https://github.com/nodesource/distributions/blob/master/README.md#ubuntu-versions
Я використовув цей код:
curl -fsSL https://deb.nodesource.com/setup_21.x | sudo -E bash - &&\
sudo apt-get install -y nodejsЯкщо в процесі треба буде встановити додаткові пакунки, зробіть це. Чому встановлювати саме звідси? Тут свіжі версії які зазвичай потрібні для коректної роботи застосунків. Спочатку я встановив Node.js з офіційних репозиторіїв Ubuntu. Це була версія 10.х, яка вже застаріла на сьогодні, тому застосунок не запрацював.
Далі ми клонуємо репозиторій командою:
git clone https://github.com/Niek/chatgpt-web.git Далі переходимо в нього:
cd chatgpt-webДалі виконуємо команду:
npm ciСистема проведе всі завантаження та налаштування, після чого запускаємо командою:
npm run devЯкщо все пройшло вдало, в терміналі ви побачите таке повідомлення:
VITE v4.5.2 ready in 975 ms
➜ Local: http://localhost:5173/
➜ Network: use --host to expose
➜ press h to show helpДалі переходимо за вказаною адресою в браузері і ви побачите вікно чату із полем в яке треба вставити ваш ключ Open AI API після чого ви зможете використовувати Chat GPT.
З плюсів можна виділити те, що все працює досить швидко, система легко встановлюється, проста у використанні має мінімум налаштувань. Тут ви можете обирати різні моделі Chat GPT для використання в залежності від ваших потреб, є можливість відправляти запити голосом. Також ви можете використовувати нейронку від Meta – Llama 2. Ви можете закрити вкладку з чатом чи браузер повністю, але вся історія ваших запитів буде збережена.
З мінусів для мене є те, що не можна використовувати файли в роботі з мережею, а також те, що цей додаток ризиковано встановлювати на VPS сервер враховуючи його незахищеність до несанкціонованого доступу.
Тож у підсумку маємо працюючий застосунок, який доволі просто встановити на компьютер з ОС Ubuntu та використовувати для доступу до Chat GPT 4 через офіційне API.
Дякую за вашу увагу, до нових зустрічей!