Чи зможе OpenAI перейти від ChatGPT до суперінтелекту? Чи припинить штучний інтелект розвиватися? І причому тут живі комп’ютери?
Тренування великих мовних моделей — це ракета, що летить до майбутнього?
Комп’ютер, що здатен на все, на що здатна людина — саме так визначають сильний штучний інтелект, або AGI (Artificial General Intelligence). AGI був і залишається священним граалем всіх дослідників штучного інтелекту: вчені й програмісти намагаються винайти його, а OpenAI прямо зазначала досягнення AGI як одну зі своїх цілей. І кілька років тому на шляху до нього відбувся суттєвий прорив: були винайдені великі мовні моделі, такі, як ChatGPT, моделі, що генерують відповіді на будь-які питання.
З того часу моделі без зупинок вдосконалюються: штучні інтелекти вирішують надскладні математичні завдання і займають місця серед найкращих спортивних програмістів світу. Начебто все виглядає так, ніби до сильного штучного інтелекту залишилось лише пара років тренувань.
Проте можливо, що подальші тренування великих мовних моделей — це не ракета, що летить до майбутнього, а паротяг, що на повних обертах несеться у глуху стіну. Чому ж?
- Філософське питання
Все, що роблять великі мовні моделі — це генерують текст на основі даного їм контексту. Може здаватися, наче вони щось розуміють чи навіть роздумують, проте з інженерного погляду єдине, що доступне їх сприйняттю — текст. І тут ми вступаємо у царину філософії. Чи можна повністю й остаточно описати світ у вигляді тексту? Чи можливо побудувати представлення о ньому лише по тексту? Перехід від мовних моделей до AGI можливий тільки у тому випадку, якщо це правда.
- Плата за техніку
Розвиток ШІ став можливим завдяки тому, що сучасні комп'ютери стали надпотужними. Вони змогли виконувати алгоритми машинного навчання на достатньо великих наборах даних, що перетворили прості програми на розумних помічників. Ми фактично завалили потужністю проблеми з проєктування нейронних мереж.
Та вже давно вчені звертають увагу на те, що мовні моделі дуже, дуже неефективні. Екологи бʼють тривогу — адже всі ці дата-центри поглинають величезну кількість води. Досі потужність моделей нарощувалась разом з потужністю «заліза», на якому вони працюють. Проте неможливо просто продовжувати нарощувати розміри моделей і дата-центрів, які їх підтримують — рано чи пізно ми досягнемо фізичних обмежень на розмір і швидкість комп’ютерів, а кожна відповідь почне коштувати долари. І чи наблизимось ми до сильного ШІ раніше, ніж сучасна модель стане непідтримуваною? Навряд чи.
Нові рішення для навчання штучного інтелекту
Саме тому дослідники весь час шукають більш ефективні способи як організації, так і навчання штучного інтелекту. Але можливо, що прискорення прийде не звідси, а з царини hardware — того «заліза», на якому все це запускається, і яке в найближчому майбутньому може стати зовсім не залізом.
Компʼютер сильно відрізняється від людського мозку. Він оперує лише нолями й одиницями — абсолютно чітка логіка, абсолютно передбачуваний результат. Людський же мозок оперує образами й асоціаціями, де кожна річ схожа на купу інших. Компʼютеру важко імітувати дію мозку, адже він фундаментально інший — саме тому нейронні мережі настільки «прожерливі» щодо ресурсів комп'ютера.
Ще у 2010-х Google випустив «тензорні процесори» (TPU) - процесори, спеціально пристосовані для роботи моделей машинного навчання. Вони підтримують операції перемноження матриць на рівні команд.
Але що якби ми сказали, що ідеальна машина для створення і роботи нейронних мереж вже існує? Що вона споживає менш як двох кіловат на день і не нагрівається?
І що зараз вона знаходиться прямо поза вашими очима?
Проблеми «мокрого забезпечення»
Ми вже розповідали про стартап FinalSpark, який займається створенням живого процесору. Такий процесор працював би на людських нейронах і природним чином прямував би до формування енергоефективних зв’язків між нейронами — саме того, що намагаються відтворити нейромережі. Проте команда FinalSpark — не єдині, хто працює у цьому напрямку. Австралійська компанія Cortical Labs представила CL1 — перший комп’ютер, що працює на живих клітинах.
Cortical Labs планує як продавати біокомп’ютери, так і пропонувати лише процесорний час за оплату. Їх біологічні комп’ютери знаходяться в безперервному стані самонавчання, і тому по швидкості розвитку будуть значно обганяти програмні нейромережі.
Але з використанням такого «мокрого забезпечення» (wetware) будуть виникати ніколи не бачені проблеми. Наприклад, через різні шляхи розвитку, якими підуть нейронні зв’язки, кожен комп’ютер буде до певної міри унікальним, що може обмежити програми роботою на одній машині. Проте біокомп’ютинг — це точно сфера майбутнього.
За матеріалами:
Іван Синенко
