Недавно появились открытые версии ChatGPT, которые называются Alpaca и Vicuna и не уступают в качестве ChatGPT, но при этом на их обучение не нужно тратить миллиарды.
Как это возможно? Все дело в методах Deep Learning, - на основе большой нейросети ("teacher network") обучается нейросеть меньшего размера ("student network"), которая тем самым учится воспроизводить поведение исходной сети. охраняя ее функциональность и эффективность.
У Vicuna,13 млрд параметров и она показывает эффективность на уровне 90% ChatGPT, в которой 175 млрд параметров. Получается не нужно учить огромную нейросеть с нуля, достаточно дообучить уже готовую модель. Далее собрать свою нейросеть можно будет на домашнем ПК.
Таким образом демократизация ИИ приведет к созданию тысяч нейросетей, которые будут использоваться для решения конкретных бизнес задач. А мы будем работать 4 дня в неделю.
