GPT-1, GPT-2 va GPT-3 orasidagi farq
GPT-1 BookCorpus datasetida pre-train qilingan bo'lib,
~5 GB ma'lumotga ega
~7000 kitobni o'z ichiga oladi.
GPT-2 taxminan
40 Gb ma'lumot uchun
~8M hujjatlarni o'z ichiga olgan yanada xilma-xil internet ma'lumotlar to'plami bo'lgan WebText datasetidan foydalangan holda pre-train qilingan.
GPT-3 WebText datasetini kengaytirilgan versiyasidan, oshkor etilmagan ikkita Internetga asoslangan kitoblar korpusidan va
~600 GB ma'lumotni tashkil etgan ingliz tilidagi
Vikipediyadan foydalangan.
#AI
Boshqalar bilan ham baham ko'ring
https://t.me/step2ai
