سەرچاوەی مۆدێلی زمانیی گەورە ببینە

<templatestyles src="Hlist/styles.css"></templatestyles>'''مۆدێلی زمانی گەورە''' ('''LLM''') [[مۆدێل|مۆدێلێکی]] بژمێرە (computational) کە توانای [[ژیریی دەستکردی بەرھەمھێنەر|درووستکردنی]] زمان یان ئەرکەکانی تری [[پێواژۆکردنی زمانی سروشتی|پێواژۆی زمانی سروشتی]] [[:en:Natural_language_processing|natural language processing]]ھەیە. وەک مۆدێلی زمان، LLMەکان ئەم توانایانە بەدەست دەھێنن بە فێربوونی پەیوەندییە ئامارییەکان لە بڕێکی زۆر لە دەق لە کاتی پرۆسەی ڕاھێنانی خۆچاودێریکەر و  [[فێربوونی چاودێریکراو|نیوەچاودێریکراودا]].<ref name=":7">{{بیرخستنەوەی وێب|ڕێکەوت=١٤ی شوباتی ٢٠١٩|سەردێڕ=Better Language Models and Their Implications|ناونیشان=https://openai.com/blog/better-language-models/|ڕەوشی ناونیشان=زیندوو|ناونیشانی ئەرشیڤ=https://web.archive.org/web/20201219132206/https://openai.com/blog/better-language-models/|ڕێکەوتی ئەرشیڤ=١٩ی کانوونی یەکەمی ٢٠٢٠|ڕێکەوتی سەردان=٢٥ی ئابی ٢٠١٩|وێبگە=OpenAI}}</ref>

گەورەترین و بەتواناترین LLM، {{ھەتا ڕێکەوتی|٢٠٢٤|٠٨}}، تۆڕە دەمارییە دەستکردەکانن کە بە [[ترانسفۆرمەر (مۆدێلی فێربوونی ئامێر)|بیناسازییەکی پشتبەستوو بە ترەنسفۆرمەری تەنھا دیکۆدەر]] دروستکراون، کە پرۆسێسکردنی کارا و دروستکردنی داتای دەقی گەورە دەکات. دەتوانرێت مۆدێلە مۆدێرنەکان بۆ ئەرکە تایبەتەکان ورد بکرێتەوە یان دەتوانرێت بە ئەندازیاری دەستووری ڕێنمایی بکرێن.<ref name="few-shot-learners">{{بیرخستنەوەی ژوورناڵ|دوایین=Brown|یەکەم=Tom B.|دوایین٢=Mann|یەکەم٢=Benjamin|دوایین٣=Ryder|یەکەم٣=Nick|دوایین٤=Subbiah|یەکەم٤=Melanie|دوایین٥=Kaplan|یەکەم٥=Jared|دوایین٦=Dhariwal|یەکەم٦=Prafulla|دوایین٧=Neelakantan|یەکەم٧=Arvind|دوایین٨=Shyam|یەکەم٨=Pranav|دوایین٩=Sastry|یەکەم٩=Girish|دوایین١٠=Askell|یەکەم١٠=Amanda|دوایین١١=Agarwal|یەکەم١١=Sandhini|ڕێکەوت=Dec 2020|editor-last=Larochelle|editor-first=H.|editor2-last=Ranzato|editor2-first=M.|editor3-last=Hadsell|editor3-first=R.|editor4-last=Balcan|editor4-first=M.F.|editor5-last=Lin|editor5-first=H.|سەردێڕ=Language Models are Few-Shot Learners|ناونیشان=https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf|journal=Advances in Neural Information Processing Systems|بڵاوکەرەوە=Curran Associates, Inc.|بەرگ=٣٣|پەڕەکان=١٨٧٧–١٩٠١}}</ref> ئەم مۆدێلانە ھێزی پێشبینیکردن بەدەست دەھێنن سەبارەت بە ڕستەسازی، واتاسازی و بوون ناسی (ئۆنتۆلۆژیا) کە لە کۆدەقەکانی (corpora) زمانی مرۆڤدا ھەن، بەڵام ھەروەھا نادروستی و لایەنگرییەکانیش بە میرات دەگرن کە لە پێدراوەکاندا ھەن کە لەسەریان ڕاھێنراون.<ref name="Manning-2022">{{بیرخستنەوەی ژوورناڵ|دوایین=Manning|یەکەم=Christopher D.|بەستەری نووسەر=Christopher D. Manning|ساڵ=٢٠٢٢|سەردێڕ=Human Language Understanding & Reasoning|ناونیشان=https://www.amacad.org/publication/human-language-understanding-reasoning|journal=Daedalus|بەرگ=١٥١|issue=2|پەڕەکان=١٢٧–١٣٨|doi=10.1162/daed_a_01905|doi-access=free}}</ref>

ھەندێک لە LLMە جێگای سەرنجەکان بریتین لە زنجیرە مۆدێلەکانی GPT ی [[ئۆپن ئەی ئای|OpenAI]] (بۆ نموونە، [[جی-پی-تی-٣|GPT-3.5]]، GPT-4 و GPT-4o ; لە [[چات جی پی تی|ChatGPT]] و Microsoft Copilot بەکاردێت)، Gemini ی [[گووگڵ]] (کە دووەمیان لە ئێستادا لە [[جێمینای (چاتبۆت)|بۆتێکی دوێنەر بە ھەمان ناو]] بە کار دەھێنرێت)، خێزانی مۆدێلەکانی LLaMA ی [[مێتا پلاتفۆرمز|مێتا]]، مۆدێلەکانی گرانیتی [[ئای بی ئێم|IBM]] کە سەرەتا لەگەڵ Watsonx بڵاوکرانەوە، مۆدێلەکانی Claude ی Anthropic و مۆدێلەکانی Mistral AI.

== مێژوو ==
پێش ساڵی ٢٠١٧ چەند مۆدێلێکی زمان ھەبوون کە گەورە بوون بە بەراورد بەو تواناکانی کە ئەوکاتە کە لە بەردەست بوون. لە ساڵانی ١٩٩٠ەکاندا، مۆدێلەکانی ڕێکخستنی IBM پێشەنگ بوون لە مۆدێلکردنی زمانی ئاماری. مۆدێلێکی نەرمکراوی n-گرام لە ساڵی ٢٠٠١ کە لەسەر ٠٫٣ ملیار وشە ڕاھێنرابوو، باشترین (SOTA) سەرلێشێواوی (perplexity) ئەوکاتەی بەدەستھێنا.<ref>{{بیرخستنەوە|دوایین=Goodman|یەکەم=Joshua|سەردێڕ=A Bit of Progress in Language Modeling|ڕێکەوت=٩ی ئابی ٢٠٠١|arxiv=cs/0108005}}</ref> لە ساڵانی ٢٠٠٠دا، لەگەڵ بڵاوبوونەوەی بەکارھێنانی ئینتەرنێت، ھەندێک لە توێژەران کۆمەڵە داتایەکی زمانییان لەسەر ئاستی ئینتەرنێت دروست کرد ("وێب وەک کۆمەڵەدەق"<ref>{{بیرخستنەوەی ژوورناڵ|دوایین=Kilgarriff|یەکەم=Adam|دوایین٢=Grefenstette|یەکەم٢=Gregory|ڕێکەوت=September 2003|سەردێڕ=Introduction to the Special Issue on the Web as Corpus|ناونیشان=https://direct.mit.edu/coli/article/29/3/333-347/1816|journal=Computational Linguistics|بەرگ=٢٩|issue=3|پەڕەکان=٣٣٣–٣٤٧|doi=10.1162/089120103322711569|issn=0891-2017}}</ref>)، کە لەسەریان مۆدێلی زمانی ئامارییان ڕاھێنا.<ref>{{بیرخستنەوەی ژوورناڵ|دوایین=Banko|یەکەم=Michele|دوایین٢=Brill|یەکەم٢=Eric|ڕێکەوت=2001|سەردێڕ=Scaling to very very large corpora for natural language disambiguation|ناونیشان=http://dx.doi.org/10.3115/1073012.1073017|journal=Proceedings of the 39th Annual Meeting on Association for Computational Linguistics - ACL '01|شوێن=Morristown, NJ, USA|بڵاوکەرەوە=Association for Computational Linguistics|پەڕەکان=٢٦–٣٣|doi=10.3115/1073012.1073017}}</ref><ref>{{بیرخستنەوەی ژوورناڵ|دوایین=Resnik|یەکەم=Philip|دوایین٢=Smith|یەکەم٢=Noah A.|ڕێکەوت=September 2003|سەردێڕ=The Web as a Parallel Corpus|ناونیشان=https://direct.mit.edu/coli/article/29/3/349-380/1809|journal=Computational Linguistics|بەرگ=٢٩|issue=3|پەڕەکان=٣٤٩–٣٨٠|doi=10.1162/089120103322711578|issn=0891-2017|doi-access=free}}</ref> لە ساڵی ٢٠٠٩دا، بەھۆی توانای ھەرسکردنی کۆمەڵە داتای گەورە بە شێوازێکی کارا، لە زۆربەی ئەرکەکانی پرۆسێسی زماندا، مۆدێلی زمانی ئاماری زاڵ بوو بەسەر مۆدێلی زمانی ھێماداردا.<ref>{{بیرخستنەوەی ژوورناڵ|دوایین=Halevy|یەکەم=Alon|دوایین٢=Norvig|یەکەم٢=Peter|دوایین٣=Pereira|یەکەم٣=Fernando|ڕێکەوت=March 2009|سەردێڕ=The Unreasonable Effectiveness of Data|ناونیشان=https://ieeexplore.ieee.org/document/4804817|journal=IEEE Intelligent Systems|بەرگ=٢٤|issue=2|پەڕەکان=٨–١٢|doi=10.1109/MIS.2009.36|issn=1541-1672}}</ref>

دوای ئەوەی تۆڕە دەمارییەکان لە دەوروبەری ساڵی ٢٠١٢دا زاڵ بوون لە پرۆسێسی وێنەدا، ئەوان لە مۆدێلکردنی زمانیشدا بەکارھێنران. گووگڵ لە ساڵی ٢٠١٦ خزمەتگوزاری وەرگێڕانی خۆی گۆڕی بۆ وەرگێڕانی ئامێری دەمار. پێش ترەنسفۆرمەرەکان (Transformers)، بە تۆڕەکانی seq2seq deep LSTM ئەنجام دەدرا.
[[پەڕگە:The-Transformer-model-architecture.png|وێنۆک|نموونەیەک لە پێکھاتەی سەرەکی مۆدێلی ترانسفۆرمەر لە وتارە سەرەکییەکەی، کە چینەکان دوای (لەبری پێش) سەرنجی فرە-سەر ئاسایی دەکرانەوە]]
لە کۆنفرانسی NeurIPS 2017، توێژەرانی گووگڵ لە وتارە گرینگەکەیاندا " Attention Is All You Need " [[ترانسفۆرمەر (مۆدێلی فێربوونی ئامێر)|بیناسازی ترەنسفۆرمەر]] ناساند. ئامانجی ئەم توێژینەوەیە باشترکردنی تەکنەلۆژیای Seq2seq 2014 بوو،<ref>{{بیرخستنەوەی ژوورناڵ|دوایین=Vaswani|یەکەم=Ashish|دوایین٢=Shazeer|یەکەم٢=Noam|دوایین٣=Parmar|یەکەم٣=Niki|دوایین٤=Uszkoreit|یەکەم٤=Jakob|دوایین٥=Jones|یەکەم٥=Llion|دوایین٦=Gomez|یەکەم٦=Aidan N|بەستەری نووسەر٦=Aidan Gomez|دوایین٧=Kaiser|یەکەم٧=Łukasz|دوایین٨=Polosukhin|یەکەم٨=Illia|ڕێکەوت=2017|سەردێڕ=Attention is All you Need|ناونیشان=https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf|journal=Advances in Neural Information Processing Systems|بڵاوکەرەوە=Curran Associates, Inc.|بەرگ=٣٠}}</ref> و بە شێوەیەکی سەرەکی لەسەر بنەمای میکانیزمی سەرنجدان بوو کە لەلایەن Bahdanau et al. لە ساڵی ٢٠١٤ پێشنیار کرابوو. ساڵی دواتر لە ساڵی ٢٠١٨دا، BERT ناسێندرا و بە خێرایی «گشتگیر» بوو.<ref>{{بیرخستنەوەی ژوورناڵ|دوایین=Rogers|یەکەم=Anna|دوایین٢=Kovaleva|یەکەم٢=Olga|دوایین٣=Rumshisky|یەکەم٣=Anna|ڕێکەوت=2020|سەردێڕ=A Primer in BERTology: What We Know About How BERT Works|ناونیشان=https://aclanthology.org/2020.tacl-1.54|journal=Transactions of the Association for Computational Linguistics|بەرگ=٨|پەڕەکان=٨٤٢–٨٦٦|arxiv=2002.12327|doi=10.1162/tacl_a_00349}}</ref> ھەرچەندە ترەنسفۆرمەرە ڕەسەنەکە ھەردوو بلۆکی ئینکۆدەر و دیکۆدەری ھەیە، بەڵام BERT مۆدێلێکی تەنھا ئینکۆدەرە.

ھەرچەندە مۆدیلی تەنیا-دیکۆدەری GPT-1 لە ساڵی ٢٠١٨ ناسێندرا، بەڵام ئەوە GPT-2 بوو لە ساڵی ٢٠١٩ کە سەرنجی زۆری ڕاکێشا چونکە [[ئۆپن ئەی ئای|OpenAI]] سەرەتا بە زۆر بەھێزی زانی بۆ ئەوەی بڵاوی بۆ-گشتی بکاتەوە، لە ترسی بەکارھێنانی بە شێوازێکی زیانبەخش.<ref>{{بیرخستنەوەی وێب|دوایین=Hern|یەکەم=Alex|ڕێکەوت=١٤ی شوباتی ٢٠١٩|سەردێڕ=New AI fake text generator may be too dangerous to release, say creators|ناونیشان=https://www.theguardian.com/technology/2019/feb/14/elon-musk-backed-ai-writes-convincing-news-fiction|ڕێکەوتی سەردان=٢٠ی کانوونی دووەمی ٢٠٢٤|وێبگە=[[The Guardian]]}}</ref> [[جی-پی-تی-٣|GPT-3]] لە ساڵی ٢٠٢٠ ھەنگاوێکی زیاتر ڕۆیشت و {{ھەتا ڕێکەوتی|٢٠٢٤}} تەنھا لە ڕێگەی API بەردەستە بەبێ ئەوەی ھیچ پێشکەشکردنی دابەزاندنی مۆدێلەکە بۆ جێبەجێکردنی خۆجێیی ببێت؛ بەڵام ئەوە [[چات جی پی تی|ChatGPT]] بوو کە لە ساڵی ٢٠٢٢دا ڕووبەڕووی بەکاربەر بووەوە کە لەسەر بنەمای وێبگەڕ بوو کە خەیاڵی دانیشتووانی گشتی گرت و بووە ھۆی ھەندێک بانگەشەی میدیا و جەنجاڵی ئۆنلاین. ئۆتۆمبێلی GPT-4 ی ساڵی ٢٠٢٣ بەھۆی زیادبوونی وردبینییەوە و وەک «جامێکی پیرۆز» بەھۆی توانا فرە شێوازییەکانییەوە ستایشی کرا.<ref>{{بیرخستنەوەی وێب|دوایین=Heaven|یەکەم=Will|ڕێکەوت=١٤ی ئازاری ٢٠٢٣|سەردێڕ=GPT-4 is bigger and better than ChatGPT—but OpenAI won't say why|ناونیشان=https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/|ڕێکەوتی سەردان=٢٠ی کانوونی دووەمی ٢٠٢٤|بڵاوکەرەوە=[[MIT Technology Review]]}}</ref> OpenAI پوختەی بیناسازی و ژمارەی پارامێتەرەکانی GPT-4ی ئاشکرا نەکرد.

مۆدێلی زمانی کێبڕکێکار لە زۆربەی کاتەکاندا ھەوڵیان داوە لەگەڵ زنجیرەی GPT یەکسان ببنەوە، لانیکەم لە ڕووی ژمارەی پارامێتەرەکانەوە.

لە ساڵی ٢٠٢٢ەوە، مۆدێلەکانی سەرچاوەی بەردەست ناوبانگیان بەدەستھێناوە، بە تایبەت لە سەرەتادا لەگەڵ BLOOM و LLaMA، ھەرچەندە ھەردووکیان سنووردارکردنیان لە بواری بەکارھێناندا ھەیە. مۆدێلەکانی Mistral AI Mistral 7B و Mixtral 8x7b مۆڵەتی ئەپاچییان ھەیە کە ڕێگەپێدراوترە. {{ھەتا ڕێکەوتی|٢٠٢٤|٦}}, جۆری ڕێنمایی کراو (Instruction fine tuned) لە مۆدێلی Llama ٣ بە ٧٠ ملیارد پارامێتەرەوە بەھێزترین LLMی سەرچاوە کراوەیە بەپێی LMSYS Chatbot Arena Leaderboard، بەھێزترە لە GPT-3.5 بەڵام بەڵام نەک ئەوەندەی GPT-4.

لە ساڵی ٢٠٢٤ەوە گەورەترین و بەتواناترین مۆدێلەکان ھەموویان لەسەر بنەمای بیناسازی ترانسفۆرمەرە. ھەندێک لە جێبەجێکردنەکانی ئەم دوایییە لەسەر بنەمای بیناسازییەکانی ترە، وەک جۆرەکانی تۆڕی دەماری دووبارەبووەوە و مامبا (مۆدێلێکی دۆخ مەودا -- a [[:en:State-space_representation|state space]] model).<ref>{{بیرخستنەوەی وێب|دوایین=Merritt|یەکەم=Rick|ڕێکەوت=٢٥ی ئازاری ٢٠٢٢|سەردێڕ=What Is a Transformer Model?|ناونیشان=https://blogs.nvidia.com/blog/2022/03/25/what-is-a-transformer-model/|ڕێکەوتی سەردان=٢٥ی تەممووزی ٢٠٢٣|وێبگە=NVIDIA Blog}}</ref><ref>{{بیرخستنەوە|دوایین=Gu|یەکەم=Albert|سەردێڕ=Mamba: Linear-Time Sequence Modeling with Selective State Spaces|ڕێکەوت=١ی کانوونی یەکەمی ٢٠٢٣|arxiv=2312.00752|دوایین٢=Dao|یەکەم٢=Tri}}</ref>

== پێش-کرداری (پێش پرۆسێسکردن- Preprocessing) پێدراوەکان ==

=== بە ھێما (نیشانە) کردن (Tokenization) ===
لەبەر ئەوەی ئەلگۆریتمەکانی [[فێربوونی مەکینە|فێربوونی ئامێر]] ژمارەکان پرۆسێس دەکەن نەک دەق، دەقەکە دەبێت بگۆڕدرێت بۆ ژمارە. لە ھەنگاوی یەکەمدا بڕیار لەسەر وشەدانێک دەدرێت، پاشان پێوەرەکانی ژمارە تەواوەکان بە ھەڕەمەکی بەڵام بە بێ دووبارە بوونەوە بۆ ھەر پێدراوەیەکی وشەدانەکە دیاری دەکرێن و لە کۆتاییدا، [[جێگیرکردنی وشە|جێگیرکردنێک]] پەیوەست دەکرێت بە جێپێوەرە (index) ژمارە تەواوەکانەوە. ئەلگۆریتمەکان بریتین لە کۆدکردنی جووتە بایت (BPE) و WordPiece. ھەروەھا نیشانە تایبەتەکان ھەن کە وەک کاراکتەری کۆنترۆڵ کاردەکەن، وەک <code>[MASK]</code> بۆ نیشانەی دەمامککراو (وەک لە BERT بەکارھاتووە)، و <code>[UNK]</code> ("نەناسراو") بۆ ئەو کاراکتەرانەی کە لە وشەسازیدا دەرناکەون.

بۆ نموونە، بەھێماکەری BPE کە لەلایەن GPT-3 (Legacy) بەکاردەھێنرێت <small><code>tokenizer: texts -> series of numerical "tokens"</code></small> دابەش دەکات بە
{| cellspacing="0;" cellpadding="0;" style="border:1px solid black"
| style="border-left: 2px green; border-right: 2px green" |ens
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" |ok
|t
| style="border-left: 2px green; border-right: 2px green" |"
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" | numerical
| style="border-left: 2px green; border-right: 2px green" | of
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" |series
| style="border-left: 2px green; border-right: 2px green" | <
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" | texts
| style="border-left: 2px green; border-right: 2px green" |:
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" |izer
| style="border-left: 2px green; border-right: 2px green" |token
|}
ھەروەھا بەھێما کردن کۆمەڵە پێدراوەکان [[پەستاندنی داتا|پاڵەپەستۆ]] دەکات. لەبەر ئەوەی LLMەکان بەگشتی پێویستیان بە پێدراوەیەکی ڕیزکراو ھەیە کە زەق نەبێت، دەقە کورتەکان دەبێت "پڕکرانەوە" بکرێن تاوەکو لەگەڵ درێژی درێژترینەکەدا بگونجێن. ژمارەی ھێماکان بۆ ھەر وشەیەک بەندە بە زمانی داتا کۆمەڵەپێدراوەکەوە.<ref>{{بیرخستنەوەی وێب|دوایین=Yennie Jun|ڕێکەوت=٣ی ئایاری ٢٠٢٣|سەردێڕ=All languages are NOT created (tokenized) equal|ناونیشان=https://blog.yenniejun.com/p/all-languages-are-not-created-tokenized|ڕەوشی ناونیشان=مردوو|ناونیشانی ئەرشیڤ=https://web.archive.org/web/20230817165705/https://blog.yenniejun.com/p/all-languages-are-not-created-tokenized|ڕێکەوتی ئەرشیڤ=١٧ی ئابی ٢٠٢٣|ڕێکەوتی سەردان=١٧ی ئابی ٢٠٢٣|وێبگە=Language models cost much more in some languages than others|وتەگێڕانەوە=In other words, to express the same sentiment, some languages require up to 10 times more tokens.}}</ref><ref>{{بیرخستنەوەی ژوورناڵ|دوایین=Petrov|یەکەم=Aleksandar|دوایین٢=Malfa|یەکەم٢=Emanuele La|دوایین٣=Torr|یەکەم٣=Philip|دوایین٤=Bibi|یەکەم٤=Adel|ڕێکەوت=٢٣ی حوزەیرانی ٢٠٢٣|سەردێڕ=Language Model Tokenizers Introduce Unfairness Between Languages|ناونیشان=https://openreview.net/forum?id=Pj4YYuxTq9|journal=NeurIPS|arxiv=2305.15425|via=openreview.net}}</ref>

==== کۆدکردنی جووتە بایت (BPE) ====
وەک نموونەیەک، بەھێماکەرێک لەبەرچاو بگرن کە لەسەر بنەمای کۆدکردنی جووتە بایت دامەزراوە. لە ھەنگاوی یەکەمدا، ھەموو پیتە ناوازەکان (لەوانەش بۆشایییەکان و [[خاڵبەندی|نیشانەکانی خاڵبەندی]]) وەک کۆمەڵەیەکی سەرەتایی ''n-گرام'' (واتە کۆمەڵەیەکی سەرەتایی یەک گرام) مامەڵەیان لەگەڵ دەکرێت. یەک لە دوای یەک زۆرترین جووتە کارەکتەری تەنیشت یەکتر تێکەڵ دەکرێن بۆ دوو گرام و ھەموو نموونەکانی جووتەکە بەو جێگایە دەگۆڕدرێن. ھەموو ڕوودانی جووتە تەنیشت یەکەکانی (پێشتر یەکگرتوو) ''n'' -گرامەکان کە زۆرترین جار پێکەوە ڕوودەدەن دواتر دووبارە تێکەڵ دەکرێنەوە بۆ تەنانەت درێژتر ''n''-گرام، تاوەکو وشەدانێکی قەبارە دیاریکراو بەدەست دێت (لە حاڵەتی [[جی-پی-تی-٣|GPT-3]]، قەبارەکە 50257).<ref name="xbiWb">{{بیرخستنەوەی وێب|سەردێڕ=OpenAI API|ناونیشان=https://platform.openai.com/|ناونیشانی ئەرشیڤ=https://web.archive.org/web/20230423211308/https://platform.openai.com/tokenizer|ڕێکەوتی ئەرشیڤ=٢٣ی نیسانی ٢٠٢٣|ڕێکەوتی سەردان=٣٠ی نیسانی ٢٠٢٣|وێبگە=platform.openai.com}}</ref> دوای ئەوەی بەھێماکەرێک ڕاھێنرا، ھەر دەقێک دەتوانرێت لەلایەن ئەوەوە بەھێما بکرێت، بە مەرجێک ئەو کاراکتەرانەی تێدا نەبێت کە لە کۆمەڵە سەرەتایییەکەی یونی-گرامەکاندا دەرنەکەوتوون.<ref name="2022Book_">{{بیرخستنەوەی کتێب|دوایین=Paaß|یەکەم=Gerhard|سەردێڕ=Foundation Models for Natural Language Processing|دوایین٢=Giesselbach|یەکەم٢=Sven|ڕێکەوت=2022|ژپنک=٩٧٨-٣-٠٣١-٢٣١٩٠-٢|زنجیرە=Artificial Intelligence: Foundations, Theory, and Algorithms|پەڕەکان=١٩–٧٨|chapter=Pre-trained Language Models|doi=10.1007/978-3-031-23190-2_2|ڕێکەوتی سەردان=٣ی ئابی ٢٠٢٣|chapter-url=https://link.springer.com/chapter/10.1007/978-3-031-23190-2_2}}</ref>

==== کێشەکان ====
وشەدانی نیشانەکان لەسەر بنەمای ئەو دووباربوونەوانەی (فرێکوێنسییانەی) کە لە کۆمەڵەدەقەکانی ئینگلیزییەوە وەرگیراون، تا دەتوانرێت کەمترین نیشانە بۆ وشەیەکی ئینگلیزی مامناوەند بەکاردەھێنێت. وشەیەکی مامناوەند لە زمانێکی تردا کە لەلایەن بەھێماکەرێکی ئینگلیزی باشکراوەوە کۆد کرابێت، بەسەر بڕی ھێمای ژێر-گونجاودا دابەش دەکرێت. بەھێماکەری GPT-2 دەتوانێت تا ١٥ ھێندە زیاتر تۆکن لە ھەر وشەیەکدا بۆ ھەندێک زمان بەکاربھێنێت، بۆ نموونە بۆ زمانی شان لە [[میانمار|میانمارەوە]]. تەنانەت زمانە بەربڵاوترەکانی وەک پورتوگالی و ئەڵمانی "بە بەراورد بە ئینگلیزی "کارایییەکی ٥٠٪"یان ھەیە.<ref>{{Cite arXiv|eprint=2305.15425|last1=Petrov|title=Language Model Tokenizers Introduce Unfairness Between Languages}}</ref>

ھەروەھا بەھێماکردنی تەماحکار کێشەی ورد لە تەواوکردنی دەقدا دروست دەکات.<ref>{{بیرخستنەوەی وێب|دوایین=Lundberg|یەکەم=Scott|ڕێکەوت=١٢ی کانوونی یەکەمی ٢٠٢٣|سەردێڕ=The Art of Prompt Design: Prompt Boundaries and Token Healing|ناونیشان=https://towardsdatascience.com/the-art-of-prompt-design-prompt-boundaries-and-token-healing-3b2448b0be38|ڕێکەوتی سەردان=٥ی ئابی ٢٠٢٤|وێبگە=Medium|زمان=en|ڕێکەوتی ئەرشیڤ= ٥ی ئابی ٢٠٢٤|ناونیشانی ئەرشیڤ=https://web.archive.org/web/20240805052232/https://towardsdatascience.com/the-art-of-prompt-design-prompt-boundaries-and-token-healing-3b2448b0be38|ڕەوشی ناونیشان=مردوو}}</ref>

=== پاککردنەوەی کۆمەڵە پێدراوە (Dataset) ===
لە چوارچێوەی ڕاھێنانی LLMەکاندا، کۆمەڵە پێدراوەکان بە شێوەیەکی گشتی بە لابردنی دەقە نالەبارەکان لە کۆمەڵە دەقەکان، فڕێدانی پێدراوە کوالیتی نزمەکان و دووبارە نەکردنەوە، پاک دەکرێنەوە. کۆمەڵە پێدراوە پاککراوەکان دەتوانن کارایی ڕاھێنان زیاد بکەن و ببێتە ھۆی باشترکردنی بەکارھێنانەکانی دواتر.<ref>{{بیرخستنەوەی ژوورناڵ|دوایین=Lee|یەکەم=Katherine|دوایین٢=Ippolito|یەکەم٢=Daphne|دوایین٣=Nystrom|یەکەم٣=Andrew|دوایین٤=Zhang|یەکەم٤=Chiyuan|دوایین٥=Eck|یەکەم٥=Douglas|دوایین٦=Callison-Burch|یەکەم٦=Chris|دوایین٧=Carlini|یەکەم٧=Nicholas|ڕێکەوت=May 2022|سەردێڕ=Deduplicating Training Data Makes Language Models Better|ناونیشان=https://aclanthology.org/2022.acl-long.577.pdf|journal=Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics|بەرگ=١: Long Papers|پەڕەکان=٨٤٢٤–٨٤٤٥|doi=10.18653/v1/2022.acl-long.577}}</ref><ref>{{بیرخستنەوە|دوایین=Li|یەکەم=Yuanzhi|سەردێڕ=Textbooks Are All You Need II: phi-1.5 technical report|ڕێکەوت=١١ی ئەیلوولی ٢٠٢٣|arxiv=2309.05463|دوایین٢=Bubeck|یەکەم٢=Sébastien|دوایین٣=Eldan|یەکەم٣=Ronen|دوایین٤=Del Giorno|یەکەم٤=Allie|دوایین٥=Gunasekar|یەکەم٥=Suriya|دوایین٦=Lee|یەکەم٦=Yin Tat}}</ref> دەتوانرێت LLM ی ڕاھێنراو بەکاربھێنرێت بۆ پاککردنەوەی داتا سێتەکان بۆ ڕاھێنانی LLM ی زیاتر.

لەگەڵ زیادبوونی ڕێژەی ناوەڕۆکی دروستکراوی LLM لە وێبدا، پاککردنەوەی پێدراوەکان لە داھاتوودا ڕەنگە فلتەرکردنی ئەو جۆرە ناوەڕۆکە لەخۆبگرێت. ناوەڕۆکی دروستکراوی LLM دەتوانێت کێشەیەک دروست بکات ئەگەر ناوەڕۆکەکە ھاوشێوەی دەقی مرۆڤ بێت (کە فلتەرکردن قورس دەکات) بەڵام کوالیتی نزمتر بێت (دابەزاندنی دەدای ئەو مۆدێلانەی کە لەسەری ڕاھێنراون).<ref name="qbFw1">{{Cite arXiv|eprint=2005.14165|last1=Brown|title=Language Models are Few-Shot Learners}}</ref>

=== پێدراوەی دەستکرد ===
ڕاھێنانی گەورەترین مۆدێلی زمان لەوانەیە زیاتر پێویستی بە پێدراوەی زمانەوانی ھەبێت لەوەی کە بە شێوەیەکی سروشتی بەردەستە، یان کە پێدراوەکانی سروشتی کە ڕوودەدەن کوالیتییەکی تەواویان نییە. لەم حاڵەتانەدا، ڕەنگە پێدراوەی دروستکراو بەکاربھێنرێت. زنجیرەی LLM ی [[Phi (LLM)|Phi]] ی مایکرۆسۆفت لەسەر پێدراوەکانی ھاوشێوەی کتێبی خوێندن ڕاھێنراون کە لەلایەن LLM ی ترەوە دروست دەکرێن.<ref>{{Cite arXiv|title=Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone}}</ref>

== ڕاھێنان و بیناسازی ==
=== فێربوونی بەھێزکردنی لە پێڕاگەیاندنەوەی مرۆڤی (RLHF) ===
فێربوونی بەھێزکردن لە پێڕاگەیاندنەوەی مرۆڤ (RLHF) لە ڕێگەی ئەلگۆریتمەکانەوە، وەکو باشکردنی سیاسەتی نزیک، بەکاردەھێنرێت بۆ زیاتر باشکردنی مۆدێلێک لەسەر بنەمای کۆمەڵە پێدراوەیەکی پەسەندکردنی مرۆڤ.<ref name="instructGPT-paper">{{Cite arXiv|eprint=2203.02155|last1=Ouyang|title=Training language models to follow instructions with human feedback}}</ref>

=== باشتر کردن بە ڕێنمایییەکان ===
بە بەکارھێنانی ڕێبازەکانی «خۆڕێنمایی»، LLM توانیویانە وەڵامە دروستەکان خۆڕێگەخەر بکەن، جێگەی ھەر وەڵامێکی ساکار پڕ بکەنەوە، کە بە چاکسازییە دروستکراوەکانی مرۆڤ بە چەن نموونەیەکی کەم دەستپێدەکات. بۆ نموونە لە ڕێنمایی «وتارێک بنووسە دەربارەی ئەو تەوەرە سەرەکیانەی کە لە ''ھاملێتدا'' نوێنەرایەتی دەکرێن»، تەواوکردنی ساکاری سەرەتایی لەوانەیە «ئەگەر وتارەکەت پێشکەش بکەیت لە دوای ١٧ی ئازار، نمرەکەت بە ڕێژەی ١٠٪ کەم دەکرێتەوە بۆ ھەر ڕۆژێکی دواکەوتن» بێت، لەسەر بنەمای دووبارەبوونەوەی (فرێکوێنسیی) ئەم زنجیرە دەقییە لە کۆمەڵەدەقەکەدا.

=== تێکەڵەی پسپۆڕەکان ===
ڕەنگە گەورەترین LLM زۆر گران بێت بۆ ڕاھێنان و بەکارھێنانی ڕاستەوخۆ. بۆ ئەم جۆرە مۆدێلانە دەتوانرێت تێکەڵەی پسپۆڕان (MoE) بەکاربھێنرێت، کە ھێڵێکی توێژینەوەیە کە توێژەرانی گووگڵ لە ساڵی ٢٠١٧ەوە لە سەری کار دەکەن بۆ ڕاھێنانی بڕێک لە مۆدێلەکان کە دەگاتە یەک تریلیۆن پارامێتەر.<ref name="HGZCJ">{{Cite arXiv|eprint=1701.06538|last1=Shazeer|title=Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer}}</ref><ref name="R9Qq5">{{Cite arXiv|eprint=2006.16668|last1=Lepikhin|title=GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding}}</ref>

=== ئەندازیاری پێدراوە، ڕێبازی سەرنجدان (attention mechanism)، و پەنجەرەی دەق (context window) ===
زۆربەی ئەنجامەکان کە پێشتر تەنھا بە باشکردن (بە تێچوویەکی زۆر) بەدەست دەھێنران، دەتوانرێت لە ڕێگەی ئەندازیاری پێدراوە بەدەست بھێنرێت، ھەرچەندە سنووردارە بە مەودای یەک گفتوگۆ (بە وردتر، سنووردارە بە مەودای پەنجەرەیەکی دەق).<ref name="emergentpaper">{{بیرخستنەوەی ژوورناڵ|دوایین=Wei|یەکەم=Jason|دوایین٢=Tay|یەکەم٢=Yi|دوایین٣=Bommasani|یەکەم٣=Rishi|دوایین٤=Raffel|یەکەم٤=Colin|دوایین٥=Zoph|یەکەم٥=Barret|دوایین٦=Borgeaud|یەکەم٦=Sebastian|دوایین٧=Yogatama|یەکەم٧=Dani|دوایین٨=Bosma|یەکەم٨=Maarten|دوایین٩=Zhou|یەکەم٩=Denny|دوایین١٠=Metzler|یەکەم١٠=Donald|دوایین١١=Chi|یەکەم١١=Ed H.|ڕێکەوت=٣١ی ئابی ٢٠٢٢|سەردێڕ=Emergent Abilities of Large Language Models|ناونیشان=https://openreview.net/forum?id=yzkSU5zdwD|journal=Transactions on Machine Learning Research|issn=2835-8856}}</ref>
[[پەڕگە:Multiple_attention_heads.png|وێنۆک| کاتێک ھەر سەرێک بەپێی پێوەرەکانی خۆی بژمێر دەکات کە چەندە نیشانەکانی تر پەیوەندییان بە نیشانەی "it_" ھەیە، سەرنج بدە کە سەری سەرنجی دووەم کە بە کۆڵەکەی (ستوونی) دووەم نیشان دەدرێت، زۆرترین سەرنجی لەسەر دوو ڕیزی یەکەمە، واتە نیشانەکان ". The" و "animal"، لەکاتێکدا ستوونی سێیەم زۆرترین سەرنجی لەسەر دوو ڕیزی خوارەوەیە، واتە لەسەر "ماندوو"، کە بە دوو تۆکن کۆکراوەتەوە.<ref name="Jay_Allamar">{{بیرخستنەوەی وێب|دوایین=Allamar|یەکەم=Jay|سەردێڕ=Illustrated transformer|ناونیشان=https://jalammar.github.io/illustrated-transformer/|ڕێکەوتی سەردان=٢٩ی تەممووزی ٢٠٢٣}}</ref>]]
بۆ ئەوەی بزانێت کام نیشانانە لە چوارچێوەی پەنجەرەی دەق پەیوەندییان بە یەکەوە ھەیە، ڕێبازی سەرنجدان کێشی «نەرم» بۆ ھەر نیشانەیەک بژمێر دەکات، بە وردیتر بۆ جێگیرکردنکەی (embedding)، بە بەکارھێنانی چەندین سەری سەرنج، کە ھەریەکەیان «پەیوەندیدار»ی خۆیان ھەیە «بۆ بژمێرکردنی کێشە نەرمەکانی خۆی.» بۆ نموونە، مۆدێلی بچووک (واتە قەبارەی پارامێتری 117M) GPT-٢ دوازدە سەری سەرنجی ھەبوو و پەنجەرەی دەقی تەنھا 1k نیشانەی (token) ھەبووە.<ref name="Jay_Allamar_GPT2">{{بیرخستنەوەی وێب|دوایین=Allamar|یەکەم=Jay|سەردێڕ=The Illustrated GPT-2 (Visualizing Transformer Language Models)|ناونیشان=https://jalammar.github.io/illustrated-gpt2/|ڕێکەوتی سەردان=١ی ئابی ٢٠٢٣}}</ref> لە وەشانی مامناوەندیدا 345M پارامێتەری ھەیە و ٢٤ چین لەخۆدەگرێت کە ھەر چینێک ١٢ سەری سەرنجی ھەیە. بۆ ڕاھێنانەکان بە دابەزینی لێژی (gradient descent) قەبارەی دەستەی ٥١٢ بەکارھێنرا.<ref name="2022Book_"/>

گەورەترین مۆدێلەکان، وەکو Gemini 1.5 ی گووگڵ کە لە شوباتی ٢٠٢٤ پێشکەش کرا، دەتوانن پەنجەرەیەکی دەقیان ھەبێت کە قەبارەکەی دەگاتە یەک ملیۆن (پەنجەرەی دەقی ١٠ ملیۆنیش "بە سەرکەوتوویی تاقیکرایەوە").<ref>{{بیرخستنەوەی وێب|ڕێکەوت=١٥ی شوباتی ٢٠٢٤|سەردێڕ=Our next-generation model: Gemini 1.5|ناونیشان=https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window|ڕێکەوتی سەردان=١٨ی شوباتی ٢٠٢٤|وێبگە=Google}}</ref> مۆدێلەکانی تر کە پەنجەرەی دەقی گەورەیان ھەیە بریتین لە Claude 2.1 ی کۆمپانیای Anthropic، کە پەنجەرەی دەقی تا 200k نیشانەی ھەیە.<ref>{{بیرخستنەوەی وێب|ڕێکەوت=٦ی کانوونی یەکەمی ٢٠٢٣|سەردێڕ=Long context prompting for Claude 2.1|ناونیشان=https://www.anthropic.com/news/claude-2-1-prompting|ڕێکەوتی سەردان=٢٠ی کانوونی دووەمی ٢٠٢٤}}</ref> سەرنج بدە کە ئەم زۆرترینە ئاماژەیە بۆ ژمارەی نیشانەکانی پێدراوەکە و زۆرترین ژمارەی نیشانەکانی دەرچوو جیاوازە لە پێدراوە و زۆرجار بچووکترە. بۆ نموونە مۆدێلی GPT-4 Turbo زۆرترین بەرھەمی ٤٠٩٦ نیشانەیە (token).

ھەروەھا، درێژیی گفتوگۆیەک کە مۆدێلەکە دەتوانێت لەبەرچاوی بگرێت لەکاتی دروستکردنی وەڵامی داھاتوودا بەھۆی قەبارەی پەنجەرەی دەقەوە سنووردارە. ئەگەر درێژی گفتوگۆیەک، بۆ نموونە لەگەڵ [[چات جی پی تی|ChatGPT]], درێژتر بێت لە پەنجەرەی دەقەکەی، تەنھا ئەو بەشانەی ناو پەنجەرەی دەقەکەی لەبەرچاو دەگیرێن لە کاتی دروستکردنی وەڵامی داھاتوودا، یان مۆدێلەکە پێویستی بە بەکارھێنانی ھەندێک ئەلگۆریتم ھەیە بۆ کورتکردنەوەی بەشە زۆر دوورەکانی ناو گفتوگۆکە.

کەموکوڕییەکانی گەورەکردنی پەنجەرەی دەق بریتین لە تێچووی بژمێر کردنی زیاتر و لەوانەیە کەمکردنەوەی گرنگیدان بە وشە نزیکەکان، لەکاتێکدا بچووککردنەوەی دەتوانێت ببێتە ھۆی ئەوەی مۆدێلێک توانای سەرنجدانە سەر پێوەندییە گرنگە دوور مەوداکان لەدەست بدات. ھاوسەنگکردنیان بابەتێکی تاقیکردنەوە و ڕەچاوکردنی تایبەت بە بوارەکەیە.

ڕەنگە مۆدێلێک پێشڕاھێنراو بێت (پێشوەختە ڕاھێنرابێت) بۆ ئەوەی پێشبینی بکات کە چۆن بەشەکە بەردەوام دەبێت، یان چی لە پارچەکەدا (segment) نەماوە، بە پێدانی بەشێک لە کۆمەڵە پێدراوەکانی ڕاھێنانەکەی.<ref name="ioUpE">{{بیرخستنەوەی کتێب|دوایین=Zaib|یەکەم=Munazza|سەردێڕ=Proceedings of the Australasian Computer Science Week Multiconference|دوایین٢=Sheng|یەکەم٢=Quan Z.|دوایین٣=Emma Zhang|یەکەم٣=Wei|ڕێکەوت=٤ی شوباتی ٢٠٢٠|ژپنک=٩٧٨-١-٤٥٠٣-٧٦٩٧-٦|پەڕەکان=١–٤|chapter=A Short Survey of Pre-trained Language Models for Conversational AI-A New Age in NLP|arxiv=2104.10810|doi=10.1145/3373017.3373028|chapter-url=https://www.researchgate.net/publication/338931711}}</ref> دەتوانێت ھەریەکێک لەم دووانە بێت
* خۆگەڕانەوە (autoregressive) (واتە پێشبینیکردنی چۆنییەتی بەردەوامبوونی بەشەکە، شێوازی GPTەکان): بۆ نموونە بە پێدانی بەشێک "حەزم لە خواردنی"، مۆدێلەکە پێشبینی "ئایسکرێم"، یان "سوشی" دەکات.
* دەمامکدارکراو ("masked ") (واتە پڕکردنەوەی ئەو بەشانەی لە پارچەکەدا نەماون، بەو شێوەیەی کە "BERT"<ref name="jm">{{بیرخستنەوەی کتێب|دوایین=Jurafsky|یەکەم=Dan|ناونیشان=https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf|سەردێڕ=Speech and Language Processing|دوایین٢=Martin|یەکەم٢=James H.|ڕێکەوت=٧ی کانوونی دووەمی ٢٠٢٣|edition=3rd edition draft|ڕێکەوتی سەردان=٢٤ی ئایاری ٢٠٢٢}}</ref> دەیکات): بۆ نموونە، بە پێدانی سێگمێنتێک «حەزم لە <code>[__] [__]</code> کرێم»ە، مۆدێلەکە پێشبینی دەکات کە «خواردنی» و «ئایس» نەماوە.

لەوانەیە مۆدێلەکان لەسەر ئەرکە یارمەتیدەرەکان ڕابھێنرێن کە تێگەیشتنیان لە دابەشکردنی پێدراوەکان تاقی دەکەنەوە، وەک پێشبینیکردنی ڕستەی داھاتوو (NSP)، کە تێیدا جووتە ڕستە دەخرێنەڕوو و مۆدێلەکە دەبێت پێشبینی بکات کە ئایا بە یەکەوە لە کۆمەڵەدەقی ڕاھێنانەکەدا دەردەکەون یان نا.<ref name="jm"/> لە کاتی ڕاھێناندا، بۆ سەقامگیرکردنی ڕاھێنان، لەدەستدانی ڕێکخستنیش ([[:en:Regularization_(mathematics)|regularization]] loss) بەکاردەھێنرێت. ھەرچەندە لەدەستدانی ڕێکخستن بەزۆری لە کاتی تاقیکردنەوە و ھەڵسەنگاندندا بەکارناھێنرێت.

=== ژێرخان ===
ژێرخانی بەرچاو پێویستە بۆ ڕاھێنانی گەورەترین مۆدێلەکان.<ref>{{بیرخستنەوەی وێب|سەردێڕ=From bare metal to a 70B model: infrastructure set-up and scripts|ناونیشان=https://imbue.com/research/70b-infrastructure/|ڕێکەوتی سەردان=٢٤ی تەممووزی ٢٠٢٤|وێبگە=imbue.com|زمان=en-US}}</ref><ref>{{بیرخستنەوەی وێب|سەردێڕ=metaseq/projects/OPT/chronicles at main · facebookresearch/metaseq|ناونیشان=https://github.com/facebookresearch/metaseq/tree/main/projects/OPT/chronicles|ڕێکەوتی سەردان=٢٤ی تەممووزی ٢٠٢٤|وێبگە=GitHub|زمان=en}}</ref><ref>{{بیرخستنەوەی وێب|دوایین=Albrecht|یەکەم=Josh|ڕێکەوت=٢٣ی تەممووزی ٢٠٢٤|سەردێڕ=State of the Art: Training >70B LLMs on 10,000 H100 clusters|ناونیشان=https://www.latent.space/p/llm-training-2024|ڕێکەوتی سەردان=٢٤ی تەممووزی ٢٠٢٤|وێبگە=www.latent.space|زمان=en}}</ref>

== تێچووی ڕاھێنان ==
[[پەڕگە:Estimated_training_cost_of_some_AI_models_-_2024_AI_index.jpg|چەپ|بێچوارچێوە]]
پێشکەوتنەکانی نەرمەکاڵا و ڕەقەکاڵا لە ساڵی ٢٠٢٠ەوە تێچووی زۆر کەمکردووەتەوە، بەجۆرێک کە لە ساڵی ٢٠٢٣دا تێچووی ڕاھێنانی LLM ی ١٢ ملیار پارامێتری تێچووی ژمارەکردنی (computational cost) 72,300 A100-GPU -کاتژمێرە، لەکاتێکدا لە ساڵی ٢٠٢٠ تێچووی ڕاھێنانی LLM ی ١٫٥ ملیار پارامێترییە (کە دوو ئەوەندە بچووکتر بوو لە باشترین مۆدێل لە ساڵی ٢٠٢٠) لە نێوان ٨٠ ھەزار بۆ یەک ملیۆن و ٦٠٠ ھەزار دۆلار بووە.<ref name="Wiggers">{{بیرخستنەوەی وێب|دوایین=Wiggers|یەکەم=Kyle|ڕێکەوت=٢٨ی نیسانی ٢٠٢٢|سەردێڕ=The emerging types of language models and why they matter|ناونیشان=https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/|وێبگە=TechCrunch}}</ref><ref name="xaytj">{{Cite arXiv|eprint=2004.08900|last1=Sharir|title=The Cost of Training NLP Models: A Concise Overview}}</ref><ref name="Pythia">{{Cite arXiv|eprint=2304.01373|last1=Biderman|title=Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling}}</ref> لە ساڵی ٢٠٢٠ەوە بڕە پارەیەکی زۆر وەبەرھێنان لە مۆدێلە گەورەکاندا کراوە. بۆ نموونە ڕاھێنانی GPT-2 (واتە مۆدێلێکی ١٫٥ ملیار پارامێتەر) لە ساڵی ٢٠١٩دا ٥٠ ھەزار دۆلاری تێچووە، لەکاتێکدا ڕاھێنانی PaLM (واتە مۆدێلێکی ٥٤٠ ملیار پارامێتەر) لە ساڵی ٢٠٢٢دا ٨ ملیۆن دۆلاری تێچووە، ھەروەھا Megatron-Turing NLG 530B (لە ساڵی ٢٠٢١) نزیکەی ١١ ملیۆن دۆلاری تێچووە.<ref>{{بیرخستنەوە|دوایین=Maslej|یەکەم=Nestor|سەردێڕ=Artificial Intelligence Index Report 2023|ڕێکەوت=٥ی تشرینی یەکەمی ٢٠٢٣|arxiv=2310.03715|دوایین٢=Fattorini|یەکەم٢=Loredana|دوایین٣=Brynjolfsson|یەکەم٣=Erik|دوایین٤=Etchemendy|یەکەم٤=John|دوایین٥=Ligett|یەکەم٥=Katrina|دوایین٦=Lyons|یەکەم٦=Terah|دوایین٧=Manyika|یەکەم٧=James|دوایین٨=Ngo|یەکەم٨=Helen|دوایین٩=Niebles|یەکەم٩=Juan Carlos}}</ref>

بۆ LLM لەسەر بنەمای ترانسفۆرمەر، تێچووی ڕاھێنان زۆر زیاترە لە تێچووی دەرئەنجامدان. بۆ ھەر پارامێتەرێک ٦ FLOP تێدەچێت بۆ ڕاھێنان لەسەر یەک نیشانە، لەکاتێکدا تێچووی ١ بۆ ٢ FLOPە بۆ ھەر پارامێتەرێک بۆ دەرئەنجامدان لەسەر یەک نیشانە.

== بریکار (Agents) ==
LLM مۆدێلێکی زمانە، کە بریکار نییە بەو پێیەی ھیچ ئامانجێکی نییە، بەڵام دەتوانرێت وەک پێکھاتەیەکی بریکاری زیرەک بەکاربھێنرێت.<ref name="CFuti">{{بیرخستنەوەی ژوورناڵ|دوایین=Huang|یەکەم=Wenlong|دوایین٢=Abbeel|یەکەم٢=Pieter|دوایین٣=Pathak|یەکەم٣=Deepak|دوایین٤=Mordatch|یەکەم٤=Igor|ڕێکەوت=٢٨ی حوزەیرانی ٢٠٢٢|سەردێڕ=Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents|ناونیشان=https://proceedings.mlr.press/v162/huang22a.html|journal=Proceedings of the 39th International Conference on Machine Learning|بڵاوکەرەوە=PMLR|پەڕەکان=٩١١٨–٩١٤٧|arxiv=2201.07207}}</ref> توێژەران چەندین شێوازیان بۆ ئەم جۆرە یەکگرتنانە باس کردووە.{{ژێدەر پێویستە|date=February 2024}}

== پاڵەپەستۆ ==
بە شێوەیەکی گشتی، LLMەکان بە ژمارەی کەڕتی تاک یان نیوە وردبینی (float32 و float16) ڕاھێنراون. یەک float16، ١٦ بیتی ھەیە، یان 2 بایت، و بۆیە یەک ملیار پارامێتەر پێویستی بە 2 گیگابایت ھەیە. گەورەترین مۆدێلەکان بە شێوەیەکی گشتی ١٠٠ ملیار پارامێتەریان ھەیە، کە پێویستیان بە ٢٠٠ گیگابایت ھەیە بۆ بارکردن، ئەمەش وایان لێدەکات لە دەرەوەی مەودای زۆربەی ئەلیکترۆنیاتی بەکاربەر بن.<ref>{{بیرخستنەوەی وێب|دوایین=Mann|یەکەم=Tobias|سەردێڕ=How to run an LLM locally on your PC in less than 10 minutes|ناونیشان=https://www.theregister.com/2024/03/17/ai_pc_local_llm/|ڕێکەوتی سەردان=١٧ی ئایاری ٢٠٢٤|وێبگە=www.theregister.com}}</ref>

''ژمارەکردنی ([[:en:Quantization_(signal_processing)|quantization]]) دوای ڕاھێنان''،<ref name="LS2Go">{{بیرخستنەوەی ژوورناڵ|دوایین=Nagel|یەکەم=Markus|دوایین٢=Amjad|یەکەم٢=Rana Ali|دوایین٣=Baalen|یەکەم٣=Mart Van|دوایین٤=Louizos|یەکەم٤=Christos|دوایین٥=Blankevoort|یەکەم٥=Tijmen|ڕێکەوت=٢١ی تشرینی دووەمی ٢٠٢٠|سەردێڕ=Up or Down? Adaptive Rounding for Post-Training Quantization|ناونیشان=https://proceedings.mlr.press/v119/nagel20a.html|journal=Proceedings of the 37th International Conference on Machine Learning|بڵاوکەرەوە=PMLR|پەڕەکان=٧١٩٧–٧٢٠٦}}</ref> ئامانجی کەمکردنەوەی بۆشایی پێویستە لە ڕێگەی دابەزاندنی وردبینی پارامێتەرەکانی مۆدێلێکی ڕاھێنراو، لە ھەمان کاتدا پاراستنی زۆربەی کارایییەکەی.<ref name="cpzcK">{{Cite arXiv|last=Polino|title=Model compression via distillation and quantization}}</ref><ref name="QVU95">{{Cite arXiv|last=Frantar|title=GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers}}</ref> ساکارترین شێوازی ژمارەکردن بە ساکاری ھەموو ژمارەکان کورت دەکاتەوە بۆ ژمارەیەکی دیاریکراوی بیت. دەتوانرێت بە بەکارھێنانی پەرتووکی کۆدی ژمارەکردنی جیاواز بۆ ھەر چینێک باشتر بکرێت. دەتوانرێت باشترکردنی زیاتر بە بەکارھێنانی وردبینی جیاواز بۆ پارامێتەرەکانی جیاواز ئەنجام بدرێت، لەگەڵ وردبینییەکی بەرزتر بۆ پارامێتەرە تایبەتە گرنگەکان ("کێشی دەرەوە").<ref name="dU9Bu">{{Cite arXiv|last=Dettmers|title=SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression}}</ref> بۆ ڕێنمایی بینراو سەیری<ref>{{بیرخستنەوەی وێب|دوایین=Grootendorst|یەکەم=Maarten|سەردێڕ=A Visual Guide to Quantization|ناونیشان=https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization|ناونیشانی ئەرشیڤ=https://web.archive.org/web/20240731003355/https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization|ڕێکەوتی ئەرشیڤ=٣١ی تەممووزی ٢٠٢٤|ڕێکەوتی سەردان=٣١ی تەممووزی ٢٠٢٤|وێبگە=newsletter.maartengrootendorst.com|زمان=en}}</ref> بکە.

لەکاتێکدا کە مۆدێلە ژمارەکراوەکان بە شێوەیەکی گشتی بەستوو دەبن، و تەنھا مۆدێلە پێش-ژمارەکراوەکان ورد دەکرێنەوە، مۆدێلە ژمارەکراوەکان ھێشتا دەتوانرێن وردبین fine-tuned) بکرێنەوە بۆ بواری تایبەت.<ref name="D0nFA">{{Cite arXiv|last=Dettmers|title=QLoRA: Efficient Finetuning of Quantized LLMs}}</ref>

== فرە شێوازی ==
فرە شێوازی بە واتای «ھەبوونی چەندین شێواز»، و «شێواز» ئاماژەیە بۆ جۆرێک لە پێدراوە یان دەرچوو، وەک ڤیدیۆ، وێنە، دەنگ، دەق، ھەستی خۆھەڵسەنگاندن و ھتد.<ref>{{بیرخستنەوەی ژوورناڵ|دوایین=Kiros|یەکەم=Ryan|دوایین٢=Salakhutdinov|یەکەم٢=Ruslan|دوایین٣=Zemel|یەکەم٣=Rich|ڕێکەوت=١٨ی حوزەیرانی ٢٠١٤|سەردێڕ=Multimodal Neural Language Models|ناونیشان=https://proceedings.mlr.press/v32/kiros14.html|journal=Proceedings of the 31st International Conference on Machine Learning|بڵاوکەرەوە=PMLR|پەڕەکان=٥٩٥–٦٠٣}}</ref> زۆر مۆدێلی AI ھەبوون کە بە تایبەتی ڕاھێنراون بۆ خواردنی یەکێک شێواز و دەرئەنجامی شێوازێکی تر، وەک ئەلێکسنێت ([[:en:AlexNet|AlexNet]]) بۆ وێنە-بۆ-ناونانی،<ref>{{بیرخستنەوەی ژوورناڵ|دوایین=Krizhevsky|یەکەم=Alex|دوایین٢=Sutskever|یەکەم٢=Ilya|دوایین٣=Hinton|یەکەم٣=Geoffrey E|ڕێکەوت=2012|سەردێڕ=ImageNet Classification with Deep Convolutional Neural Networks|ناونیشان=https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html|journal=Advances in Neural Information Processing Systems|بڵاوکەرەوە=Curran Associates, Inc.|بەرگ=٢٥}}</ref> وەڵامدانەوەی پرسیاری بینراو بۆ وێنە-دەق بۆ دەق،<ref>{{بیرخستنەوەی ژوورناڵ|دوایین=Antol|یەکەم=Stanislaw|دوایین٢=Agrawal|یەکەم٢=Aishwarya|دوایین٣=Lu|یەکەم٣=Jiasen|دوایین٤=Mitchell|یەکەم٤=Margaret|دوایین٥=Batra|یەکەم٥=Dhruv|دوایین٦=Zitnick|یەکەم٦=C. Lawrence|دوایین٧=Parikh|یەکەم٧=Devi|ڕێکەوت=2015|سەردێڕ=VQA: Visual Question Answering|ناونیشان=https://openaccess.thecvf.com/content_iccv_2015/html/Antol_VQA_Visual_Question_ICCV_2015_paper.html|journal=ICCV|پەڕەکان=٢٤٢٥–٢٤٣٣}}</ref> و ناسینەوەی دوان ([[:en:Speech_recognition|speech recognition]]) بۆ دوان بۆ دەق.

== تایبەتمەندییەکان ==
=== یاساکانی پێوانەکردن ===
ئەم چوار ھایپەر-پارامێتەرەی خوارەوە تایبەتمەندی LLM دەناسێنن:
* تێچووی (پێش) ڕاھێنان (<small><math>C</math></small>)،
* قەبارەی خودی تۆڕی دەماری دەستکرد، وەک ژمارەی پارامێتەرەکان <small><math>N</math></small> (واتە بڕی دەمارەکان لە چینەکانیدا، بڕی کێشەکانی نێوانیان و لایەنگرییەکان)،
* قەبارەی کۆمەڵە پێدراوەکانی (پێش) ڕاھێنانەکەی (واتە ژمارەی تۆکنەکان لە کۆمەڵەدەقەکەدا، <small><math>D</math></small>)،
* کارابوونی دوای (پێش) ڕاھێنان.

ئەوان بە دەستوورە ئامارییە ساکارەکان لە پەیوەندیدان، کە پێیان دەوترێت "دەستوورەکانی پێوانەکردن". دەستوورێکی تایبەتی پێوانەکردن (" پێوانەکردنی چینچیلا ") بۆ LLM کە بە شێوەیەکی خۆگەڕانەوە بۆ یەک خول (epoch) ڕاھێنراوە، لەگەڵ خشتەی ڕێژەی فێربوونی لۆگ-لۆگ، دەڵێت کە:<ref name="fJta3">{{Cite arXiv|last1=Hoffmann|title=Training Compute-Optimal Large Language Models}}</ref> <math display="block">\begin{cases}
C = C_0 ND \\[6pt]
L = \frac{A}{N^\alpha} + \frac{B}{D^\beta} + L_0
\end{cases}</math> لەو شوێنەی گۆڕاوەکان لێیە
* <small><math>C</math></small> تێچووی ڕاھێنانی مۆدێلەکەیە، بە FLOPs.
* <small><math>N</math></small> ژمارەی دیاریکەرەکانی (پارامێتەرەکانی) ناو مۆدێلەکەیە.
* <small><math>D</math></small> ژمارەی نیشانەکانی (token) ناو کۆمەڵەی ڕاھێنانەکانە.
* <small><math>L</math></small> تێکڕای لەدەستدانی ئەگەری لۆگی نەرێنییە بۆ ھەر نیشانەیەک (average negative log-likelihood loss per token) (nats /token)، کە لەلایەن LLM ڕاھێنراوەکەوە لەسەر کۆمەڵە پێدراوەکانی تاقیکردنەوەکە بەدەست ھاتووە.

و ھایپەر-پارامێتەرەکانی ئاماری بریتین لە
* <small><math> C_0 = 6</math></small>، واتە بۆ ھەر پارامێتەرێک بۆ ڕاھێنان لەسەر یەک تۆکن 6 FLOP تێچووی ھەیە. سەرنج بدە کە تێچووی ڕاھێنان زۆر زیاترە لە تێچووی دەرئەنجامدان (inference)، کە تێچووی ١ بۆ 2 FLOPە بۆ ھەر پارامێتەرێک بۆ دەرئەنجامدان لەسەر یەک نیشانە.
* <small><math>\alpha = 0.34, \beta = 0.28, A = 406.4, B = 410.7, L_0 = 1.69</math></small>

=== توانا سەرھەڵداوەکان ===
[[پەڕگە:LLM_emergent_benchmarks.png|وێنۆک| لە خاڵەکان کە بە پچڕان ناودەبرێن،<ref name="IYm4Q">{{Cite arXiv|eprint=2210.14891|last1=Caballero|title=Broken Neural Scaling Laws}}</ref> ھێڵەکان لێژی خۆیان دەگۆڕن، لەسەر نەخشەیەکی ھێڵی-لۆگ وەک زنجیرەیەک لە بەشە ھێڵییەکان (linear segments) دەردەکەون کە بە کەوانە بەیەکەوە بەستراونەتەوە.]]
کارامەیی مۆدێلە گەورەکان لەسەر ئەرکە جیاوازەکان، کاتێک لەسەر پێوەرێکی لۆگ-لۆگ نیشان دەدرێت، وەکو دەرھێنانێکی ھێڵیی کارامەیی دەردەکەوێت کە لەلایەن مۆدێلە بچووکەکانەوە بەدەست ھاتووە؛ بەڵام ئەم ھێڵکارییە ڕەنگە بە " شکاندن(ەکان) " لە دەستووری پێوانەکردندا خاڵبەندی بکرێت، کە تێیدا مەودای ھێڵەکە لەناکاو دەگۆڕێت، و کە مۆدێلە گەورەکان "توانای سەرھەڵدان" بەدەستدەھێنن.<ref name="emergentpaper"/><ref name="JM6s1">{{بیرخستنەوەی وێب|سەردێڕ=137 emergent abilities of large language models|ناونیشان=https://www.jasonwei.net/blog/emergence|ڕێکەوتی سەردان=٢٤ی حوزەیرانی ٢٠٢٣|وێبگە=Jason Wei}}</ref> ئەوان لە کارلێکی ئاڵۆزی پێکھاتەکانی مۆدێلەکەوە سەرھەڵدەدەن و بە ڕوونی بەرنامە بۆ داڕێژراو و دیزاین نەکراون.

== ھەڵسەنگاندن ==
=== سەرلێشێواوی ===
باوترین پێوەر کە بەکاردەھێنرێت بۆ پێوەر کردنی مۆدێلی زمان، سەرلێشێواوییەکەیەتی لەسەر کۆمەڵەپێدراوەکەی دەقی دیاریکراو. سەرلێشێواوی پێوەرێکە بۆ ئەوەی کە مۆدێلێک تا چەند توانای پێشبینیکردنی ناوەڕۆکی کۆمەڵە پێراوەیەکی ھەیە؛ تا ئەگەری مۆدێلەکە بۆ کۆمەڵەپێدراوەکە زیاتر بێت، سەرلێشێواوییەکە کەمتر دەبێتەوە. لە ڕووی بیرکارییەوە، سەرلێشێواوی وەک ڕێژەیی تێکڕای ئەگەری لۆگی نەرێنی بۆ ھەر نیشانەیەک (exponential of the average negative log likelihood per token) پێناسە دەکرێت: <math display="block">\log(\text{Perplexity}) = -\frac{1}{N} \sum_{i=1}^N \log(\Pr(\text{token}_i \mid \text{context for token}_i))</math> لێرە <math>N</math> ژمارەی نیشانەکانە لە کۆمەڵەدەقەکەدا، و "دەق بۆ نیشانە." <math>i</math> " بەندە بە جۆری تایبەتی LLM کە بەکارھاتووە." ئەگەر LLMەکە خۆگەڕانەوەیی بێت، ئەوا "دەق بۆ نیشانەی <math>i</math>"ی ئەو بەشە دەقەیە کە پێش نیشانەی <math>i</math> دەردەکەوێت. ئەگەر LLM دەمامککراو بێت، ئەوا "کۆنتێکست بۆ نیشانەی <math>i</math> " ئەو بەشەی دەقەکەیە کە لە دەوری نیشانەی <math>i</math>یە.

لەبەر ئەوەی مۆدێلی زمان ڕەنگە زۆر لەگەڵ پێدراوەکانی ڕاھێنانەکانیاندا بگونجێت، مۆدێلەکان بەزۆری بەھۆی سەرلێشێواوییەکانیان لەسەر کۆمەڵەیەکی تاقیکردنەوەی پێدراوە نەبینراوەکان ھەڵدەسەنگێندرێن.<ref name="jm"/> ئەمەش ئاڵنگاریی (challenge) تایبەت بۆ ھەڵسەنگاندنی مۆدێلی زمانی گەورە دەخاتە ڕوو. لەگەڵ ڕاھێنانیان لەسەر کۆمەڵەدەقە گەورەکان کە تا ڕادەیەکی زۆر لە وێبەوە وەرگیراون، ئەگەری ئەوە زیاتر دەبێت کە داتاکانی ڕاھێنانی مۆدێلەکان بەبێ ئاگاداری بەشێک لە ھەر کۆمەڵە تاقیکردنەوەیەکی دیاریکراو لەخۆ بگرێت.<ref name="few-shot-learners"/>

==== BPW, BPC، و BPT ====
لە [[تیۆریی زانیاری|تیۆری زانیاریدا]]، چەمکی [[ئانترۆپیی زانیاری|ئاڵۆزی (یان نائارامی]] [[:en:Entropy_(information_theory)|entropy]]) بە شێوەیەکی ئاڵۆز پەیوەستە بە سەرلێشێواوییەوە، پەیوەندییەک کە بە شێوەیەکی دیار لەلایەن [[کڵۆد شانن|کلۆد شانۆنەوە]] دامەزراوە.<ref name="Huyen">{{بیرخستنەوەی وێب|دوایین=Huyen|یەکەم=Chip|ڕێکەوت=١٨ی تشرینی یەکەمی ٢٠١٩|سەردێڕ=Evaluation Metrics for Language Modeling|ناونیشان=https://thegradient.pub/understanding-evaluation-metrics-for-language-models/|ڕێکەوتی سەردان=١٤ی کانوونی دووەمی ٢٠٢٤|وێبگە=The Gradient}}</ref> ئەم پەیوەندییە لە ڕووی بیرکارییەوە بەم شێوەیە دەربڕدراوە <math>\text{Entropy} = \log_2(\text{Perplexity})</math> .

ئاڵۆزی (ئەنترۆپی)، لەم چوارچێوەیەدا، بە شێوەیەکی باو لە ڕووی بیتەکان بۆ ھەر وشەیەک (BPW)یان بیتەکان بۆ ھەر کارەکتەرێک (BPC) ژمارەیی دەکرێت، ئەمەش پەیوەستە بەوەی کە ئایا مۆدێلی زمانەکە لە نیشانەسازی لەسەر بنەمای وشە یان کاراکتەری بەکاردەھێنێت.

جێی ئاماژەیە، لە حاڵەتی مۆدێلی زمانی گەورەتردا کە بەزۆری نیشاندانی وشەی لاوەکی بەکاردەھێنن، بیتەکان بۆ ھەر نیشانەیەک (BPT) وەک پێوەرێکی بەڕواڵەت گونجاوتر سەرھەڵدەدات؛ بەڵام بەھۆی جیاوازی لە شێوازەکانی نیشانەدان لە سەرانسەری مۆدێلە جیاوازەکانی زمانی گەورە (LLM), BPT وەکو پێوەرێکی جێی متمانە بۆ شیکاری بەراوردکاری لە نێوان مۆدێلە جۆراوجۆرەکاندا کارناکات. بۆ گۆڕینی BPT بۆ BPW، دەتوانرێت بە تێکڕای ژمارەی نیشانەکان لە ھەر وشەیەکدا چەند ھێندە بکات.

لە ھەڵسەنگاندن و بەراوردکردنی مۆدێلەکانی زماندا، بەگشتی نائارامی نێوانی ([[:en:Cross-entropy|cross-entropy]]) پێوەرێکی پەسەندکراوە بەسەر ئەنترۆپیدا. بنەمای بنەڕەتی ئەوەیە کە BPW نزمتر ئاماژەیە بۆ توانای بەرزبوونەوەی مۆدێلێک بۆ پاڵەپەستۆ. ئەمەش لە بەرامبەردا ڕەنگدانەوەیەی لێھاتوویی مۆدێلەکەیە لە پێشبینیکردنی ورددا.

== ھەروەھا سەیری بکە ==
* مۆدێلەکانی بناغە

== سەرچاوەکان ==
{{سەرچاوەکان}}
{{تووڵی دەروازە|تەکنۆلۆژیا|کۆمپیوتەر|زانستی کۆمپیوتەر}}
{{پۆلی کۆمنز|Large language models}}

[[پۆل:ئەو پەڕانەی وەرگێڕانی بەسەردانەچووەوەیان ھەیە]]