xAI、大規模言語モデル「Grok-1」をオープンソースで公開

xAI社は3月17日、大規模言語モデル（LLM）の「Grok-1」基本モデルの重みとアーキテクチャをオープンリソースとしてリリースし、GitHubで「Apache 2ライセンス」で配布されている。同社は3,140億のパラメータのMixture-of-Experts（MoE）モデルであり、特定の用途に合わせたトレーニングはしていなく、GPT-3.5を上回ると説明している

xAI社はX（旧Twitter）のオーナーであるイーロン・マスク氏が率いるAI開発ベンチャー社であり、「Grok-1」は現時点でこれまでのオープンソース型LLMの中で最大規模、2位のLkamaの3倍以上、最大シーケンス長（コンテキスト）＊は8,192トークン、漢字約4,000字処理可能となっている。

＊最大シーケンス長 （トレーニングや予測のために）文を処理する場合、シーケンス長とは文中の単語数。 最大シーケンス長パラメータは、トレーニングに考慮される単語数の最大値。
＊引用URL：https://developer.kore.ai/docs/bots/nlp/advanced-nlp-configurations/?lang=ja#:~:text=行われます%E3%80%82-,最大シーケンス長,数の最大値です%E3%80%82

引用：
https://x.ai/blog/grok-os
https://github.com/xai-org/grok-1