はてなブックマーク

W&B AI Solution Engineerの鎌田 (X: olachinkei) です。2023年以降注目を集める「AIエージェント」ですが、その可能性が広く議論されている一方で、具体的な開発プロセスや評価方法についての情報はまだ整理されていないのが現状です。そこで、本ブログではAIエージェントに関する評価体系について、現時点での知見をまとめていきます。専門的な内容も交えながらも、できる限りわかりやすくお届けしますので、ぜひ最後までお付き合いください。 Compound AI システムの登場とAIエージェントへの発展生成AIの進化により、特に大規模言語モデルは簡単なプロンプト入力だけでさまざまなタスクを解決できるようになりました。しかし、AIの活用が広がる中で、私たちは単一のモデルに依存するアプローチから複数のコンポーネントを統合する新しいアプローチへと移行しています。このアプローチ

https://t.co/J262Wk7ByR LLMリーダーボードが新しくなりました！一問一答形式での言語理解と、プロンプト対話での文章生成能力を総合評価を行う日本語性能ランキングの決定版です。W&Bレポート機能を使ってその場でモデル比較分析を行うことができます。話題のモデルをどんどん追加していきます！… pic.twitter.com/CELIkkn1YT — シバタアキラ (@madyagi) December 27, 2023 この新しいバージョンの開発に際しては、LLM-jpのモデル評価チームや、Stability AI Japan の評価チームの皆さん、弊社内LLMエクスパートチームなどとのディスカッションを経て日本でLLM開発・提供をされている方々にとってフェアで、広く役に立つ評価方法の構築を心がけました。 7月に初期バージョンを公開してから、数多くのモデルがリリースされ、私

Weights & Biases のnoteをフォローしてくださいこの度Weights & Biases Japan（W&B Japan）は、7月より Nejumi.ai にて運営してきたLLM（大規模言語モデル）の日本語評価リーダーボードをアプデートします（2023年12月27日に公開予定）。本稿ではアップデートに至るまでの経緯と私たちがLLM評価について学んだことを共有したいと思います。 そもそもなぜリーダーボード？昨年OpenAIがChatGPTをリリースしてから1年余りが経過し、世界中でLLM開発が多くの企業のAI開発に大きな渦を巻き起こしました。毎日のように新しいLLMモデルがリリースされ、基盤モデル、継続事前学習、ファインチューニング、高速化、マルチモーダル、などなど、その開発の幅も極めて広くなってきています。一方で多くの開発は英語を中心に行われており、海外では高く評価されてい

Weights & Biases のnoteをフォローしてくださいWeights & Biases Japan（W&B Japan）では、エヌビディア合同会社と共催で招待制のエグゼクティブラウンドテーブルイベントを9月末に開催しました。このラウンドテーブルでは、生成AI・LLM開発を開始した、または開発を検討中の企業のエグゼクティブの皆様をご招待し、企業が質の高い生成AIモデルを自社開発することからどのように独自の製品・サービスの開発に繋げ、競合優位性を確立できるのか、その最前線から学び、ディスカッションの中から新たな方向性を見出すことを目的にしました。 本イベントではWeights & Biases COOのYan-David Erlich、東京大学の松尾豊先生、アクセンチュアの保科学世さんに、それぞれの目線から生成AIの自社開発および活用の現状と意義につい

Weights & Biases のnoteをフォローしてください大規模言語モデル（LLM）の可能性を引き出し、その機能を拡張してアプリケーションを開発・提供するためのワークフローは、どのようなものなのでしょうか。私たちはここ数ヶ月、様々な場所でこの課題を耳にしてきました。 これまで機械学習モデルの開発と運用を統合するMLOps（Machine Learning Operations）のワークフローの構築において最も信頼されてきたWeights & Biasesは、OpenAIやStability AIなど、生成AIの開発で最先端をいく企業に活用されてきました。 この経験をもとに、本稿ではMLOpsのベストプラクティスをレビューし、この概念がどのようにLLMOpsに適用されていくのか、現時点のベストプラクティスを示していきます。 特にLLMOpsにおいては、多くの場合社外で開発された基盤モ

Weights & Biases のnoteをフォローしてください LLMの日本語性能ChatGPTが発表されて半年あまりが経ち、世の中は激変しました。少し冷め始めていたAIへの注目は突然急騰し、この新しい技術の可能性を探究すべく、日本では世界的にも突出した数の方々がその動向に関心を持っているようです。 ChatGPTは幅広い言語で高い性能を示している一方で、モデルは公開されておらず、またAPIの利用においてプライバシーや機密性の高いデータを送信することはできないため、オープンソースのモデルにも注目が集まっています。 オープンソースのモデルにもいくつかの系譜があります。 LLaMA：Meta社が公開したアカデミック向けのLLM (商用利用不可) GPT-NeoX：Eleuther AIの開発した完全にオープンソースな技術スタックで開発されたモデル Bloom：BigScienceプロジェク