概要
LA-Bench 2025は、ラボラトリーオートメーション協会（LASA）が主催する、実験手順生成タスクのためのベンチマークコンペティションです。
参加者は、自然言語で記述された実験指示を入力として受け取り、実行可能な詳細な実験手順を生成するAIシステムを開発します。
本コンペティションは、2025年度人工知能学会コンペティション開催支援制度の支援を受けています。
主な特徴
- 実験手順生成に特化したAIコンペティション
- 実際の研究現場で使用される実験プロトコルに基づいたデータセット
- Google Colaboratoryで簡単に参加可能
- 人工知能学会全国大会での発表機会
賞金内訳（総額90万円）
LLM評価部門
-
最優秀賞 1チーム
賞金 35万円 -
優秀賞 1チーム
賞金 10万円
専門家評価部門
-
最優秀賞 1チーム
賞金 35万円 -
優秀賞 1チーム
賞金 10万円
スケジュール
| 日付 | 内容 |
|---|---|
| 2025年9月13日 | 公式サイト公開・参加登録開始 ルール、Example Dataset、サンプルコード公開 |
| 2025年10月10日 | Public Test Dataset公開 |
| Private Test Dataset公開 | |
| 提出締切 | |
| 2025年12月20日 | 結果公開 |
| 2026年2月1日 | 人工知能学会 全国大会 予稿提出締切 |
| 2026年6月 | 人工知能学会 全国大会にて表彰・発表 |
過去のアナウンス
重要な更新情報やルール変更について、過去のアナウンスを確認できます：
-
2025年11月23日
Test Phase終了のお知らせ
結果発表（12月20日）までのスケジュール、今後の展望について
-
2025年11月21日【緊急】
ファイルサイズ制限について
実行コード50MB、README5MBの制限と対処法
-
2025年11月21日
本日提出締切のお知らせ
50チーム超の参加、賞金増額（90万円）、サーバー増強について
-
2025年11月14日
Test Phase提出フォーム公開のお知らせ
提出フォームのURL、提出方法、注意事項について
※ 提出は何度でも可能、評価対象は最後の提出のみ -
2025年11月14日
Test Phase開始のお知らせ（日程変更あり）
Private Test Dataset公開と提出締切の1日延長について
-
2025年10月22日
参加規約の明文化に関するお知らせ
複数チーム登録の禁止、コラボレーションルールなど
データセット
| Dataset | サイズ | 用途 | 公開日 |
|---|---|---|---|
| Example | 5 | Development Phase | 2025年9月13日 |
| Public Test | 10 | Development Phase | 2025年10月10日 |
| Private Test | 10 | Test Phase | 2025年11月14日 |
データフォーマット
入出力データの詳細なフォーマットについては、READMEをご参照ください。
⚠️ 注意事項
- 手順数は50以下に制限されています
- 各手順は10文以下に制限されています
- 制約を満たさない出力は自動的に却下されます
評価方法
Development Phase（開発フェーズ）
- 練習用データ: Example Dataset（練習用、評価対象外）
- 評価対象データ: Public Test Dataset
- 提出内容: 予測結果ファイル（JSONL形式）
- 提出回数: 1日あたり5回まで
- 評価方法: LLM評価
- 結果公開: リーダーボードに即時反映
Test Phase（テストフェーズ）
- 評価対象データ: Private Test Dataset
- 提出内容:
- 予測結果ファイル（JSONL形式）
- 実行コード（必須）
- README（必須）
- 提出回数: 何度でも可能（評価対象は最後に提出されたファイルのみ）
- 提出期限: データ公開から7日以内（2025年11月21日 23:59 JST）
- 評価方法:
- 第1次評価: LLM評価（全チーム対象）
- 第2次評価: 専門家評価（上位10チーム対象）
📝 提出物に関する注意
- Development Phase: 予測結果ファイルのみ提出
- Test Phase: 予測結果ファイル + 実行コード + READMEを提出
- Test Phaseで実行コードとREADMEの提出がない場合、評価対象外となります
評価メトリクス
評価は共通採点基準（5点満点）と個別採点基準（5点満点）の合計10点満点で行われます。
評価基準の詳細については、READMEをご参照ください：
参加規約
1. 参加資格
- 個人またはチームでの参加が可能です
- コード提出義務：Test Phaseの提出時には、実行コードおよびREADMEの提出が必須となります
- 発表義務：受賞チームは、本コンペティションへの取り組みを人工知能学会全国大会にて発表していただきます
2. 複数チーム登録の禁止
1人の参加者が複数のチームに所属することを禁止します。
- 個人チームとして登録しつつ、別のチームにメンバーとして参加することはできません
- 既に複数チームに登録している場合は、1つのチームを選択するか、チームを統合してください
- チーム統合を希望する場合は、お問い合わせフォームよりご連絡ください
3. コラボレーションとディスカッションのルール
チーム内での知見共有・コード共有は自由ですが、チーム外でのソリューション共有は禁止します。
✅ 許可される行為
- チーム内での知見共有・コード共有
- 公開情報（論文、オープンソース、事前学習モデル）の利用
- 一般的な技術についての議論
❌ 禁止される行為
- 異なるチーム間でのソリューション・アプローチ・予測結果の共有
- 同一組織（大学・企業等）内でも、チームが異なれば知見の共有は禁止
4. 提出回数の制限
- Development Phase: 1日あたり5回まで（Public Test Datasetに対する提出）
- Test Phase: 何度でも可能、ただし評価対象は最後に提出されたファイルのみ（Private Test Datasetに対する提出）
5. 違反時の対応
以下のような行為が発覚した場合、運営チームは以下の措置を講じる権利を有します：
- 該当する提出の無効化
- リーダーボードからの削除
- 参加資格の剥奪
- 受賞の取り消し（受賞後に発覚した場合）
⚠️ 重要な注意事項
これらのルールは、全ての参加者にとって公平な競争環境を維持するために設定されています。ご不明な点がある場合は、お問い合わせフォームよりお気軽にご連絡ください。
提出方法
Development Phase（開発フェーズ）
Development Phaseでは、以下のファイルを提出してください：
- 予測結果ファイル - 出力フォーマットに従ったJSONL形式
※ この段階では実行コードやREADMEの提出は不要です。
※ 提出回数：1日あたり5回まで
Test Phase（テストフェーズ）
Test Phaseでは、以下のファイルを提出してください：
- 予測結果ファイル - 出力フォーマットに従ったJSONL形式
- 実行コード - 結果を再現可能なプログラム（単一または複数ファイル）
- README - 手法の説明、実行環境、依存ライブラリ等を記載
※ 実行コードは評価の再現性確認のために使用します。
※ 提出回数：何度でも可能（評価対象は最後に提出されたファイルのみ）
⚠️ 重要
Test Phaseでは、実行コードとREADMEの提出が必須です。提出がない場合、評価対象外となりますのでご注意ください。
提出システム
提出は以下のシステムから行ってください。参加登録時にお知らせしたID・パスワードでログインできます。
※ IDとパスワードは参加登録後にメールでお知らせしています
リーダーボード
読み込み中...
よくある質問
特別な応募条件はありません。どなたでも参加登録していただけます。
ただし、参加にあたっては以下の義務があります：
- 提出義務：
- Development Phase: 予測結果（JSONL形式）の提出
- Test Phase: 予測結果（JSONL形式）、実行コード、READMEの提出が必須
- 再現性の確保：Test Phaseで提出された実行コードで結果が再現できる必要があります。
- 発表義務：受賞チームは、本コンペティションへの取り組みを人工知能学会全国大会にて発表していただきます。
はい、チームでの参加が可能です。ただし、受賞時の発表は代表者が行う必要があります。
いいえ、1人の参加者が複数のチームに所属することは禁止されています。個人チームとして登録しつつ、別のチームにメンバーとして参加することもできません。
既に複数チームに登録している場合は、1つのチームを選択するか、チームを統合してください。チーム統合を希望する場合は、お問い合わせフォームよりご連絡ください。
いいえ、チームが異なる場合、同一組織内でもソリューション・アプローチ・予測結果の共有は禁止されています。
公平な競争環境を維持するため、チーム外での知見共有はご遠慮ください。一般的な技術についての議論や、公開情報（論文、オープンソース等）の利用は自由です。
Development Phaseでは、1日あたり5回までPublic Test Datasetに対する提出が可能です。
複数チーム登録による提出回数制限の回避は禁止されています。
はい、公開されている事前学習済みモデル、オープンソースライブラリ、論文等は自由に使用できます。
いいえ、Development Phaseでは予測結果ファイルのみの提出で構いません。実行コードとREADMEの提出は、Test Phaseで必須となります。
評価対象外となります。Test Phaseでは、予測結果ファイル、実行コード、READMEの3点セットの提出が必須です。再現性の確認ができない場合、受賞資格を失う可能性があります。
はい、受賞チームは人工知能学会全国大会での発表が義務となります。発表ができない場合は、受賞を辞退していただく必要があります。代表者による発表で構いません。
はい、URL先の情報を手動あるいはツールを用いて取得することは可能です。
その場合は、第三者が再現できるよう、取得方法をREADMEなどに詳細に記載してください。
はい、Private Test Dataset公開後も、提出期限の11月21日 23:59 (JST)までは引き続きPublic Test Datasetを用いて改善することが可能です。
Private Test Datasetの公開は11月14日ですが、その後もDevelopment Phaseは継続し、Public Test Datasetに対する提出とリーダーボードへの反映は通常通り行われます。
はい、第三者が再現可能なソースコードおよびREADMEがあれば問題ございません。
スポンサー
※ スポンサーはアルファベット順に掲載しています
LA-Bench 2025の運営費および賞金の充実のため、スポンサーを募集しています。
ご支援いただいた企業・団体様のロゴを本サイトに掲載させていただきます。
引用
本データセットを研究で使用される場合の引用方法については、論文公開後にこちらに記載いたします。