LA-Bench 2025

LA-Bench 2025

実験手順生成AIコンペティション

実験指示から実行可能な実験手順を自動生成するAIの能力を競う

総賞金 50万円
参加登録はこちら

概要

LA-Bench 2025は、ラボラトリーオートメーション協会(LASA)が主催する、実験手順生成タスクのためのベンチマークコンペティションです。

参加者は、自然言語で記述された実験指示を入力として受け取り、実行可能な詳細な実験手順を生成するAIシステムを開発します。

本コンペティションは、2025年度人工知能学会コンペティション開催支援制度の支援を受けています。

主な特徴

賞金内訳(総額50万円)

LLM評価部門

  • 最優秀賞 1チーム
    賞金 20万円
  • 優秀賞 1チーム
    賞金 5万円

専門家評価部門

  • 最優秀賞 1チーム
    賞金 20万円
  • 優秀賞 1チーム
    賞金 5万円

スケジュール

日付 内容
2025年9月13日 公式サイト公開・参加登録開始
ルール、Example Dataset、サンプルコード公開
2025年10月10日 Public Test Dataset公開
2025年11月13日 Private Test Dataset公開
2025年11月20日 提出締切
2025年12月20日 結果公開
2026年2月1日 人工知能学会 全国大会 予稿提出締切
2026年6月 人工知能学会 全国大会にて表彰・発表

データセット

Dataset サイズ 用途 公開日
Example 5 Development Phase 2025年9月13日
Public Test 10 Development Phase 2025年10月10日
Private Test 10 Test Phase 2025年11月13日

データフォーマット

入出力データの詳細なフォーマットについては、READMEをご参照ください。

⚠️ 注意事項

  • 手順数は50以下に制限されています
  • 各手順は10文以下に制限されています
  • 制約を満たさない出力は自動的に却下されます
データフォーマット詳細

評価方法

Development Phase(開発フェーズ)

Test Phase(テストフェーズ)

評価メトリクス

評価は共通採点基準(5点満点)個別採点基準(5点満点)の合計10点満点で行われます。

評価基準の詳細については、READMEをご参照ください:

評価基準詳細

提出方法

提出には以下が必要です:

  1. 予測結果ファイル - 出力フォーマットに従ったJSONL形式
  2. 実行コード - 結果を再現可能なプログラム(単一または複数ファイル)
  3. README - 手法の説明、実行環境、依存ライブラリ等を記載

※ 実行コードは評価の再現性確認のために使用します。

提出システムの詳細は現在準備中です。決定次第、公開いたします。

リーダーボード

Development Phase
Test Phase

コンペティション開始後に順位が表示されます

よくある質問

Q: 応募に必要な条件はありますか?

以下の条件を満たす必要があります:

  • 提出物:予測結果(JSONL形式)、実行コード、READMEの提出が必須となります。
  • 再現性:提出された実行コードで結果が再現できる必要があります。
  • 発表義務:受賞チームは、本コンペティションへの取り組みを人工知能学会全国大会にて発表していただきます。
Q: チーム参加は可能ですか?

はい、チームでの参加が可能です。ただし、受賞時の発表は代表者が行う必要があります。

スポンサー

引用

本データセットを研究で使用される場合の引用方法については、論文公開後にこちらに記載いたします。

クイックスタート

Google Colabで即座にベースラインを実行できます:

Google Colabで開く GitHubリポジトリ