CrazyJev Lab
Reactionの測定方法：表示される時間は何を表す？
Reaction Labでは、同じアプリ上の合図からプレイヤーの反応とJevへのリクエストを計測します。3本目の線は仮定した遅延です。チャットモデルを呼び出した実測値ではありません。
計測区間を区別する
プレイヤー側は、アプリが緑への切り替えを開始してから最初の入力を受け取るまでです。画面表示、知覚、入力処理の遅延を含みます。Jev側はブラウザーの送信から応答の解析までで、通信、サーバー処理、モデル呼び出し、再試行を含みます。サーバーからモデルへの呼び出し時間も通信を含むため、純粋な推論時間ではありません。
切り替えと送信は同じコールバックで開始しますが、画面の画素が実際に光った時刻は測定していません。人とAIを同条件で比較したベンチマークではなく、処理の時間差を見るための体験です。
ゲームのハンデとは別
通常のReactionにある÷2、÷4、÷8はゲームの難易度設定です。推論速度や片道通信時間の推定ではありません。比較グラフには割り算前のリクエスト時間を使います。
再現するときの手順
端末、ブラウザー、ネットワークをそろえ、タブを前面に表示します。緑になったら1回クリックするか、スペースキーを押します。早く押した場合はフライングです。遅い応答や失敗も残してください。
画面には直近10回の終了したラウンドを保持します。フライングはページを開いている間の合計を別に表示します。入力なしとリクエスト失敗も表示し、失敗に架空の時間を付けません。中央値とp95は成功したリクエストの最近順位法で計算します。10件ならp95は最大値です。モデルが「押さない」と回答した場合は、成功した反応とは扱いません。
別モデルとの実測比較には、モデル名、同等の入出力、地域、タイムアウト、再試行、並列数、日時、失敗を含む元データが必要です。スライダーで分かるのは、設定した時間がかかったと仮定した場合の見え方だけです。