从零训练类似 TypeSafe JEV 的 System One 决策模型

1 什么是 JEV 与 System One 决策模型？

2026年，由 InstructGPT 与 RLHF 共同发明人 Diogo Almeida 创立的 TypeSafe AI 推出了业内首个商业化 System One 决策模型 —— JEV。 随后，开源社区相继涌现了 Von (基于 ModernBERT-Large 395M, Apache-2.0, 延迟仅 18ms)、Laya (ConvAI Innovations, 421M/322M 多语言, 延迟 33ms)、OpenThai-SystemOne 以及 openjev 等对标项目。

三大决策原语 (Decision Primitives)

2 模型核心机理与架构原理

为什么 JEV、Von 和 Laya 能够做到一次请求同时评估 10~100 个问题，且延迟仅 18~35ms？ 其核心在于“非自回归 OptionMarker 编码”与“双向全注意力机制（Bidirectional Attention）”。

3 端到端训练全流程路线图 (End-to-End Pipeline)

要完整复刻一个工业级可用的 JEV 模型，整个工程生命周期分为 5 大关键阶段。

4 基础数据集构造与对齐锚点

JEV 这一类模型不学习自由对话，它的核心能力是“给定证据与严格标准，做出可信的裁决”。

5 PyTorch 模型架构与多头实现

基于 ModernBERT-Large (395M) 打造非自回归 OptionMarker 决策模型代码骨架：

import torch
import torch.nn as nn
from transformers import AutoModel, AutoConfig

class SystemOneDecisionModel(nn.Module):
    def __init__(self, model_name_or_path: str = "answerdotai/ModernBERT-large"):
        super().__init__()
        self.config = AutoConfig.from_pretrained(model_name_or_path)
        self.encoder = AutoModel.from_pretrained(model_name_or_path, config=self.config)
        hidden_size = self.config.hidden_size

        self.choice_scorer = nn.Sequential(
            nn.Linear(hidden_size, hidden_size // 2),
            nn.GELU(),
            nn.Dropout(0.1),
            nn.Linear(hidden_size // 2, 1)
        )
        self.noul_head = nn.Sequential(
            nn.Linear(hidden_size, hidden_size // 2),
            nn.GELU(),
            nn.Dropout(0.1),
            nn.Linear(hidden_size // 2, 1)
        )
        self.score_head = nn.Sequential(
            nn.Linear(hidden_size, hidden_size // 2),
            nn.GELU(),
            nn.Linear(hidden_size // 2, 10)
        )
        self.temperature = nn.Parameter(torch.ones(1) * 1.10)

    def forward(self, input_ids, attention_mask, option_positions=None, task_type="choice", num_levels=3):
        outputs = self.encoder(input_ids=input_ids, attention_mask=attention_mask)
        sequence_output = outputs.last_hidden_state

        if task_type == "choice":
            batch_size, num_opts = option_positions.shape
            opt_features = []
            for b in range(batch_size):
                pos = option_positions[b]
                opt_features.append(sequence_output[b, pos, :])
            opt_features = torch.stack(opt_features, dim=0)
            logits = self.choice_scorer(opt_features).squeeze(-1)
            scaled_logits = logits / torch.clamp(self.temperature, min=0.1)
            probabilities = torch.softmax(scaled_logits, dim=-1)
            return scaled_logits, probabilities

        elif task_type == "noul":
            cls_repr = sequence_output[:, 0, :]
            logit = self.noul_head(cls_repr).squeeze(-1)
            prob = torch.sigmoid(logit / torch.clamp(self.temperature, min=0.1))
            return logit, prob

        elif task_type == "score":
            cls_repr = sequence_output[:, 0, :]
            logits = self.score_head(cls_repr)[:, :num_levels]
            prob = torch.softmax(logits / torch.clamp(self.temperature, min=0.1), dim=-1)
            levels = torch.arange(num_levels, device=logits.device, dtype=torch.float32)
            expected_score = torch.sum(prob * levels, dim=-1)
            return expected_score, prob

6 RLCD 联合损失函数与训练

标准 CE 损失会不断推高正确类别的 logit 值，导致模型产生严重的过度自信（Overconfidence）。 通过严格真分数准则，联合优化多分类交叉熵与 Brier 预测发散均方惩罚项：

class RLCDLoss(nn.Module):
    def __init__(self, lambda_brier: float = 0.5):
        super().__init__()
        self.lambda_brier = lambda_brier
        self.ce_loss = nn.CrossEntropyLoss()

    def forward(self, logits: torch.Tensor, targets: torch.Tensor):
        loss_ce = self.ce_loss(logits, targets)
        probs = torch.softmax(logits, dim=-1)
        one_hot_targets = torch.zeros_like(probs).scatter_(-1, targets.unsqueeze(-1), 1.0)
        loss_brier = torch.mean(torch.sum((probs - one_hot_targets) ** 2, dim=-1))
        total_loss = loss_ce + self.lambda_brier * loss_brier
        return total_loss, loss_ce, loss_brier

7 后训练温度校准与置信度计算

8 高性能推理服务与 API 规范

直接实现与 TypeSafe 官方规范完全兼容的 POST /v1/systemone 接口，无缝接入生态。

9 评测基准与业务工作流验证

System One 评测包含三大体系：jabr v2 49 任务基准、ViZDoom 8-Seed 实时竞技 与 Workflow Evals 帕累托前沿。

10 开源决策模型全景与基准深度评测

当前开源社区四大主力模型横向对标：

11 工业级业务数据工程深度实战

决定商业落地生死的正是业务工作流数据工程（占 85%）。

12 业界产品落地与生态全景矩阵

JEV 与 System One 范式不仅仅是研究概念，它正在以惊人的速度在工业界转化为可落地的软硬件产品。 以下系统梳理业界当前商业级基础设施、开源开发套件与八大杀手级应用场景。

业界八大杀手级产品化应用场景

13 学术论文与理论体系脉络

JEV 与 System One 的诞生并非凭空出现，其底层融合了自然语言处理、强化学习反思与统计真分数校准理论。 以下整理该技术流派的关键学术文献脉络：

14 工业化落地与选型建议总结