通过 OTel 接入：已埋点应用免映射

import { otelEvents, otel } from "niceeval/adapter";

// 默认:逐 span 自动识别
events: otelEvents()

// 显式指定:接不到数据时报错直接说"收到 37 条 span,0 条命中 ai.* 格式",
// 而不是笼统的"没有派生出事件"
events: otelEvents({ dialects: [otel.aiSdk] })

// 应用有私有埋点:自己实现一个格式模块,与官方的混用
events: otelEvents({ dialects: [myFormat, otel.genAi] })

// agents/support-bot.ts
import { defineAgent, otelEvents } from "niceeval/adapter";

export default defineAgent({
  name: "support-bot",
  events: otelEvents(),        // 事件流 + trace 都从本轮收到的 span 来
  async send(input, ctx) {
    const r = await fetch(`${process.env.BOT_URL}/chat`, {
      method: "POST",
      // traceparent 随请求带过去:本轮 span 挂到 NiceEval 的 trace 下,并发归属才精确
      headers: { "content-type": "application/json", ...ctx.telemetry?.headers },
      body: JSON.stringify({ message: input.text }),
      signal: ctx.signal,
    });
    return { data: await r.json(), status: r.ok ? "completed" : "failed" };
    // 不写 events —— otelEvents 负责
  },
});

export default defineEval({
  description: "查订单要走 lookup_order 工具",
  async test(t) {
    await t.send("帮我查订单 42 到哪了");
    t.calledTool("lookup_order", { input: { orderId: "42" } });
    t.toolOrder(["lookup_order"]);
    t.noFailedActions();
    t.maxTokens(8000);           // usage 从模型 span 聚合,顺带就有
  },
});

// instrumentation.ts —— 应用启动时初始化一次:一份埋点,两个出口
import { NodeTracerProvider, SimpleSpanProcessor } from "@opentelemetry/sdk-trace-node";
import { OTLPTraceExporter } from "@opentelemetry/exporter-trace-otlp-http";
import { ExportResultCode, type ExportResult } from "@opentelemetry/core";
import type { ReadableSpan, SpanExporter } from "@opentelemetry/sdk-trace-base";

/** 端点可运行时切换的出口:没设端点时静默丢弃(线上跑就是这个状态)。 */
class SwitchableExporter implements SpanExporter {
  private inner?: SpanExporter;
  point(endpoint: string | undefined) {
    this.inner = endpoint ? new OTLPTraceExporter({ url: endpoint }) : undefined;
  }
  export(spans: ReadableSpan[], cb: (r: ExportResult) => void) {
    this.inner ? this.inner.export(spans, cb) : cb({ code: ExportResultCode.SUCCESS });
  }
  shutdown() { return this.inner?.shutdown() ?? Promise.resolve(); }
}

export const nicevalExporter = new SwitchableExporter();

export const provider = new NodeTracerProvider({
  spanProcessors: [
    // 出口 1:你自己的后端,启动时固定,线上线下一直发
    new SimpleSpanProcessor(new OTLPTraceExporter({ url: process.env.MY_COLLECTOR_URL })),
    // 出口 2:NiceEval,只在 eval 运行时被 point() 到本次端点
    new SimpleSpanProcessor(nicevalExporter),
  ],
});
provider.register();

// agents/my-agent.ts —— 自己写的 adapter
async send(input, ctx) {
  nicevalExporter.point(ctx.telemetry?.endpoint);   // 本轮 span 同时发给 NiceEval
  const result = await runMyAgent(input.text, { signal: ctx.signal });
  await provider.forceFlush();                      // eval 在意及时,别等 batch
  return { data: result, status: "completed" };
}

capabilities: { toolObservability: true },   // 我确认埋点盖住了全部工具
events: otelEvents(),