Què ens ensenyen els incidents de Cursor, NEAR AI i Phala sobre l'observabilitat de productes amb LLM, i com dissenyar-la perquè les teves traces no siguin el botí.
Qualsevol equip que porti un producte amb LLM a producció acaba instrumentant-lo: sense traces no saps per què l'agent va prendre una decisió, quant costa cada usuari ni què va canviar quan vas pujar de versió el prompt. Eines com Langfuse, LangSmith, Phoenix o qualsevol backend d'OpenTelemetry ho posen molt fàcil. Tan fàcil que el més habitual és activar «capturar-ho tot» el primer dia i no tornar-hi a pensar mai més.
El problema és el que hi ha a dins d'aquest «tot». Un prompt conté el que l'usuari ha escrit (inclosa la clau d'API que ha enganxat perquè l'agent «la configuri»), el que han retornat les eines (inclòs el .env que l'agent ha llegit per entendre el projecte) i el que el model ha respost. Les últimes setmanes han deixat uns quants exemples del que passa quan això es guarda tal qual:
- Cursor va explicar el 13 de novembre que un atacant va fer servir una clau que havia lliurat a Fireworks AI, i que Fireworks va exposar, per copiar un bucket amb traces del seu agent de programació, la majoria del 2025. Algunes traces contenien credencials sense redactar; amb elles, l'atacant va arribar a eines SaaS internes i, des d'allà, a una credencial amb la qual va publicar una còpia maliciosa de l'extensió de Claude Code al seu mercat d'aplicacions [1][2].
- NEAR AI va publicar el 9 de novembre que un atacant va explotar una execució remota de codi a SGLang, el seu motor d'inferència, i es va endur l'historial de xat, la configuració i els registres de 18 agents. Les claus d'API de dos clients eren en aquests registres [3].
- Phala va demanar el 10 de novembre als usuaris les peticions dels quals a un model van passar pel seu desplegament entre el 21 d'octubre i el 8 de novembre que rotessin qualsevol secret inclòs en el contingut d'aquestes peticions, perquè es van veure en clar durant el processament [4].
- I en l'onada d'atacs a plataformes de desenvolupament d'IA que Wiz va batejar com a «Black October», Warp va informar que l'atac a un proveïdor va arribar a traces d'agents i telemetria d'aproximadament l'1% dels seus usuaris [5][6].
Cap d'aquests incidents va començar per les traces. Però en molts, les traces van ser el que va convertir un accés parcial en un incident greu. Aquest article va de com dissenyar l'observabilitat d'un producte amb LLM perquè això no passi.
Aquest és el cinquè post de la nostra sèrie sobre bones pràctiques en productes d'IA. L'anterior cobria l'enduriment del servidor d'inferència; avui baixem a les traces i els registres.
1. Tres idees que convé tenir clares
Les teves traces són una base de dades de producció. I probablement la més sensible que tens: concentren, en un sol lloc i amb un bon índex de cerca, el que els teus usuaris escriuen, el que les teves eines llegeixen i el que el teu model contesta. Si la teva base de dades principal té xifrat, control d'accés, retenció i auditoria, el teu backend de traces necessita exactament el mateix.
Els secrets arriben pel prompt, no només per la configuració. L'equip de seguretat sol vigilar on es guarden les claus d'API de l'aplicació. Però en un producte amb LLM els secrets entren per la porta principal: l'usuari hi enganxa un token, l'agent fa cat .env, una eina retorna una capçalera Authorization, o un error del proveïdor cita la clau que ha rebut. L'investigador que va detectar l'incident de Phala ho va fer justament així: posant credencials trampa a les seves peticions i mirant si algú les feia servir [4].
Cada còpia d'una traça és una nova superfície d'atac. La traça de l'incident de Cursor no es va robar del sistema principal, sinó d'un bucket compartit amb un proveïdor per entrenament [1]. Exportar a un SaaS d'observabilitat, copiar a un conjunt de dades d'avaluació (evals) o compartir amb un proveïdor de fine-tuning: cada còpia hereta el risc i gairebé mai hereta els controls.
2. Què ha passat, amb una mica més de detall
Cursor: d'un bucket de traces a un mercat d'aplicacions
Segons l'informe de Cursor, el bucket compartit amb Fireworks contenia traces de sessions sense el mode de privadesa activat, que l'empresa tenia permís per fer servir en l'entrenament. Menys del 0,01% dels clients tenien credencials d'API exposades en aquestes traces. Amb aquestes credencials, l'atacant va accedir a eines SaaS de Cursor, d'on va treure, entre altres coses, dades de suport, resums de converses de l'agent i credencials que els usuaris mateixos havien enviat a l'equip de suport. Amb una credencial obtinguda allà, va publicar les versions 2.1.312 i 2.1.313 malicioses de l'extensió de Claude Code —disponibles durant unes 11 hores—, que van poder arribar a fins a 5.000 usuaris [1][2].
La lliçó per a qualsevol equip no és «no feu servir proveïdors», sinó que una traça amb un secret a dins és un secret emmagatzemat, amb totes les conseqüències, encara que ningú no ho hagi decidit així.
NEAR AI: els registres dels agents com a botí
A NEAR AI, el punt d'entrada va ser el servidor d'inferència (el mateix tipus de peça que vam tractar la setmana passada). Però el que l'atacant es va endur dels 18 agents afectats va ser l'historial de xat, la configuració i els registres (logs), i en aquests registres hi havia claus d'API de clients, que l'empresa va revocar [3]. Si els registres haguessin desat metadades en lloc de contingut, o haguessin redactat les claus, l'impacte hauria estat molt menor.
Phala: el que viatja al prompt també és teu
Phala ofereix inferència confidencial, i tot i així la seva recomanació als usuaris afectats va ser tractar com a exposat el contingut de les seves peticions i rotar els secrets que continguessin [4]. NEAR AI va arribar a una conclusió similar: la computació confidencial protegeix davant l'operador i l'amfitrió (host), però no davant d'una fallada en el programa que corre a dins [3]. Per a qui construeix productes, la conseqüència és ben senzilla: si un secret o una dada personal entra al prompt, l'estàs enviant al teu proveïdor de models, al teu backend de traces i a qualsevol que comprometi qualsevol dels dos.
Un patró que es repeteix: els errors també són registres
No cal cap atac sofisticat. El 10 de novembre es va publicar una fallada a pgEdge RAG Server —corregida a la versió 2.0.0— per la qual l'API retornava al client el text d'error del proveïdor de LLM, el qual podia citar parcialment la clau d'API de l'operador [7]. Passa exactament el mateix quan es desa l'excepció sencera d'un SDK, amb la petició i les capçaleres a dins.
3. Com ho muntaríem
La idea de fons és la que OpenTelemetry resumeix a la seva guia de dades sensibles: la millor manera de no filtrar dades sensibles és no recollir-les [8]. Tot el que ve després (redacció, retenció, control d'accés) són capes per si la primera falla. OWASP inclou les credencials i les dades personals entre els exemples del seu risc LLM02 (divulgació d'informació sensible) i recomana limitar l'accés i redactar abans de processar [16].
3.1 Decideix què registres: metadades sempre, contingut per excepció
Per fer anar un producte amb LLM, la majoria de preguntes es responen sense el text: quin model, quina versió del prompt, quants tokens, quant va trigar, quant va costar, per què va acabar, quines eines es van cridar i si van fallar. Aquest és el nivell que registraríem sempre.
Les convencions semàntiques d'OpenTelemetry per a IA generativa van en aquesta línia: atributs com gen_ai.input.messages són opcionals (opt-in) i l'especificació avisa que probablement contindran informació sensible i dades personals [9][10]. La instrumentació oficial de Python no captura contingut tret que ho activis explícitament [11]:
# Producció: només metadades (model, tokens, latència, finish_reason...) OTEL_SEMCONV_STABILITY_OPT_IN=gen_ai_latest_experimental OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT=NO_CONTENT # Entorn de depuració aïllat, amb dades sintètiques o amb consentiment: # OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT=SPAN_ONLY
Quan sí que necessitis contingut (per depurar un cas, per crear evals o per revisar la qualitat), tracta'l com una excepció amb nom i cognoms:
- Mostreig i abast. Un percentatge petit, o només per a inquilins (tenants) que ho hagin acceptat, o només durant una investigació concreta amb data de finalització.
- Magatzem separat. Les metadades al teu backend de traces habitual; el contingut en un magatzem a part amb el seu propi control d'accés i una retenció curta. La instrumentació d'OpenTelemetry per a Python permet pujar prompts i respostes a un emmagatzematge propi i deixar només una referència a la traça [11].
- Eines sensibles, sense sortida. Si una eina de l'agent llegeix fitxers, variables d'entorn o respostes d'APIs internes, registra que s'ha cridat, amb quin resultat i quants bytes ha retornat; però no el contingut.
Un exemple del que guardaríem per defecte a cada crida:
{
"trace_id": "4bf92f3577b34da6a3ce929d0e0e4736",
"tenant_id_hash": "t_9f2c...",
"gen_ai.request.model": "model-x-2026-10",
"prompt.version": "suport-v14@3a7e1c2",
"gen_ai.usage.input_tokens": 1834,
"gen_ai.usage.output_tokens": 212,
"latency_ms": 2140,
"gen_ai.response.finish_reasons": ["stop"],
"tools": [{"name": "cercar_comanda", "status": "ok", "output_bytes": 812}],
"redaction": {"secrets": 1, "pii": 2}
}Fixa't en l'últim camp: comptar quants secrets i dades personals s'han redactat és una mètrica molt valuosa. Si un dia es dispara, vol dir que algú està enganxant credencials al teu producte o que una eina està retornant més informació del compte.
3.2 Redacta abans que surti del procés
Si captures contingut, redacta'l a l'aplicació, abans d'exportar-lo. Redactar al backend d'observabilitat significa que la dada ja ha viatjat i s'ha desat, encara que hagi estat només un instant.
Un redactador mínim per a secrets i algunes dades personals habituals a casa nostra:
import re
# Formats coneguts de credencials. Amplia'ls amb els dels teus proveïdors.
SECRET_PATTERNS = [
("openai_key", re.compile(r"\bsk-(?:proj-)?[A-Za-z0-9_-]{20,}")),
("anthropic_key", re.compile(r"\bsk-ant-[A-Za-z0-9_-]{20,}")),
("aws_access_key", re.compile(r"\b(?:AKIA|ASIA)[0-9A-Z]{16}\b")),
("github_token", re.compile(r"\bgh[pousr]_[A-Za-z0-9]{36,}\b")),
("jwt", re.compile(r"\beyJ[A-Za-z0-9_-]+\.eyJ[A-Za-z0-9_-]+\.[A-Za-z0-9_-]+")),
("bearer", re.compile(r"(?i)\bbearer\s+[A-Za-z0-9._~+/=-]{16,}")),
("private_key", re.compile(r"-----BEGIN [A-Z ]*PRIVATE KEY-----[\s\S]+?-----END [A-Z ]*PRIVATE KEY-----")),
("assignment", re.compile(r"(?i)\b(api[_-]?key|secret|token|password|passwd)\b\s*[:=]\s*['\"]?[^\s'\"]{8,}")),
]
PII_PATTERNS = [
("email", re.compile(r"\b[\w.+-]+@[\w-]+\.[\w.-]+\b")),
("dni", re.compile(r"\b\d{8}[A-HJ-NP-TV-Z]\b")),
("nie", re.compile(r"\b[XYZ]\d{7}[A-HJ-NP-TV-Z]\b")),
("iban", re.compile(r"\b[A-Z]{2}\d{2}(?:[ ]?[A-Z0-9]{4}){4,7}\b")),
("phone", re.compile(r"(?<!\d)(?:\+34[ ]?)?[6789]\d{2}[ ]?\d{3}[ ]?\d{3}(?!\d)")),
]
def redact(text: str) -> tuple[str, dict[str, int]]:
counts: dict[str, int] = {}
for kind, pattern in SECRET_PATTERNS + PII_PATTERNS:
text, n = pattern.subn(f"[REDACTED:{kind}]", text)
if n:
counts[kind] = counts.get(kind, 0) + n
return text, countsI com integrar-ho a l'exportador. Amb Langfuse, per exemple, el SDK de Python permet modificar els atributs de cada segment (span) just abans d'exportar-lo amb mask_otel_spans [12]:
from langfuse import Langfuse
from langfuse.types import MaskOtelSpansParams, MaskOtelSpansResult, OtelSpanPatch
def mask_otel_spans(*, params: MaskOtelSpansParams) -> MaskOtelSpansResult | None:
patches = {}
for span_id, span in params.spans.items():
changes, total = {}, 0
for key, value in span.attributes.items():
if isinstance(value, str):
clean, counts = redact(value)
if clean != value:
changes[key] = clean
total += sum(counts.values())
if changes:
changes["redaction.count"] = total
patches[span_id] = OtelSpanPatch(set_attributes=changes)
return MaskOtelSpansResult(span_patches=patches) if patches else None
langfuse = Langfuse(mask_otel_spans=mask_otel_spans)Dos detalls que la documentació de Langfuse deixa clars i que cal tenir molt present: si la funció llança una excepció, es descarta el lot sencer (falla de manera segura, que és just el que vols), i el ganxo (hook) només afecta allò que exporta aquest client; si envies aquestes mateixes traces a un altre backend, aquell rebrà la seva còpia sense redactar [12].
Com a segona capa, centralitzada per a tots els serveis, el processador redaction del Col·lector d'OpenTelemetry funciona amb llista blanca: els atributs que no estiguin a allowed_keys s'eliminen abans de mirar quins valors tenen [13]:
processors:
redaction/genai:
allow_all_keys: false # falla de manera segura: el que no és aquí, s'esborra
allowed_keys:
- gen_ai.operation.name
- gen_ai.provider.name
- gen_ai.request.model
- gen_ai.response.model
- gen_ai.response.finish_reasons
- gen_ai.usage.input_tokens
- gen_ai.usage.output_tokens
- prompt.version
- tenant_id_hash
- redaction.count
blocked_key_patterns:
- ".*(token|secret|password|api_key|authorization).*"
blocked_values:
- "sk-[A-Za-z0-9_-]{20,}"
- "(AKIA|ASIA)[0-9A-Z]{16}"
- "eyJ[A-Za-z0-9_-]+\\.eyJ[A-Za-z0-9_-]+\\.[A-Za-z0-9_-]+"
summary: info # no llistar quines claus s'han esborratTres advertències sinceres sobre la redacció:
- Les expressions regulars no ho detecten tot. Un secret sense un format conegut, una adreça postal o un diagnòstic mèdic en text lliure passen sense problemes. Per a dades personals en text lliure hi ha eines com Microsoft Presidio, que combinen patrons i models de NLP [14], però tampoc no són perfectes. La redacció és una capa més, no la defensa definitiva.
- Fer un resum hash no vol dir anonimitzar. OpenTelemetry ho adverteix: el hash d'un identificador es pot revertir si l'espai de valors és petit i predictible [8]. Per a identificadors d'usuari, fes servir un HMAC amb una clau que no visqui al backend de traces.
- Prova el redactador com qualsevol altre codi. Fes un test amb un conjunt de proves de secrets i dades personals falses que n'hagi de sortir net, executat a la integració contínua (CI). Si algú canvia la instrumentació i comença a exportar un atribut nou, el test s'hauria de trencar.
3.3 Els errors, sense contingut
El cas de pgEdge és un recordatori molt útil [7]. Tres regles ben senzilles:
- Al client, un error genèric i un identificador. Mai el text de l'error del proveïdor de LLM: podria citar la clau, el prompt o detalls de la configuració. El detall va al registre intern, ben redactat.
- Res de capçaleres ni cossos sencers als registres d'excepcions. Molts SDK inclouen la petició a l'excepció; captura el tipus d'error, el codi d'estat i l'identificador de petició del proveïdor, i descarta la resta.
- Vigila amb els «modes de depuració» (debug). Els registres de nivell
DEBUGde SDK i passarel·les solen abocar peticions senceres. Que estiguin desactivats a producció s'hauria de comprovar durant el desplegament, sense confiar en la memòria de ningú.
3.4 Guarda-ho durant poc temps i deixa-ho veure a poca gent
Amb allò que decideixis desar:
- Retenció per nivells. La nostra referència de partida: metadades durant el temps que necessites per operar i facturar; el contingut, dies o poques setmanes, tret dels casos que passin a un conjunt de dades curat. Eines com Langfuse permeten configurar la retenció perquè l'esborrat sigui automàtic i no depengui que algú se'n recordi [12]. El termini exacte depèn del teu cas i de la teva anàlisi legal, però «per sempre per si de cas» no és cap termini.
- Accés mínim i auditat. Veure el contingut de les traces hauria de ser un permís diferent de veure mètriques, amb un registre de qui ha consultat què. La majoria de l'equip necessita plafons de control (dashboards), no converses.
- Conjunts de dades d'avaluació i entrenament, per un circuit a part. Si vols fer servir traces reals per avaluar o entrenar, fes-ho a través d'un canal explícit: selecció, redacció, revisió i un magatzem amb el seu propi control d'accés. Mai una còpia en brut del backend de traces.
- Allò que comparteixes amb proveïdors, amb data de caducitat. L'incident de Cursor va començar per una clau de llarga durada lliurada a un tercer per accedir a un bucket [1]. Credencials temporals, accés al mínim de dades necessari i revocació en acabar.
3.5 Coneix qui rep els teus prompts
Fes inventari: proveïdor de models, passarel·la (gateway), backend d'observabilitat, eina d'avaluació, proveïdor de fine-tuning. Per a cadascun, quina informació veu (metadades o contingut), quant de temps ho desa, si ho fa servir per entrenar i en quina regió es troba. A efectes de protecció de dades, molts seran encarregats del tractament, i haurien de constar com a tals.
I de cara a l'usuari, el mateix missatge que dona Phala després del seu incident: allò que s'envia en una petició pot quedar exposat [4]. Si el teu producte anima a enganxar credencials o dades sensibles al xat, dona'ls alternatives millors (un gestor de secrets integrat, un formulari que no passi pel model) i avisa'ls a la interfície.
3.6 Posa't a punt per a la pregunta incòmoda
Quan algú t'avisi d'un incident en un d'aquests proveïdors, la pregunta serà: quins secrets i quines dades personals hi havia en el que tenien? Si no pots respondre-ho, hauràs de rotar-ho tot i notificar a cegues. Per poder respondre:
- Inventari d'allò que s'exporta i on va, amb la seva versió, exactament igual que les dependències.
- El comptador de redaccions de l'apartat 3.1, per servei i per destinació, per saber almenys si hi havia secrets i quan.
- Credencials trampa (tokens canari). És la tècnica que va destapar l'incident de Phala [4]: inclou en peticions de prova periòdiques credencials falses però úniques, i vigila si algú intenta fer-les servir. Si n'apareix alguna, sabràs quina ruta s'ha filtrat i des de quan.
- Un procediment de rotació ben provat. La guia de la Cloud Security Alliance sobre el Black October insisteix en una cosa que sovint s'oblida: esborrar una clau de la plataforma compromesa no la revoca; cal revocar-la directament al proveïdor que la va emetre [6].
4. I el RGPD, què en diu de tot això?
Si les teves traces contenen dades personals —i si guarden converses, gairebé segur que sí—, constitueixen un tractament de dades personals com qualsevol altre. Diversos principis del RGPD es tradueixen gairebé literalment en decisions d'enginyeria [15]:
- Minimització (art. 5.1.c): registrar només el que sigui estrictament necessari per a la finalitat. «Capturar-ho tot per si de cas» és molt difícil de justificar.
- Limitació del termini de conservació (art. 5.1.e): aplicar la retenció per nivells descrita a l'apartat 3.4.
- Protecció de dades des del disseny i per defecte (art. 25): fer que el valor per defecte de la instrumentació sigui no capturar contingut.
- Seguretat del tractament (art. 32): xifrat, control d'accés i capacitat de restaurar i verificar.
- Notificació de violacions de seguretat (art. 33): si hi ha una bretxa de seguretat de dades personals, el responsable ha de notificar-ho a l'autoritat de control sense dilacions indegudes i, si és possible, en un termini màxim de 72 hores. Això és pràcticament impossible de complir si no saps què hi havia a les traces.
Això no substitueix una anàlisi legal del teu cas concret, però sí que deixa clar que una bona higiene d'observabilitat i el compliment de la normativa van absolutament de la mà.
Llista de verificació (checklist): traces i registres de LLM a producció
Què registrem
- [ ] Per defecte només registrem metadades: model, versió del prompt, tokens, latència, cost,
finish_reasoni l'estat de les eines. - [ ] La captura de contingut està desactivada a producció (
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT=NO_CONTENTo equivalent). - [ ] Quan capturem contingut, es fa per mostreig, està acotat en el temps i va a un magatzem separat.
- [ ] Les eines que llegeixen fitxers, variables d'entorn o APIs internes no registren la seva sortida.
Redacció
- [ ] Redactem els secrets i les dades personals a l'aplicació, abans d'exportar.
- [ ] El col·lector (Collector) aplica una segona capa amb una llista blanca d'atributs.
- [ ] Tots els exportadors passen pel procés de redacció, no només el principal.
- [ ] Un test a la integració contínua comprova que un conjunt de proves de secrets i dades personals falses surt net.
- [ ] Mesurem quantes redaccions es fan i fem saltar una alerta si es disparen.
- [ ] Els identificadors d'usuari es pseudonimitzen amb un HMAC, no amb un hash senzill.
Errors
- [ ] El client rep errors genèrics amb un identificador, mai el text del proveïdor.
- [ ] Els registres d'excepcions no inclouen capçaleres ni cossos de petició.
- [ ] Els nivells
DEBUGde SDK i passarel·les estan desactivats a producció, i això es comprova durant el desplegament.
Retenció i accés
- [ ] Hi ha retenció automàtica, més curta per al contingut que per a les metadades.
- [ ] Veure el contingut de les traces és un permís separat i ben auditat.
- [ ] Els conjunts de dades d'avaluació i entrenament surten d'un canal curat i redactat, no de còpies en brut.
- [ ] Les credencials que compartim amb proveïdors són temporals i d'abast mínim.
Tercers i incidents
- [ ] Tenim un inventari de qui rep els prompts i les traces, què desa, quant de temps i on.
- [ ] Hi ha credencials trampa a les peticions de prova per detectar filtracions.
- [ ] Sabem com revocar a l'origen i rotar qualsevol clau en qüestió d'hores, i ho hem assajat.
- [ ] Sabem què respondre en 72 hores si un proveïdor d'observabilitat o d'inferència pateix una bretxa.
Conclusió
L'observabilitat és imprescindible per portar un producte amb LLM a producció amb criteri: sense traces no hi ha avaluacions (evals), ni control de costos, ni manera d'entendre un agent. Però els incidents d'aquest últim mes demostren que, si està mal plantejada, també es converteix en el lloc on s'acumulen les credencials dels teus usuaris i les seves converses, a punt per a qui arribi primer.
Cap de les mesures d'aquest article no és exòtica. Registrar metadades per defecte, redactar abans d'exportar, guardar poc temps i saber qui veu què són pràctiques que qualsevol equip aplicaria a qualsevol base de dades de clients. El que canvia amb els LLM és que aquesta base de dades es crea sola, a cada petició, i que ningú no va decidir conscientment desar-hi una clau d'API.
Si voleu revisar l'observabilitat del vostre producte amb una altra mirada (què s'està capturant, on va, qui pot veure-ho i què passaria si un dels vostres proveïdors sortís a la propera llista d'incidents), estarem encantats de tenir aquesta conversa. Sense cap mena de compromís comercial: una trucada de 30 minuts amb un dels nostres enginyers.