IA dins del teu producte.
Afegim funcionalitats d’IA, machine learning i LLM a productes que ja són en producció, sense aturar el que funciona. Des d’un únic model fins a un agent complet, avaluat, monitorat i activat de manera gradual.
Explica’ns quin producte tens- Per a qui
- Equips de producte amb software en producció
- Comença amb
- Una auditoria del teu producte i de les teves dades
- Després
- La funcionalitat en producció, activada per fases
- Exemples
- Scoring de trucades als EUA, agent de risc per a una fintech
Integrar sense
aturar res.
El difícil no és el model: és encaixar-lo en un sistema que ja té usuaris.
Integrar IA en un producte existent vol dir que una part de la feina (classificar, puntuar, resumir, extreure dades, respondre) la fa un model, dins la teva arquitectura i sense canviar el que els teus usuaris ja fan servir. Pot ser un LLM comercial, un model entrenat amb les teves dades o tots dos. El que decideix si funciona és tot el que l’envolta: com rep les dades, què passa si triga o falla i com es mesura si l’encerta.
- AuditoriaEl teu producte, les teves dades i on aporta valor real la IA, i on no.
- ArquitecturaAPIs, cues o fluxos d’esdeveniments, perquè el model no bloquegi mai el flux principal.
- ModelUn LLM, un model propi o tots dos, triat per qualitat, cost i privacitat.
- AvaluacióCasos reals amb la sortida esperada, executats a cada canvi. Aquí és on fallen la majoria d’integracions.
- DesplegamentDarrere de feature flags, primer a un grup petit i amb marxa enrere.
- MonitoratgeQualitat, cost i latència de cada petició, en producció.
- APIs REST
- Cues
- AWS Kinesis
- Feature flags
- LLMs
- ML a mida
- Langfuse
- AWS Bedrock
- Vertex AI
- Azure OpenAI
Els termes, en una frase
- Feature flag
- Un interruptor al codi que activa la nova funcionalitat només per a qui tu decideixis, i l’apaga sense tornar a desplegar.
- Cua
- Les peticions al model es processen a part, així una resposta lenta no frena la resta de l’aplicació.
- Flux d’esdeveniments
- Dades que es processen tan bon punt arriben (per exemple amb AWS Kinesis), útil quan la IA ha de reaccionar en temps real.
- Evals
- Bateries de casos reals amb la resposta esperada, per saber si un canvi de model o de prompt millora o empitjora el resultat.
- Fallback
- Què fa el producte si el model falla o triga massa: una regla, una resposta per defecte o una persona.
- Observabilitat
- Registre de cada crida al model amb la seva entrada, la seva sortida, el seu cost i la seva latència.
Què t’emportes.
- Auditoria i plaOn aporta valor la IA al teu producte, què costa i quins riscos té, per escrit.
- IntegracióLa funcionalitat al teu codi, amb les seves APIs, la seva interfície i els seus feature flags.
- AvaluacióBateries de proves amb casos reals que s’executen a cada canvi.
- Cost i latència mesuratsQuant costa i quant triga cada petició, abans d’activar-la per a tothom.
- NormativaClassificació del risc segons l’AI Act europeu i tractament de dades d’acord amb el RGPD.
- El sistema és teuCodi, infraestructura i documentació, al teu repositori i al teu compte de núvol des del primer dia.
El que ens pregunten.
Com s’afegeix IA a un producte SaaS que ja funciona?
Comencem amb una auditoria del producte i de les dades per decidir on aporta valor. Després la integrem com un servei més, via API, cues o esdeveniments, darrere de feature flags, i l’activem primer per a un grup petit d’usuaris.
La IA pot alentir o trencar el nostre producte?
No si s’integra bé. El model treballa fora del flux principal, amb límits de temps i un fallback si falla o triga. I com que va darrere de feature flags, es pot apagar sense tornar a desplegar.
Què heu integrat abans?
Per exemple, un pipeline de veu i scoring que transcriu i puntua el 100 % de les trucades d’un contact center dels EUA en temps real, i un agent d’anàlisi de risc dins la plataforma bancària d’una fintech europea, amb traçabilitat fins a cada document d’origen.
API d’un LLM o model propi?
Depèn de la tasca. Per entendre o generar text, gairebé sempre un LLM a AWS, Google Cloud o Azure. Per a decisions estretes i repetides (puntuar, classificar, ordenar), un model entrenat amb les teves dades sol ser més barat, més ràpid i més fàcil d’explicar. Sovint combinem tots dos.
Com compliu l’AI Act i el RGPD?
Classifiquem el nivell de risc del sistema, documentem com funciona, registrem cada decisió i deixem la supervisió humana on cal. Les dades es queden a la regió que triïs i no s’utilitzen per entrenar models de tercers.
El sistema és nostre?
Sí. El codi, la infraestructura i la documentació viuen al teu repositori i al teu compte de núvol des del primer sprint. Si vols, continuem operant-lo i evolucionant-lo amb tu.