¿Qué incluye realmente operar un agente de IA en producción?
Operar un agente en producción son cuatro trabajos distintos: monitorear ejecuciones, evaluar la calidad de las respuestas, controlar los cambios y sostener la aprobación humana en las acciones sensibles. Construir el agente cubre solo una fracción de eso, porque el agente sigue cambiando aunque nadie lo toque.
El monitoreo técnico es la parte más visible. Incluye los flujos de Power Automate que fallan, los conectores que pierden credenciales y los límites de solicitudes de la plataforma que se alcanzan a fin de mes.
Según la documentación de Microsoft, el historial de ejecuciones de los flujos de nube de Power Automate se conserva 28 días. Si nadie exporta esos registros a Dataverse, Azure Application Insights o un almacenamiento propio, la trazabilidad de un error de hace dos meses desaparece.
La evaluación de respuestas es menos visible y más crítica. Un agente de Copilot Studio puede responder bien el lunes y mal el jueves sin que nadie haya cambiado una línea. Basta con que alguien suba una versión nueva de una política a SharePoint o con que cambie el modelo subyacente.
Por eso la operación necesita un conjunto de preguntas de referencia con respuestas esperadas, que se ejecuta después de cada cambio de contenido, de instrucciones o de modelo. Sin esa batería, el primer aviso de degradación llega por un reclamo.
El control de cambios cubre algo concreto. Los cambios en instrucciones, fuentes de conocimiento, conectores y permisos deben pasar por un entorno de prueba antes de producción. En Power Platform eso se hace con entornos separados, soluciones administradas y políticas de prevención de pérdida de datos (DLP) definidas en el centro de administración.
La aprobación humana es la cuarta capa. Cualquier acción con efecto externo debería pasar por un paso de aprobación explícito, por ejemplo con la acción “Iniciar y esperar una aprobación” de Power Automate en Teams. Esto aplica a enviar un correo a un cliente, modificar un registro en SAP o Softland o emitir un documento al SII.
¿Cómo se ve una operación bien hecha de punta a punta?
Una operación bien hecha se reconoce por un documento mensual. Ese informe dice qué se ejecutó, qué falló, qué se cambió, quién lo aprobó y cuántas horas se consumieron. Si el proveedor no puede mostrar uno de un cliente real, con datos anonimizados, lo más probable es que no opere nada de forma sostenida.
Antes de tomar la operación, el proveedor levanta un inventario. Ese inventario registra los agentes y flujos existentes, el dueño de negocio de cada uno, las fuentes de datos que consultan, los permisos con que corren y las acciones que pueden ejecutar sin intervención humana.
Ese inventario suele revelar agentes que nadie sabía que existían. Ocurre sobre todo en empresas donde los empleados crearon sus propios asistentes. Ese problema tiene su propia lógica de control, que tratamos en el artículo sobre quién controla los agentes que crean los empleados por su cuenta.
En régimen, el ciclo mensual tiene cinco piezas:
- Alertas sobre fallos de flujos y conectores, con un responsable nombrado.
- Registro de incidencias con causa raíz, no solo “se reinició y funcionó”.
- Ejecución de la batería de evaluación después de cada cambio relevante.
- Bitácora de cambios con aprobación del dueño de negocio.
- Informe mensual con horas consumidas, detalle de actividades y estado de cada sistema.
El marco de seguridad también es verificable. La guía de Microsoft Learn sobre protección de sistemas de IA con principios de Confianza cero describe cómo mitigar riesgos específicos de IA, como el acceso excesivo a datos o la exposición de información confidencial. Un proveedor serio debería poder mapear su operación contra ese tipo de marco.
“Un agente en producción no se entrega: se opera. El día que cambia una lista de precios o un formulario del regulador, alguien tiene que enterarse antes que el cliente final, y ese alguien tiene que tener nombre.” — Marco Chávez, Fundador de Muze AI.
¿Qué preguntar al evaluar a un proveedor de operación de agentes?
La pregunta más útil es: “muéstreme el informe mensual de un agente que ustedes operan hoy”. La segunda es dónde quedan los registros. Con esas dos respuestas se descarta a la mayoría de quienes solo construyen y luego capacitan al equipo interno para que se arregle solo.
Los criterios de la tabla se pueden exigir y comprobar en una reunión de una hora. Sirven igual si el proveedor elegido es otro.
| Capacidad | Qué pedir como evidencia | Señal de alerta |
|---|---|---|
| Monitoreo de flujos y agentes | Un ejemplo de alerta real y el registro de cómo se resolvió, con fechas | ”Revisamos cuando el cliente avisa” |
| Retención de trazabilidad | Dónde se guardan los registros más allá de los 28 días de Power Automate (Dataverse, Application Insights, Purview) | No sabe que el historial nativo expira |
| Evaluación de respuestas | El conjunto de preguntas de referencia de un agente y el resultado de su última ejecución | La calidad se mide “por feedback de usuarios” |
| Control de cambios | Bitácora con fecha, cambio, aprobador y entorno de prueba usado | Cambios aplicados directo en producción |
| Aprobación humana | Diagrama de qué acciones del agente requieren aprobación y quién aprueba | El agente escribe en ERP o envía correos externos sin paso humano |
| Permisos y datos | Lista de conectores, cuentas de servicio y políticas DLP configuradas | El agente corre con la cuenta personal de quien lo creó |
| Toma de operación de terceros | Procedimiento de traspaso: inventario, documentación y periodo de estabilización | Exige reconstruir todo desde cero como condición |
| Informe mensual | Un informe anonimizado con horas, actividades y estado por sistema | Solo ofrece una factura con horas totales |
Hay una pregunta adicional para sectores regulados. Conviene saber si el proveedor ha operado reportería hacia un regulador chileno, como SERNAPESCA, SMA o CMF, y qué pasó la última vez que el regulador cambió un formato. Esa respuesta muestra si entiende que el cambio externo es la principal fuente de incidencias.
Para la evaluación previa de quien construyó el agente, el criterio es distinto. Lo desarrollamos en el análisis sobre qué debe demostrar quien implementa IA agéntica en empresas chilenas.
¿Qué señales de alerta descartan a un proveedor?
Cinco señales bastan para descartar a un proveedor de operación. La más grave es que los agentes corran fuera del tenant del cliente, en una plataforma del proveedor, sin acceso propio del cliente a los registros. Eso convierte la salida futura en un proyecto de migración.
- Operación fuera del tenant. Los datos y flujos deberían vivir en el Microsoft 365 y Power Platform del cliente, con el proveedor como administrador delegado y no como dueño.
- Sin dueño de negocio por agente. Si nadie del cliente aprueba los cambios de un agente, el proveedor está tomando decisiones de negocio que no le corresponden.
- Promesas de SLA sin método. Un tiempo de respuesta comprometido sin un procedimiento de alertas que lo sostenga es un número decorativo.
- “El modelo se encarga solo”. Ningún modelo detecta su propia degradación. Sin evaluación periódica, el problema aparece cuando ya afectó a un cliente.
- Rechazo a operar lo que construyó otro. Puede ser legítimo en casos extremos. Como regla general, sugiere que el proveedor depende de su propia plantilla y no entiende la plataforma en profundidad.
La Ley 21.719 agrega una señal nueva. La ley entra en vigencia el 1 de diciembre de 2026 y contempla multas de hasta 20.000 UTM para infracciones gravísimas. También incorpora el derecho de las personas a oponerse a decisiones basadas únicamente en tratamiento automatizado.
Como la ley todavía no se aplica, nadie tiene experiencia real de fiscalización con ella. Lo que sí se puede exigir hoy es criterio de diseño. Un proveedor que no puede explicar qué datos personales toca cada agente ni dónde interviene una persona en las decisiones que afectan a terceros no está preparado para esa fecha.
¿Cuándo conviene operar los agentes internamente en vez de contratar?
Conviene operar internamente cuando la empresa tiene un equipo de Power Platform con al menos dos personas que conocen los agentes, y cuando el número de procesos en producción es bajo y estable. Con una sola persona, la operación depende de sus vacaciones.
Los datos públicos muestran que las organizaciones que escalan agentes tienden a centralizar su gobierno. El estudio de PwC Chile sobre el desempeño de la IA describe el caso de una compañía que creó un hub centralizado para prototipar, desplegar y gobernar agentes. La compañía avanzó por olas, desde desarrollo de software hacia servicio al cliente y otras funciones.
Ese patrón es replicable internamente si existe la capacidad. El criterio práctico es que el costo de operar crece con el número de sistemas conectados, con la frecuencia de cambio de los procesos y con la exposición regulatoria. No crece con la cantidad de agentes en sí.
Tercerizar tiene más sentido en tres casos:
- Los agentes tocan sistemas críticos como ERP, reportería regulatoria o datos de clientes, y no hay respaldo interno para la persona que los mantiene.
- El proveedor original terminó su contrato y nadie en la empresa sabe cómo están construidos los flujos.
- La empresa prefiere que su equipo se concentre en el negocio y no en aprender la administración de Copilot Studio, Dataverse y Power Automate.
Un modelo mixto también funciona. El equipo interno define prioridades y aprueba cambios, y el proveedor ejecuta el monitoreo, la evaluación y la resolución de incidencias. Lo que no funciona es la zona gris donde nadie tiene la responsabilidad explícita.
Un ejemplo concreto de este modelo de servicio
Muze AI ofrece este trabajo como automatización gestionada. Opera mes a mes los flujos y agentes en producción del cliente, resuelve incidencias, ajusta las automatizaciones cuando cambia el proceso y entrega un informe mensual. Ese informe detalla las horas consumidas de la bolsa, cada actividad realizada y el estado de cada sistema.
Todo ocurre dentro del tenant Microsoft 365 del cliente, y Muze puede tomar la operación de automatizaciones construidas por otro proveedor. Un caso de referencia es la reportería hacia SERNAPESCA que Muze AI opera para una de las cinco salmoneras más grandes del mundo. En ese proceso, un cambio de formato del regulador es una incidencia esperable y no una sorpresa.
Para proyectos nuevos, el primer proceso queda en producción en 4 a 7 semanas, según los rangos publicados en cuánto cuesta implementar IA. Por ejemplo, un agente que responde consultas en un canal, con documentos internos, tiene un precio de lista de 330–445 UF + IVA y un plazo de 3 a 5 semanas. Ningún proyecto parte bajo 135 UF.
Los datos de esa página son verificables. El criterio de Muze es que la construcción es la parte corta del ciclo de vida de un agente y que la operación, cuando se descuida, se come el ahorro que justificó el proyecto.
