GitHub Copilot Computer Use: qué es y cómo usarlo hoy

GitHub Copilot Computer Use es la función que permite a Copilot usar las aplicaciones de escritorio por ti: lee lo que hay en pantalla, hace clic, escribe, desplaza, arrastra y pasa información entre apps en macOS y Windows; GitHub la lanzó en vista previa pública el 1 de octubre de 2026 en Copilot CLI y en la app de GitHub Copilot. Sirve sobre todo para programas viejos o que solo tienen interfaz gráfica, sin API, sin línea de comandos y sin integración MCP.

• Qué salió: Computer Use para GitHub Copilot, en vista previa pública.
• Fecha: 1 de octubre de 2026 (GitHub Changelog); incluido en el resumen semanal de Copilot del 2 de octubre.
• Dónde funciona: GitHub Copilot CLI y la app de GitHub Copilot, en sesiones locales de macOS y Windows.
• Qué puede hacer: leer el contenido accesible de una app y capturas de pantalla, hacer clic, escribir y editar texto, presionar teclas, desplazar, arrastrar y moverse entre aplicaciones.
• Cómo se activa: viene apagado; en la CLI se enciende con /computer on.
• Control: Copilot pide tu aprobación antes de controlar cada app, y una empresa puede bloquear la función con su configuración administrada.

Qué es GitHub Copilot Computer Use y qué cambia

Hasta ahora, los agentes de Copilot trabajaban con código, archivos, la terminal y herramientas conectadas por API o por MCP (el protocolo abierto que conecta herramientas con modelos de IA). Si una tarea vivía en un programa de escritorio sin esas conexiones, tenías que hacerla a mano.

Con Computer Use, Copilot puede manejar esa interfaz como lo harías tú. GitHub muestra el ejemplo de un reporte de gastos que Copilot completa en Safari, y la documentación menciona resumir información de una app antigua, actualizar una presentación, llenar datos en un software que solo tiene interfaz gráfica o mover información entre varias aplicaciones.

Es la misma idea de los agentes que usan el computador, como Sai de Simular, pero dentro del ecosistema de GitHub y con las reglas de permisos de Copilot. Si ya usas Copilot para revisar código, mira también Agentic Autofix con Copilot Memory.

Qué puede hacer Copilot con tus apps

• Leer la pantalla: usa el árbol de accesibilidad del sistema operativo y, si necesita contexto visual, capturas de la ventana.
• Hacer clic en controles: botones, menús, casillas y pestañas.
• Escribir y editar texto: llenar formularios o cambiar contenido de un documento.
• Teclas, desplazamiento y arrastre: atajos, scroll y mover elementos.
• Flujos entre apps: copiar datos de una aplicación y llevarlos a otra en varios pasos.

Puedes ver cada acción en la sesión, y GitHub recomienda usar Computer Use solo cuando no exista una herramienta más directa (API, MCP, terminal o navegador), porque esas dan resultados más predecibles.

Cómo activar GitHub Copilot Computer Use paso a paso

1. Revisa los requisitos

Necesitas GitHub Copilot CLI o la app de GitHub Copilot en un computador con macOS o Windows, y una sesión local (no remota). Si trabajas en una empresa, el administrador puede haber desactivado la función; tu configuración local no salta esa política.

2. Enciéndelo en Copilot CLI

Abre Copilot CLI y escribe /computer on. Con /computer show ves el estado y con /computer off lo apagas. La CLI guarda tu preferencia y activa el plugin integrado computer-use.

3. O enciéndelo en la app de GitHub Copilot

Abre Settings, entra a Computer Use y activa Enable Computer Use. También puedes escribir /computer on en la app.

4. Da los permisos en macOS

En Mac, Copilot te guía para conceder Accesibilidad (para manejar los controles de las apps) y Grabación de pantalla (para ver las ventanas cuando necesita contexto visual).

5. Describe el resultado, no los clics

Funciona mejor si dices qué quieres lograr, qué aplicaciones intervienen y qué límites hay. Ejemplo: «Abre la presentación de ventas en Keynote y actualiza la diapositiva 4 con las cifras de este CSV; no cambies el diseño».

6. Aprueba cada app y frena si algo sale mal

Antes de controlar una app, Copilot te pide permiso: puedes aprobarla para la sesión, guardarla como «Always allow» o negarla. Para detenerlo, en la CLI presiona Esc dos veces; en la app, haz clic en Stop o presiona Esc.

Si no funciona

• Si /computer show dice que no está disponible, confirma que tu cuenta tiene la función y que estás en una sesión local de macOS o Windows.
• Usa /plugin para revisar que el plugin computer-use esté activo y /mcp list para ver que su servidor MCP esté conectado.
• En macOS, revisa que el asistente de Computer Use tenga los dos permisos.

Ideas para marketing, ventas y educación

• Reportes repetitivos: pasar cifras de una hoja de cálculo a la plantilla de un cliente en una app de escritorio.
• Presentaciones: actualizar textos y datos de un deck mensual sin rehacerlo.
• Software antiguo: cargar datos en un CRM o ERP de escritorio que no tiene API.
• Resúmenes: pedir que lea las notificaciones de una herramienta en el navegador y te deje un resumen.

Límites y riesgos que debes conocer

• Es vista previa: la función puede cambiar.
• Puede equivocarse: las interfaces cambian entre versiones y ventanas, así que puede tocar el control equivocado, escribir en el lugar incorrecto o repetir una acción.
• Datos sensibles: todo lo que se ve en la ventana puede usarse como contexto; evita apps con información financiera o personal.
• «Always allow» con cuidado: una app aprobada para siempre se controla sin volver a preguntar; GitHub aconseja no usarlo con apps sensibles o de alto impacto.
• Revisión humana: revisa el resultado antes de acciones que cambien datos o afecten a otras personas.

Para aprender a trabajar con agentes de IA desde cero, en edu.ia.university tienes cursos gratuitos, y las novedades diarias están en IA News de IA University.

Preguntas frecuentes

¿Qué es GitHub Copilot Computer Use?

Es una función en vista previa pública desde el 1 de octubre de 2026 que deja a GitHub Copilot usar aplicaciones de escritorio en macOS y Windows: ver la pantalla, hacer clic, escribir, desplazar, arrastrar y moverse entre apps.

¿Dónde puedo usarlo?

En GitHub Copilot CLI y en la app de GitHub Copilot, solo en sesiones locales de macOS y Windows.

¿Cómo lo activo?

En la CLI, escribe /computer on. En la app, ve a Settings, Computer Use y activa Enable Computer Use.

¿Copilot puede controlar mis apps sin permiso?

No por defecto. La función viene apagada y Copilot pide aprobación antes de controlar cada aplicación, salvo las que tú marques como «Always allow». Las empresas pueden desactivarla por política.

¿Cuándo conviene usarlo?

Cuando la tarea está en un programa que solo tiene interfaz gráfica. Si existe una API, un servidor MCP, un comando de terminal o una herramienta de navegador, GitHub recomienda usar esa opción.

Fuente: GitHub Changelog (1 oct 2026). Documentación: About computer use in GitHub Copilot y Using GitHub Copilot CLI to interact with desktop applications.

1) Certifícate GRATIS en http://edu.ia.university/

2) Certificación IA internacional: https://ia.university/Asesor-IALab