جسر سطح مكتب ويندوز لوكلاء LLM المستقلين عبر MCP
windows-computer-use-mcp، الذي طوره Sandraschi، يربط وكلاء LLM للتحكم في سطح مكتب Windows من أجل سير العمل الآلي والوكيل. يقوم التطبيق بالتقاط لقطات الشاشة، ويشغل OCR ومطابقة القوالب، ويفحص عناصر واجهة المستخدم عبر Win32 و UIA، ويحاكي إدخالات الماوس ولوحة المفاتيح حتى يتمكن الوكلاء من التنقل في التطبيقات وإدارة الملفات. يتضمن مثبتًا بدون تبعيات، و22 أداة MCP، ومحرك مهام مستقل، ولوحة تحكم ويب محلية. مخصص للمطورين، وباحثي الذكاء الاصطناعي، والمستخدمين المتقدمين الذين يحتاجون إلى أتمتة موجهة نحو الأهداف على Windows.
ما المهام التي يمكنك استخدامها فعلاً من أجلها؟
يمكن للأداة تمكين وكيل LLM من أداء العمل المكتبي الذي يتطلب عادةً التحكم اليدوي، مثل إطلاق وترتيب التطبيقات، وقراءة النصوص المعروضة على الشاشة، ونقل الملفات بين النوافذ. تقدم 22 أداة MCP متخصصة تغطي التقاط لقطات الشاشة، والتعرف الضوئي على الحروف، ومطابقة القوالب، واستعلامات عناصر واجهة المستخدم، والمدخلات المحاكية. تشمل النتائج النموذجية سير العمل متعدد الخطوات حيث يتنقل الوكيل بين عدة تطبيقات لإكمال مهمة محددة.
ما مدى موثوقية إدراك الشاشة والتفاعل معها؟
يجمع إدراك الشاشة بين طرق على مستوى البكسل مع فحص العناصر لتحسين دقة الإجراءات. يسمح التقاط لقطات الشاشة، والتعرف الضوئي على الحروف، ومطابقة القوالب للوكيل بتحديد الأهداف المرئية، بينما تسمح استعلامات UIA و Win32 بالأوامر المعتمدة على العناصر التي تتجنب النقرات الهشة على الصور. تدعم المدخلات المحاكية للفأرة ولوحة المفاتيح النقرات، والسحب، والكتابة، ومفاتيح الاختصار. يضيف محرك المهمة المستقل محاولات جديدة للخطوات الفاشلة، مما يقلل من عدم استقرار المهام أثناء التشغيل غير المراقب.
ما متطلبات النظام والتكاملات التي يحتاجها؟
تستهدف التطبيق Windows 10 و Windows 11 وتعتمد على واجهات برمجة التطبيقات Win32 و UIA الأصلية. يتكامل مع العملاء المدعومين من MCP مثل Claude Desktop و Cursor و Windsurf من أجل الاتصال بالنموذج. تشمل خيارات التوزيع مثبتًا بدون تبعيات يجمع Python والمكتبات، وبناء سطح مكتب Tauri مستقل يتم تسليمه عبر مثبت NSIS، مما يتجنب إدارة التبعيات الخارجية أثناء الإعداد على سطح المكتب.
هل يتناسب مع سير عمل المطورين وممارسات السلامة؟
تخدم الأداة المطورين والباحثين من خلال توفير نقاط تصحيح ومراقبة، بما في ذلك لوحة معلومات React المدمجة وواجهة ويب محلية للمراقبة البشرية. SAFETY.md ترافق المشروع لتوجيه النشر الآمن، ويدعم محرك المهمة الاختبارات القابلة للتكرار أثناء التطوير. يسمح التكامل مع عملاء MCP الشائعين بالنمذجة باستخدام أطر الوكلاء الحالية بدلاً من بناء الموصلات من الصفر.
الحكم العملي
التطبيق هو خيار عملي للمستخدمين الفنيين الذين يحتاجون إلى تصميم مهام وكيل ويندوز المستقل. إنه يناسب المطورين والباحثين المستعدين لتشغيل واختبار وتدقيق سلوك الوكيل على جهاز محلي. ستجد الفرق التي تبحث عن أداة أتمتة جاهزة للاستخدام دون إشراف يدوي أن مسؤوليات الانضمام والسلامة كبيرة. توقع أن تعالج المخرجات كإجراءات مسودة تتطلب التحقق قبل الاستخدام في حالات عالية المخاطر.
