一度の操作デモンストレーションでタスクを学習するデスクトップエージェントUnderstudyを公開

特徴的な機能が、デモンストレーションによる学習です。ユーザーが一度タスクを実行すると、エージェントが画面ビデオとセマンティックイベントを記録します。座標ではなく意図を抽出して再利用可能なスキルへと変換します [Hacker News]

公開されたデモでは、Google画像検索から写真のダウンロード、Pixelmator Proでの背景削除、Telegramでの送信という一連の流れを学習させています。その後、別の対象で同様の処理を実行させています [Hacker News]

この仕組みは単純なマクロではありません。スキルには意図のステップやルートの選択肢が保存されます。利用可能な場合は、すべてのGUIステップを繰り返さず、より高速なルートを優先して選択できるとしています [Hacker News]

ソースコードはGitHubで公開されており、npm経由でインストール可能です [Hacker News]