Dayflow、VLMで画面内容を解析し業務の具体的な内容と時間を自動記録する

従来のツールが「どのアプリを開いていたか」のみを記録するのに対し、Dayflowは画面に表示されている内容を理解します。開発者によると、ローカルまたはクラウドのVLMを用いてスクリーンショットを解析し、文脈に応じた意味的なタイムラインを作成する仕組みです。

これにより、「Chrome 3時間」といった粗い記録ではなく、「PRコメントの確認 45分」「Rust関連のHNスレッド閲覧 20分」のように、具体的な作業内容と時間を把握できるとしています。

プライバシー保護のため、デフォルトではqwen2.5-vl-3bという約4GBのモデルをローカルで実行します。クラウドへのアップロードは不要で、アカウント作成もありません。

技術スタックはSwiftUIとSQLiteです。LLMエンジンは同梱せず、OllamaやLLMStudioなどの既存ツールと連携させる設計としています。開発者は、大規模モデルからローカル小規模モデルへの移行において、品質とのバランスを取るための評価やプロンプトのチャンク分割に多くの時間を費やしたと述べています。

次期機能として、Geminiの出力を教師データとした蒸留による精度向上や、任意の質問に答えるカスタムダッシュボードの実装を計画しています。ソースコードはMITライセンスで公開されています GitHub。