charai 0.1.0 → 0.2.0.beta1

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: a2bb9857e550fece14adf8d4b0ff13d3f1bd5006be2cad4a047e03a23e6192ef
-  data.tar.gz: bed2120f92dc260ea88d6f38bcef45f533705f2b027239e4e21068d17ed1e59d
+  metadata.gz: 0da70ce8b749b76af884e10bc9a801965e49e80defde5b118cbecaae71277ac5
+  data.tar.gz: bafaf0e4d31d0a9e0bc7e2bfd381c1671cf8b9776d13e40b23f50f4ab1671c3b
 SHA512:
-  metadata.gz: 295c7c1f728df8c6daa02814c0a00a21c02c9b4182e361688a38a4e011b90368b98f78efcce5eb0baf996862ee4081c2c1a5b6d2b7359e948dad0d71ba1fadc0
-  data.tar.gz: 85660fa979d2f8476022a625eed86c2b870f1d6983c194a0f846bafbfa3a9c27fefd558bbde1bcf522f4bc1cf183782bd09e4ba67797198691e9cbdac4c13bea
+  metadata.gz: 1d20a04f1c1653c8e4482bd0f454a567ba08ff571f7ff0d6aa1f634e9a0146e6b8f2e17684bd3f7441f92ba3428e06cc32541a8b701e54253cbc4e5181a68525
+  data.tar.gz: d27e90d862d238ee218f998eca39774afbe795c4427a3e837efa2f8f5879f6e2802ff8b07b22f5d9ea8ea36154b5103a9e9e45396f06411bb80d8e21d15d7a19

data/README.md

@@ -1,3 +1,6 @@
+[![Gem Version](https://badge.fury.io/rb/charai.svg)](https://badge.fury.io/rb/charai)
+
+
 # Charai
 
 Chat + Ruby + AI = Charai

data/lib/charai/agent.rb

@@ -65,7 +65,7 @@ module Charai
       with_message_queuing do
         with_aggregating_failures do
           begin
-            answer.scan(/```[a-zA-Z]*\n(.*?)\n```/m).map(&:first).each do |code|
+            answer.scan(/```[a-zA-Z]*\n(.*?)\n\s*```/m).map(&:first).each do |code|
               if code.include?('`') # Avoid OS shell execution.
                 raise HandleMessageError, "It is not allowed to use backquote"
               end

data/lib/charai/browsing_context.rb

@@ -123,6 +123,16 @@ module Charai
       }).value!
     end
 
+    class Handle
+      def initialize(object_id)
+        @object_id = object_id
+      end
+
+      def as_serialized
+        { handle: @object_id }
+      end
+    end
+
     class Realm
       def initialize(browsing_context:, id:, origin:, type: nil)
         @browsing_context = browsing_context
@@ -133,44 +143,129 @@ module Charai
 
       class ScriptEvaluationError < StandardError; end
 
-      def script_evaluate(expression)
+      def script_evaluate(expression, as_handle: false)
         result = @browsing_context.send(:bidi_call_async, 'script.evaluate', {
           expression: expression,
           target: { realm: @id },
+          resultOwnership: as_handle ? 'root' : 'none',
+          awaitPromise: true,
+          userActivation: true,
+        }).value!
+
+        if result['type'] == 'exception'
+          raise ScriptEvaluationError, result['exceptionDetails']['text']
+        end
+
+        if as_handle
+          Handle.new(result['result']['handle'])
+        else
+          deserialize(result['result'])
+        end
+      end
+
+      def script_call_function(function_declaration, arguments: [], as_handle: false)
+        args = arguments.map do |arg|
+          serialize(arg)
+        end
+        result = @browsing_context.send(:bidi_call_async, 'script.callFunction', {
+          functionDeclaration: function_declaration,
+          arguments: args,
+          target: { realm: @id },
+          resultOwnership: as_handle ? 'root' : 'none',
           awaitPromise: true,
+          userActivation: true,
         }).value!
 
         if result['type'] == 'exception'
           raise ScriptEvaluationError, result['exceptionDetails']['text']
         end
 
-        deserialize(result['result'])
+        if as_handle
+          Handle.new(result['result']['handle'])
+        else
+          deserialize(result['result'])
+        end
+      end
+
+      def _with_injected_script(&block)
+        raise ArgumentError, "block is required" unless block_given?
+        @injected_script ||= _new_injected_script
+        block.call(@injected_script)
       end
 
       attr_reader :type
 
       private
 
+      def _new_injected_script
+        # Define module object before executing CommonJS code
+        source = File.read("#{__dir__}/injectedScriptSource.js")
+        options = {
+          isUnderTest: false,
+          sdkLanguage: 'ruby',
+          testIdAttributeName: 'data-testid',
+          stableRafCount: 1,
+          browserName: 'charai',
+          customEngines: [],
+        }
+        injected_script_handle = script_evaluate(<<~JAVASCRIPT, as_handle: true)
+        (() => {
+          const module = {};
+          #{source}
+          eval(module.exports.source)
+          return new (module.exports.InjectedScript())(globalThis, #{options.to_json});
+        })();
+        JAVASCRIPT
+        InjectedScript.new(self, injected_script_handle)
+      end
+
+      def serialize(value)
+        case value
+        when Handle
+          value.as_serialized
+        when Array
+          { type: 'array', value: value.map { |v| serialize(v) } }
+        when Hash
+          { type: 'object', value: value.map { |k, v| [serialize(k), serialize(v)] } }
+        when Regexp
+          { type: 'regexp', value: { pattern: value.source, flags: (value.options & Regexp::MULTILINE != 0 ? 'm' : '') + (value.options & Regexp::IGNORECASE != 0 ? 'i' : '') } }
+        when Date, Time, DateTime
+          { type: 'date', value: value.iso8601 }
+        when nil
+          { type: 'undefined' }
+        when Numeric
+          { type: 'number', value: value }
+        when String
+          { type: 'string', value: value }
+        when Symbol
+          { type: 'string', value: value.to_s }
+        when true, false
+          { type: 'boolean', value: value }
+        else
+          raise ArgumentError, "Cannot serialize #{value.class}"
+        end
+      end
+
       # ref: https://github.com/puppeteer/puppeteer/blob/puppeteer-v23.5.3/packages/puppeteer-core/src/bidi/Deserializer.ts#L21
       # Converted using ChatGPT 4o
       def deserialize(result)
         case result["type"]
         when 'array'
-          result['value']&.map { |value| deserialize(value) }
+          result['value']&.map { |value| deserialize(value) } || []
         when 'set'
           result['value']&.each_with_object(Set.new) do |value, acc|
             acc.add(deserialize(value))
-          end
+          end || Set.new
         when 'object'
           result['value']&.each_with_object({}) do |tuple, acc|
             key, value = tuple
             acc[key] = deserialize(value)
-          end
+          end || {}
         when 'map'
           result['value']&.each_with_object({}) do |tuple, acc|
             key, value = tuple
             acc[key] = deserialize(value)
-          end
+          end || {}
         when 'promise'
           {}
         when 'regexp'
@@ -192,6 +287,8 @@ module Charai
           nil
         when 'number', 'bigint', 'boolean', 'string'
           result['value']
+        when 'function', 'node', 'window'
+          {}
         else
           raise ArgumentError, "Unknown type: #{result['type']}"
         end

data/lib/charai/driver.rb

@@ -36,6 +36,16 @@ module Charai
       @additional_instruction = nil
     end
 
+    def save_screenshot(path = nil, **_options)
+      browsing_context.capture_screenshot.tap do |binary|
+        if path
+          File.open(path, 'wb') do |fp|
+            fp.write(binary)
+          end
+        end
+      end
+    end
+
     def visit(path)
       host = Capybara.app_host || Capybara.default_host
 
@@ -89,6 +99,7 @@ module Charai
       * 画面の左上から (10ピクセル, 20ピクセル)の位置にマウスを置いてスクロール操作で下に向かってスクロールをしたい場合には `driver.scroll_down(x: 10, y: 20, velocity: 1500)`
       * 同様に、上に向かってスクロールをしたい場合には `driver.scroll_up(x: 10, y: 20, velocity: 1500)`
       * 画面が切り替わるまで2秒待ちたい場合には `driver.sleep_seconds(2)`
+      * 現在の画面のARIAスナップショットを取得したい場合には `driver.aria_snapshot(ref: true)`
       * 現在の画面を一旦確認したい場合には `driver.capture_screenshot`
       * DOM要素の位置を確認するために、JavaScriptの実行結果を取得したい場合は `driver.execute_script('JSON.stringify(document.querySelector("#some").getBoundingClientRect())')`
       * テスト項目1がOKの場合には `driver.assertion_ok("テスト項目1")` 、テスト項目2がNGの場合には `driver.assertion_fail("テスト項目2")`
@@ -116,27 +127,51 @@ module Charai
       driver.type_text("Passw0rd!")
       driver.press_key("Enter")
       driver.sleep_seconds(2)
-      driver.capture_screenshot
+      driver.aria_snapshot(ref: true)
       ```
 
-      のような指示だけを出力してください。 `driver.capture_screenshot` を呼ぶと、その後、私が画像をアップロードします。その画像を見て、ログイン画面のままであれば、再度上記のようなログイン手順を、ログインを完了できるように指示だけ出力してください。
+      のような指示だけを出力してください。  `driver.aria_snapshot(ref: true)` が実行されると、私が以下のようにARIAスナップショットの取得結果を返します。
 
       ```
-      driver.click(x: 100, y: 320)
-      driver.type_text("Passw0rd!")
-      driver.press_key("Enter")
-      driver.sleep_seconds(2)
-      driver.capture_screenshot
+      - generic [active] [ref=e1]:
+        - heading "Login form" [level=1] [ref=e2]
+        - generic [ref=e3]:
+          - generic [ref=e4]:
+            - generic [ref=e5]: Email
+            - textbox "Email" [ref=e6]
+          - generic [ref=e7]:
+            - generic [ref=e8]: Password
+            - textbox "Password" [ref=e9]
+          - button "LOGIN" [ref=e10]
+      ```
+
+      refの値を使用して、その要素に関連した関数の実行を行うことができます。たとえば、Email入力欄のDOMの領域を取得したい場合には
+
+      ```
+      driver.execute_script_with_ref(:e6, "el => JSON.stringify(el.getBoundingClientRect())")
+      ```
+
+      このように実行すれば、私が以下のように実行結果を返します。
+
       ```
+      {"top":396.25,"right":638.4140625,"bottom":422.25,"left":488.4140625,"width":150,"height":26,"x":488.4140625,"y":396.25}
+      ```
+
+      これで、要素の真ん中をクリックしたい場合には `driver.click(x: 563, y: 409)` のように実行できます。
+
+      ARIAスナップショットではなく、色なども含めて画面の見た目を確認したい場合には、 `driver.capture_screenshot` を呼ぶと、その後、私が画像をアップロードします。
+      `driver.capture_screenshot` は画像を返しますが、とても大きなデータを必要としますので、本当に見た目を確認する必要がある場合にのみ使用してください。
+      多くの場合には、画面のスクリーンショットを取得するよりもARIAスナップショットを使用したほうが、効率的に画面の状態を確認できます。
 
       ### 注意点
       * ログイン後のダッシュボード画面に遷移したと判断したら `driver.assertion_ok("ログイン後のダッシュボード画面に遷移すること")` のような指示だけ出力してください。5回やってもうまくいかない場合には `driver.assertion_fail("ログイン後のダッシュボード画面に遷移すること")` のような指示だけ出力してください。
-      * 必ず、画像を見てクリックする場所がどこかを判断して `driver.click` を実行するようにしてください。場所がわからない場合には `driver.execute_script` を活用して、要素の場所を確認してください。 `driver.execute_script` を呼ぶと、私がJavaScriptの実行結果をアップロードします。現在のDOMの内容を確認したいときにも `driver.execute_script` は使用できます。例えば `driver.execute_script('document.body.innerHTML')` を実行すると現在のDOMのBodyのHTMLを取得することができます。
+      * 必ず、ARIAスナップショットまたはスクリーンキャプチャ画像を見てクリックする場所がどこかを判断して `driver.click` を実行するようにしてください。場所がわからない場合には `driver.execute_script` を活用して、要素の場所を確認してください。 `driver.execute_script` を呼ぶと、私がJavaScriptの実行結果をアップロードします。現在のDOMの内容を確認したいときにも `driver.execute_script` は使用できます。例えば `driver.execute_script('document.body.innerHTML')` を実行すると現在のDOMのBodyのHTMLを取得することができます。
       * 何も変化がない場合には、正しい場所をクリックできていない可能性が高いです。その場合には上記のgetBoundingClientRectを使用する手順で、クリックまたはスクロールする位置を必ず確かめてください。
       * 画面外の要素はクリックできないので、getBoundingClientRectの結果、画面外にあることが判明したら、画面内に表示されるようにスクロールしてからクリックしてください。
       * 一覧画面などでは、画面の一部だけがスクロールすることもあります。その場合には、スクロールする要素を特定して、その要素の位置を取得してからスクロール操作を行ってください。
+      * 実行すべきコードは必ず "```" を使用したコードブロックで囲んでください。コードブロックに囲まれていないコードは実行されません。
       * `driver.execute_script` を複数実行した場合には、私は最後の結果だけをアップロードしますので、getBoundingClientRectを複数回使用する場合には、１回ずつ分けて指示してください。
-      * 最後に実行された内容が `driver.capture_screenshot` または `driver.execute_script` ではない場合には、会話が強制終了してしまいますので、操作を続ける必要がある場合には `driver.execute_script` または `driver.capture_screenshot` を最後に実行してください。
+      * 最後に実行された内容が `driver.capture_screenshot` または `driver.execute_script` または `driver.execute_script_with_ref` ではない場合には、会話が強制終了してしまいますので、操作を続ける必要がある場合には `driver.execute_script` または `driver.execute_script_with_ref` または `driver.capture_screenshot` を最後に実行してください。
 
       #{@additional_instruction ? "### 補足説明\n#{@additional_instruction}" : ""}