charai 0.1.0

data/lib/charai/browser_launcher.rb

@@ -0,0 +1,170 @@
+module Charai
+  class BrowserLauncher
+    def initialize
+      if ::Charai::Util.macos?
+        if File.exist?("/Applications/Firefox Developer Edition.app/Contents/MacOS/firefox")
+          @firefox_executable_path = "/Applications/Firefox Developer Edition.app/Contents/MacOS/firefox"
+        end
+      elsif ::Charai::Util.linux?
+        if File.exist?("/usr/bin/firefox-devedition")
+          @firefox_executable_path = "/usr/bin/firefox-devedition"
+        end
+      end
+
+      raise 'Firefox Developer Edition is not found.' unless @firefox_executable_path
+    end
+
+    def launch(headless: false, debug_protocol: false)
+      tmpdir = Dir.mktmpdir('charai')
+      create_user_profile(tmpdir)
+
+      args = [
+        "--remote-debugging-port=0",
+        "--profile",
+        tmpdir,
+        "--no-remote",
+      ]
+      if ::Charai::Util.macos?
+        args << "--foreground"
+      end
+      if headless
+        args << "--headless"
+      end
+
+      proc = BrowserProcess.new(
+        @firefox_executable_path,
+        *args,
+        "about:blank",
+      )
+      at_exit do
+        proc.kill
+        FileUtils.remove_entry(tmpdir)
+      end
+      trap(:INT) { proc.kill ; exit 130 }
+      trap(:TERM) { proc.kill ; proc.dispose }
+      trap(:HUP) { proc.kill ; proc.dispose }
+
+      endpoint = wait_for_ws_endpoint(proc)
+
+      web_socket = WebSocket.new(url: "#{endpoint}/session")
+      Browser.new(web_socket, debug_protocol: debug_protocol)
+    end
+
+    private
+
+    def create_user_profile(profile_dir)
+      open(File.join(profile_dir, 'user.js'), 'w') do |f|
+        f.write(template_for_user_profile)
+      end
+    end
+
+    def template_for_user_profile
+      # execute the code below to create a template of user profile for Firefox.
+      # -----------
+      # import { createProfile } from '@puppeteer/browsers';
+      #
+      # await createProfile('firefox', {
+      #   path: './my_prefs',
+      #   preferences: {
+      #     'remote.active-protocols': 1,
+      #     'fission.webContentIsolationStrategy': 0,
+      #   }
+      # })
+      <<~JS
+      user_pref("app.normandy.api_url", "");
+      user_pref("app.update.checkInstallTime", false);
+      user_pref("app.update.disabledForTesting", true);
+      user_pref("apz.content_response_timeout", 60000);
+      user_pref("browser.contentblocking.features.standard", "-tp,tpPrivate,cookieBehavior0,-cm,-fp");
+      user_pref("browser.dom.window.dump.enabled", true);
+      user_pref("browser.newtabpage.activity-stream.feeds.system.topstories", false);
+      user_pref("browser.newtabpage.enabled", false);
+      user_pref("browser.pagethumbnails.capturing_disabled", true);
+      user_pref("browser.safebrowsing.blockedURIs.enabled", false);
+      user_pref("browser.safebrowsing.downloads.enabled", false);
+      user_pref("browser.safebrowsing.malware.enabled", false);
+      user_pref("browser.safebrowsing.phishing.enabled", false);
+      user_pref("browser.search.update", false);
+      user_pref("browser.sessionstore.resume_from_crash", false);
+      user_pref("browser.shell.checkDefaultBrowser", false);
+      user_pref("browser.startup.homepage", "about:blank");
+      user_pref("browser.startup.homepage_override.mstone", "ignore");
+      user_pref("browser.startup.page", 0);
+      user_pref("browser.tabs.disableBackgroundZombification", false);
+      user_pref("browser.tabs.warnOnCloseOtherTabs", false);
+      user_pref("browser.tabs.warnOnOpen", false);
+      user_pref("browser.translations.automaticallyPopup", false);
+      user_pref("browser.uitour.enabled", false);
+      user_pref("browser.urlbar.suggest.searches", false);
+      user_pref("browser.usedOnWindows10.introURL", "");
+      user_pref("browser.warnOnQuit", false);
+      user_pref("datareporting.healthreport.documentServerURI", "http://dummy.test/dummy/healthreport/");
+      user_pref("datareporting.healthreport.logging.consoleEnabled", false);
+      user_pref("datareporting.healthreport.service.enabled", false);
+      user_pref("datareporting.healthreport.service.firstRun", false);
+      user_pref("datareporting.healthreport.uploadEnabled", false);
+      user_pref("datareporting.policy.dataSubmissionEnabled", false);
+      user_pref("datareporting.policy.dataSubmissionPolicyBypassNotification", true);
+      user_pref("devtools.jsonview.enabled", false);
+      user_pref("dom.disable_open_during_load", false);
+      user_pref("dom.file.createInChild", true);
+      user_pref("dom.ipc.reportProcessHangs", false);
+      user_pref("dom.max_chrome_script_run_time", 0);
+      user_pref("dom.max_script_run_time", 0);
+      user_pref("extensions.autoDisableScopes", 0);
+      user_pref("extensions.enabledScopes", 5);
+      user_pref("extensions.getAddons.cache.enabled", false);
+      user_pref("extensions.installDistroAddons", false);
+      user_pref("extensions.screenshots.disabled", true);
+      user_pref("extensions.update.enabled", false);
+      user_pref("extensions.update.notifyUser", false);
+      user_pref("extensions.webservice.discoverURL", "http://dummy.test/dummy/discoveryURL");
+      user_pref("focusmanager.testmode", true);
+      user_pref("general.useragent.updates.enabled", false);
+      user_pref("geo.provider.testing", true);
+      user_pref("geo.wifi.scan", false);
+      user_pref("hangmonitor.timeout", 0);
+      user_pref("javascript.options.showInConsole", true);
+      user_pref("media.gmp-manager.updateEnabled", false);
+      user_pref("media.sanity-test.disabled", true);
+      user_pref("network.cookie.sameSite.laxByDefault", false);
+      user_pref("network.http.prompt-temp-redirect", false);
+      user_pref("network.http.speculative-parallel-limit", 0);
+      user_pref("network.manage-offline-status", false);
+      user_pref("network.sntp.pools", "dummy.test");
+      user_pref("plugin.state.flash", 0);
+      user_pref("privacy.trackingprotection.enabled", false);
+      user_pref("remote.enabled", true);
+      user_pref("security.certerrors.mitm.priming.enabled", false);
+      user_pref("security.fileuri.strict_origin_policy", false);
+      user_pref("security.notification_enable_delay", 0);
+      user_pref("services.settings.server", "http://dummy.test/dummy/blocklist/");
+      user_pref("signon.autofillForms", false);
+      user_pref("signon.rememberSignons", false);
+      user_pref("startup.homepage_welcome_url", "about:blank");
+      user_pref("startup.homepage_welcome_url.additional", "");
+      user_pref("toolkit.cosmeticAnimations.enabled", false);
+      user_pref("toolkit.startup.max_resumed_crashes", -1);
+      user_pref("remote.active-protocols", 1);
+      user_pref("fission.webContentIsolationStrategy", 0);
+      JS
+    end
+
+    def wait_for_ws_endpoint(browser_process)
+      lines = []
+      Timeout.timeout(30) do
+        loop do
+          line = browser_process.stderr.readline
+          /^WebDriver BiDi listening on (ws:\/\/.*)$/.match(line) do |m|
+            return m[1].gsub(/\r/, '')
+          end
+          lines << line
+        end
+      end
+    rescue EOFError
+      raise lines.join("\n")
+    rescue Timeout::Error
+      raise "Timed out after 30 seconds while trying to connect to the browser."
+    end
+  end
+end

data/lib/charai/browser_process.rb

@@ -0,0 +1,26 @@
+require 'open3'
+
+module Charai
+  class BrowserProcess
+    def initialize(*command)
+      stdin, @stdout, @stderr, @thread = Open3.popen3(*command, { pgroup: true })
+      stdin.close
+      @pid = @thread.pid
+    rescue Errno::ENOENT => err
+      raise LaunchError.new("Failed to launch browser process: #{err}")
+    end
+
+    def kill
+      Process.kill(:KILL, @pid)
+    rescue Errno::ESRCH
+      # already killed
+    end
+
+    def dispose
+      [@stdout, @stderr].each { |io| io.close unless io.closed? }
+      @thread.terminate
+    end
+
+    attr_reader :stdout, :stderr
+  end
+end

data/lib/charai/browsing_context.rb

@@ -0,0 +1,201 @@
+require 'base64'
+
+module Charai
+  class BrowsingContext
+    def initialize(browser, context_id)
+      @browser = browser
+      @context_id = context_id
+    end
+
+    def navigate(url, wait: :interactive)
+      bidi_call_async('browsingContext.navigate', {
+        url: url,
+        wait: wait,
+      }.compact).value!
+    end
+
+    def realms
+      result = bidi_call_async('script.getRealms').value!
+      result['realms'].map do |realm|
+        Realm.new(
+          browsing_context: self,
+          id: realm['realm'],
+          origin: realm['origin'],
+          type: realm['type'],
+        )
+      end
+    end
+
+    def default_realm
+      realms.find { |realm| realm.type == 'window' }
+    end
+
+    def activate
+      bidi_call_async('browsingContext.activate').value!
+    end
+
+    def capture_screenshot(origin: nil, format: nil, clip: nil)
+      result = bidi_call_async('browsingContext.captureScreenshot', {
+        origin: origin,
+        format: format,
+        clip: clip,
+      }.compact).value!
+
+      Base64.strict_decode64(result['data'])
+    end
+
+    def close(prompt_unload: nil)
+      bidi_call_async('browsingContext.close', {
+        promptUnload: prompt_unload,
+      }.compact).value!
+    end
+
+    def perform_keyboard_actions(&block)
+      q = ActionQueue.new
+      block.call(q)
+      perform_actions([{
+        type: 'key',
+        id: '__charai_keyboard',
+        actions: q.to_a,
+      }])
+    end
+
+    def perform_mouse_actions(&block)
+      q = ActionQueue.new
+      block.call(q)
+      perform_actions([{
+        type: 'pointer',
+        id: '__charai_mouse',
+        actions: q.to_a,
+      }])
+    end
+
+    def perform_mouse_wheel_actions(&block)
+      q = ActionQueue.new
+      block.call(q)
+      perform_actions([{
+        type: 'wheel',
+        id: '__charai_wheel',
+        actions: q.to_a,
+      }])
+    end
+
+    def reload(ignore_cache: nil, wait: nil)
+      bidi_call_async('browsingContext.reload', {
+        ignoreCache: ignore_cache,
+        wait: wait,
+      }.compact).value!
+    end
+
+    def set_viewport(width:, height:, device_pixel_ratio: nil)
+      bidi_call_async('browsingContext.setViewport', {
+        viewport: {
+          width: width,
+          height: height,
+        },
+        devicePixelRatio: device_pixel_ratio,
+      }.compact).value!
+    end
+
+    def traverse_history(delta)
+      bidi_call_async('browsingContext.traverseHistory', {
+        delta: delta,
+      }).value!
+    end
+
+    def url
+      @url
+    end
+
+    def _update_url(url)
+      @url = url
+    end
+
+    private
+
+    def bidi_call_async(method_, params = {})
+      @browser.bidi_call_async(method_, params.merge({ context: @context_id }))
+    end
+
+    def perform_actions(actions)
+      bidi_call_async('input.performActions', {
+        actions: actions,
+      }).value!
+    end
+
+    class Realm
+      def initialize(browsing_context:, id:, origin:, type: nil)
+        @browsing_context = browsing_context
+        @id = id
+        @origin = origin
+        @type = type
+      end
+
+      class ScriptEvaluationError < StandardError; end
+
+      def script_evaluate(expression)
+        result = @browsing_context.send(:bidi_call_async, 'script.evaluate', {
+          expression: expression,
+          target: { realm: @id },
+          awaitPromise: true,
+        }).value!
+
+        if result['type'] == 'exception'
+          raise ScriptEvaluationError, result['exceptionDetails']['text']
+        end
+
+        deserialize(result['result'])
+      end
+
+      attr_reader :type
+
+      private
+
+      # ref: https://github.com/puppeteer/puppeteer/blob/puppeteer-v23.5.3/packages/puppeteer-core/src/bidi/Deserializer.ts#L21
+      # Converted using ChatGPT 4o
+      def deserialize(result)
+        case result["type"]
+        when 'array'
+          result['value']&.map { |value| deserialize(value) }
+        when 'set'
+          result['value']&.each_with_object(Set.new) do |value, acc|
+            acc.add(deserialize(value))
+          end
+        when 'object'
+          result['value']&.each_with_object({}) do |tuple, acc|
+            key, value = tuple
+            acc[key] = deserialize(value)
+          end
+        when 'map'
+          result['value']&.each_with_object({}) do |tuple, acc|
+            key, value = tuple
+            acc[key] = deserialize(value)
+          end
+        when 'promise'
+          {}
+        when 'regexp'
+          flags = 0
+          result['value']['flags']&.each_char do |flag|
+            case flag
+            when 'm'
+              flags |= Regexp::MULTILINE
+            when 'i'
+              flags |= Regexp::IGNORECASE
+            end
+          end
+          Regexp.new(result['value']['pattern'], flags)
+        when 'date'
+          Date.parse(result['value'])
+        when 'undefined'
+          nil
+        when 'null'
+          nil
+        when 'number', 'bigint', 'boolean', 'string'
+          result['value']
+        else
+          raise ArgumentError, "Unknown type: #{result['type']}"
+        end
+      end
+    end
+  end
+end

data/lib/charai/driver.rb

@@ -0,0 +1,147 @@
+# frozen_string_literal: true
+
+module Charai
+  class Driver < ::Capybara::Driver::Base
+    def initialize(_app, **options)
+      @openai_configuration = options[:openai_configuration]
+      unless @openai_configuration
+        raise ArgumentError, "driver_options[:openai_configuration] is required"
+      end
+      @headless = options[:headless]
+      @callback = options[:callback]
+      @introduction = options[:introduction]
+      @debug_protocol = %w[1 true].include?(ENV['DEBUG'])
+    end
+
+    attr_writer :callback, :introduction, :additional_instruction
+
+    def wait?; false; end
+    def needs_server?; true; end
+
+    def <<(text)
+      agent << text
+    end
+
+    def last_message
+      agent.last_message
+    end
+
+    def reset!
+      @browsing_context&.close
+      @browsing_context = nil
+      @browser&.close
+      @browser = nil
+      @openai_chat&.clear
+      @agent = nil
+      @additional_instruction = nil
+    end
+
+    def visit(path)
+      host = Capybara.app_host || Capybara.default_host
+
+      url =
+        if host
+          Addressable::URI.parse(host) + path
+        else
+          path
+        end
+
+      browsing_context.navigate(url)
+    end
+
+    private
+
+    def browser
+      @browser ||= Browser.launch(headless: @headless, debug_protocol: @debug_protocol)
+    end
+
+    def browsing_context
+      @browsing_context ||= browser.create_browsing_context.tap do |context|
+        context.set_viewport(width: 1024, height: 800)
+      end
+    end
+
+    def openai_chat
+      @openai_chat ||= OpenaiChat.new(
+        @openai_configuration,
+        introduction: @introduction || default_introduction,
+        callback: @callback,
+      )
+    end
+
+    def agent
+      @agent ||= Agent.new(
+        input_tool: InputTool.new(browsing_context, callback: @callback),
+        openai_chat: openai_chat,
+      )
+    end
+
+    def default_introduction
+      <<~MARKDOWN
+      あなたはWebサイトの試験が得意なテスターです。Rubyのコードを使ってブラウザを自動操作する方法にも詳しいです。
+
+      ブラウザを操作する方法は以下の内容です。
+
+      * 画面の左上から (10ピクセル, 20ピクセル)の位置をクリックしたい場合には `driver.click(x: 10, y: 20)`
+      * キーボードで "hogeHoge!!" と入力したい場合には `driver.type_text("hogeHoge!!")`
+      * Enterキーを押したい場合には `driver.press_key("Enter")`
+      * コピー＆ペーストをしたい場合には `driver.on_pressing_key("CtrlOrMeta") { driver.press_key("c") ; driver.press_key("v") }`
+      * 画面の左上から (10ピクセル, 20ピクセル)の位置にマウスを置いてスクロール操作で下に向かってスクロールをしたい場合には `driver.scroll_down(x: 10, y: 20, velocity: 1500)`
+      * 同様に、上に向かってスクロールをしたい場合には `driver.scroll_up(x: 10, y: 20, velocity: 1500)`
+      * 画面が切り替わるまで2秒待ちたい場合には `driver.sleep_seconds(2)`
+      * 現在の画面を一旦確認したい場合には `driver.capture_screenshot`
+      * DOM要素の位置を確認するために、JavaScriptの実行結果を取得したい場合は `driver.execute_script('JSON.stringify(document.querySelector("#some").getBoundingClientRect())')`
+      * テスト項目1がOKの場合には `driver.assertion_ok("テスト項目1")` 、テスト項目2がNGの場合には `driver.assertion_fail("テスト項目2")`
+
+      例えば、class="login"のテキストボックスの場所を特定したい場合には
+
+      ```
+      driver.execute_script('JSON.stringify(document.querySelector("input.login").getBoundingClientRect())')
+      ```
+
+      そうすると、私が以下のように実行結果を返します。
+
+      ```
+      {"top":396.25,"right":638.4140625,"bottom":422.25,"left":488.4140625,"width":150,"height":26,"x":488.4140625,"y":396.25}
+      ```
+
+      これで、要素の真ん中をクリックしたい場合には `driver.click(x: 563, y: 409)` のように実行できます。
+
+      また、画面の (100, 200) の位置にあるテキストボックスに"admin"というログイン名を入力して、画面の (100, 200) の位置にあるテキストボックスに "Passw0rd!" という文字列を入力して、Submitした結果、ログイン後のダッシュボード画面が表示されていることを確認する場合には、
+
+      ```
+      driver.click(x: 100, y: 200)
+      driver.type_text("admin")
+      driver.click(x: 100, y: 320)
+      driver.type_text("Passw0rd!")
+      driver.press_key("Enter")
+      driver.sleep_seconds(2)
+      driver.capture_screenshot
+      ```
+
+      のような指示だけを出力してください。 `driver.capture_screenshot` を呼ぶと、その後、私が画像をアップロードします。その画像を見て、ログイン画面のままであれば、再度上記のようなログイン手順を、ログインを完了できるように指示だけ出力してください。
+
+      ```
+      driver.click(x: 100, y: 320)
+      driver.type_text("Passw0rd!")
+      driver.press_key("Enter")
+      driver.sleep_seconds(2)
+      driver.capture_screenshot
+      ```
+
+      ### 注意点
+      * ログイン後のダッシュボード画面に遷移したと判断したら `driver.assertion_ok("ログイン後のダッシュボード画面に遷移すること")` のような指示だけ出力してください。5回やってもうまくいかない場合には `driver.assertion_fail("ログイン後のダッシュボード画面に遷移すること")` のような指示だけ出力してください。
+      * 必ず、画像を見てクリックする場所がどこかを判断して `driver.click` を実行するようにしてください。場所がわからない場合には `driver.execute_script` を活用して、要素の場所を確認してください。 `driver.execute_script` を呼ぶと、私がJavaScriptの実行結果をアップロードします。現在のDOMの内容を確認したいときにも `driver.execute_script` は使用できます。例えば `driver.execute_script('document.body.innerHTML')` を実行すると現在のDOMのBodyのHTMLを取得することができます。
+      * 何も変化がない場合には、正しい場所をクリックできていない可能性が高いです。その場合には上記のgetBoundingClientRectを使用する手順で、クリックまたはスクロールする位置を必ず確かめてください。
+      * 画面外の要素はクリックできないので、getBoundingClientRectの結果、画面外にあることが判明したら、画面内に表示されるようにスクロールしてからクリックしてください。
+      * 一覧画面などでは、画面の一部だけがスクロールすることもあります。その場合には、スクロールする要素を特定して、その要素の位置を取得してからスクロール操作を行ってください。
+      * `driver.execute_script` を複数実行した場合には、私は最後の結果だけをアップロードしますので、getBoundingClientRectを複数回使用する場合には、１回ずつ分けて指示してください。
+      * 最後に実行された内容が `driver.capture_screenshot` または `driver.execute_script` ではない場合には、会話が強制終了してしまいますので、操作を続ける必要がある場合には `driver.execute_script` または `driver.capture_screenshot` を最後に実行してください。
+
+      #{@additional_instruction ? "### 補足説明\n#{@additional_instruction}" : ""}
+
+      それでは始めます。テストしたい手順は以下の内容です。
+      MARKDOWN
+    end
+  end
+end