pyfemtet 0.7.0__py3-none-any.whl → 0.7.1__py3-none-any.whl

pyfemtet/__init__.py

@@ -1 +1 @@
-__version__ = "0.7.0"
+__version__ = "0.7.1"

pyfemtet/_util/dask_util.py

@@ -0,0 +1,10 @@
+from contextlib import nullcontext
+from dask.distributed import Lock
+
+
+def lock_or_no_lock(name: str, client=None):
+    lock = Lock(name, client)
+    if lock.client is None:
+        return nullcontext()
+    else:
+        return lock

pyfemtet/_util/excel_macro_util.py

@@ -5,16 +5,27 @@ import asyncio  # for timeout
 import win32gui
 import win32con
 import win32api
+import win32process
 
 from pyfemtet.logger import get_module_logger
 
 logger = get_module_logger('util.excel', __name__)
 
 
+def _get_pid(hwnd):
+    """Window handle から process ID を取得します."""
+    if hwnd > 0:
+        _, pid = win32process.GetWindowThreadProcessId(hwnd)
+    else:
+        pid = 0
+    return pid
+
+
 class _ExcelDialogProcessor:
 
     def __init__(self, excel_, timeout, restore_book=True):
         self.excel = excel_
+        self.excel_pid = _get_pid(excel_.hWnd)
         self.__excel_window_title = f' - Excel'  # {basename} - Excel
         self.__error_dialog_title = 'Microsoft Visual Basic'
         self.__vbe_window_title = f'Microsoft Visual Basic for Applications - '  # Microsoft Visual Basic for Applications - {basename}
@@ -42,6 +53,7 @@ class _ExcelDialogProcessor:
             win32gui.EnumWindows(self.enum_callback_to_close_dialog, found)
             await asyncio.sleep(0.5)
             if any(found):
+                await asyncio.sleep(1.)
                 break
 
         logger.debug('ブックを閉じます。')
@@ -56,7 +68,7 @@ class _ExcelDialogProcessor:
     def enum_callback_to_activate(self, hwnd, _):
         title = win32gui.GetWindowText(hwnd)
         # Excel 本体
-        if self.__excel_window_title in title:
+        if (self.excel_pid == _get_pid(hwnd)) and (self.__excel_window_title in title):
             # Visible == True の際、エラーが発生した際、
             # 一度 Excel ウィンドウをアクティブ化しないと dialog が出てこない
             # が、これだけではダメかも。
@@ -65,7 +77,7 @@ class _ExcelDialogProcessor:
     def enum_callback_to_close_dialog(self, hwnd, found):
         title = win32gui.GetWindowText(hwnd)
         # エラーダイアログ
-        if self.__error_dialog_title == title:
+        if (self.excel_pid == _get_pid(hwnd)) and (self.__error_dialog_title == title):
             # 何故かこのコマンド以外受け付けず、
             # このコマンドで問答無用でデバッグモードに入る
             logger.debug('エラーダイアログを見つけました。')
@@ -77,14 +89,14 @@ class _ExcelDialogProcessor:
     def enum_callback_to_close_confirm_dialog(self, hwnd, _):
         title = win32gui.GetWindowText(hwnd)
         # 確認ダイアログ
-        if "Microsoft Excel" in title:
+        if (self.excel_pid == _get_pid(hwnd)) and ("Microsoft Excel" in title):
             # DisplayAlerts が False の場合は不要
             win32gui.SendMessage(hwnd, win32con.WM_SYSCOMMAND, win32con.SC_CLOSE, 0)
 
     def enum_callback_to_close_book(self, hwnd, _):
         title = win32gui.GetWindowText(hwnd)
         # VBE
-        if self.__vbe_window_title in title:
+        if (self.excel_pid == _get_pid(hwnd)) and (self.__vbe_window_title in title):
             # 何故かこれで book 本体が閉じる
             win32gui.SendMessage(hwnd, win32con.WM_CLOSE, 0, 0)
 

pyfemtet/opt/_femopt.py

@@ -12,7 +12,7 @@ from traceback import print_exception
 # 3rd-party
 import numpy as np
 import pandas as pd
-from dask.distributed import LocalCluster, Client
+from dask.distributed import LocalCluster, Client, get_worker, Nanny
 
 # pyfemtet relative
 from pyfemtet.opt.interface import FEMInterface, FemtetInterface
@@ -136,6 +136,7 @@ class FEMOpt:
         self.monitor_server_kwargs = dict()
         self.monitor_process_worker_name = None
         self._hv_reference = None
+        self._extra_space_dir = None
 
     # multiprocess 時に pickle できないオブジェクト参照の削除
     def __getstate__(self):
@@ -675,10 +676,6 @@ class FEMOpt:
                     directions,
                 )
 
-            # Femtet の confirm_before_exit のセット
-            self.fem.confirm_before_exit = confirm_before_exit
-            self.fem.kwargs['confirm_before_exit'] = confirm_before_exit
-
             logger.info('Femtet loaded successfully.')
 
         # クラスターの設定
@@ -718,30 +715,43 @@ class FEMOpt:
             #   これは CLI の --no-nanny オプションも同様らしい。
 
             # クラスターの構築
+            # noinspection PyTypeChecker
             cluster = LocalCluster(
                 processes=True,
                 n_workers=n_parallel,
                 threads_per_worker=1,
+                worker_class=Nanny,
             )
             logger.info('LocalCluster launched successfully.')
 
-            self.client = Client(cluster, direct_to_workers=False)
-            self.scheduler_address = self.client.scheduler.address
+            self.client = Client(
+                cluster,
+                direct_to_workers=False,
+            )
             logger.info('Client launched successfully.')
 
-            # 最適化タスクを振り分ける worker を指定
-            subprocess_indices = list(range(n_parallel))[1:]
-            worker_addresses = list(self.client.nthreads().keys())
+            self.scheduler_address = self.client.scheduler.address
 
-            # monitor worker の設定
-            self.monitor_process_worker_name = worker_addresses[0]
-            worker_addresses[0] = 'Main'
+            # worker address を取得
+            nannies_dict: dict[Any, Nanny] = self.client.cluster.workers
+            nannies = tuple(nannies_dict.values())
+
+            # ひとつの Nanny を選んで monitor 用にしつつ
+            # その space は main process に使わせるために記憶する
+            self.monitor_process_worker_name = nannies[0].worker_address
+            self._extra_space_dir = nannies[0].worker_dir
+
+            # 名前と address がごちゃごちゃになっていて可読性が悪いが
+            # 選んだ以外の Nanny は計算を割り当てる用にする
+            worker_addresses = ['Main']
+            worker_addresses.extend([n.worker_address for n in nannies[1:]])
+            subprocess_indices = list(range(n_parallel))[1:]
 
         with self.client.cluster as _cluster, self.client as _client:
 
             # actor の設定
-            self.status = OptimizationStatus(_client)
-            self.worker_status_list = [OptimizationStatus(_client, name) for name in worker_addresses]  # tqdm 検討
+            self.status = OptimizationStatus(_client, worker_address=self.monitor_process_worker_name)
+            self.worker_status_list = [OptimizationStatus(_client, worker_address=self.monitor_process_worker_name, name=name) for name in worker_addresses]  # tqdm 検討
             self.status.set(OptimizationStatus.SETTING_UP)
             self.history = History(
                 self.history_path,
@@ -773,7 +783,6 @@ class FEMOpt:
             logger.info('Process monitor initialized successfully.')
 
             # fem
-            # TODO: n_parallel=1 のときもアップロードしている。これを使うべきか、アップロードしないべき。
             self.fem._setup_before_parallel(_client)
 
             # opt
@@ -794,7 +803,7 @@ class FEMOpt:
                 subprocess_indices,
                 [self.worker_status_list] * len(subprocess_indices),
                 [wait_setup] * len(subprocess_indices),
-                workers=worker_addresses,
+                workers=worker_addresses if self.opt.is_cluster else worker_addresses[1:],
                 allow_other_workers=False,
             )
 
@@ -818,6 +827,7 @@ class FEMOpt:
                     ),
                     kwargs=dict(
                         skip_reconstruct=True,
+                        space_dir=self._extra_space_dir,
                     )
                 )
                 t_main.start()

pyfemtet/opt/_femopt_core.py

@@ -980,8 +980,13 @@ class OptimizationStatus:
     TERMINATE_ALL = 60
     CRASHED = 70
 
-    def __init__(self, client, name='entire'):
-        self._future = client.submit(_OptimizationStatusActor, actor=True)
+    def __init__(self, client, worker_address, name='entire'):
+        self._future = client.submit(
+            _OptimizationStatusActor,
+            actor=True,
+            workers=[worker_address],
+            allow_other_workers=False,
+        )
         self._actor = self._future.result()
         self.name = name
         self.set(self.INITIALIZING)

pyfemtet/opt/interface/_excel_interface.py

@@ -21,12 +21,11 @@ from pyfemtet.core import SolveError
 from pyfemtet.opt.optimizer.parameter import Parameter
 
 from pyfemtet.dispatch_extensions import _get_pid, dispatch_specific_femtet
-from pyfemtet.dispatch_extensions._impl import _NestableSpawnProcess
 
 from pyfemtet._femtet_config_util.exit import _exit_or_force_terminate
-from pyfemtet._femtet_config_util.autosave import _set_autosave_enabled, _get_autosave_enabled
 
 from pyfemtet._util.excel_macro_util import watch_excel_macro_error
+from pyfemtet._util.dask_util import lock_or_no_lock
 
 from pyfemtet._warning import show_experimental_warning
 
@@ -80,11 +79,53 @@ class ExcelInterface(FEMInterface):
             Excel マクロ関数のタイムアウト時間を秒単位で指定
             します。 None の場合はタイムアウトなしとなります。
             
-        with_call_femtet (bool, optional):
-            Femtet を呼び出すかどうかを指定します。
+        setup_xlsm_path (str or Path, optional):
+            セットアップ時に呼ぶ関数を含む xlsm のパスです。
+            指定しない場合は ``input_xlsm_path`` と
+            同じと見做します。
+
+        setup_procedure_name (str, optional):
+            セットアップ時に呼ぶマクロ関数名です。
+            指定しない場合、セットアップ時に何もしません。
+
+        setup_procedure_args (list or tuple, optional):
+            セットアップ時に呼ぶマクロ関数の引数です。
+
+        teardown_xlsm_path (str or Path, optional):
+            終了時に呼ぶ関数を含む xlsm のパスです。
+            指定しない場合は ``input_xlsm_path`` と
+            同じと見做します。
+
+        teardown_procedure_name (str, optional):
+            終了時に呼ぶマクロ関数名です。
+            指定しない場合、終了時に何もしません。
+
+        teardown_procedure_args (list or tuple, optional):
+            終了時に呼ぶマクロ関数の引数です。
+
+        visible (bool):
+            excel を可視化するかどうかです。
+            ただし、 True を指定した場合でもマクロの実行中は
+            不可視になります。
+            デフォルトは False です。
+
+        display_alerts (bool):
+            excel ダイアログを表示するかどうかです。
+            デバッグ目的の場合以外は True にしないでください。
             デフォルトは False です。
 
-    
+        terminate_excel_when_quit (bool):
+            終了時に Excel を終了するかどうかです。
+            指定しない場合、 connect_method が 'new' の場合
+            True とふるまい 'auto' の場合 False と振舞います。
+
+        interactive (bool):
+            excel を対話モードにするかどうかです。
+            False にすると、 visible == True であっても
+            自動化プロセス中にユーザーが誤って
+            Excel 本体を操作できないようにします。
+            デフォルトは True です。
+
     Attributes:
         input_xlsm_path (Path):
             設計変数の定義を含む Excel ファイルのパス。
@@ -133,12 +174,12 @@ class ExcelInterface(FEMInterface):
 
     """
 
-    input_xlsm_path: Path  # 操作対象の xlsm パス
+    input_xlsm_path: str  # 操作対象の xlsm パス
     input_sheet_name: str  # 変数セルを定義しているシート名
-    output_xlsm_path: Path  # 操作対象の xlsm パス (指定しない場合、input と同一)
+    output_xlsm_path: str  # 操作対象の xlsm パス (指定しない場合、input と同一)
     output_sheet_name: str  # 計算結果セルを定義しているシート名 (指定しない場合、input と同一)
 
-    # TODO: related_file_paths: dict[Path] を必要なら実装  # 並列時に個別に並列プロセスの space にアップロードする必要のあるパス
+    related_file_paths: list[str]  # 並列時に個別に並列プロセスの space にアップロードする必要のあるパス
 
     procedure_name: str  # マクロ関数名（or モジュール名.関数名）
     procedure_args: list  # マクロ関数の引数
@@ -148,17 +189,26 @@ class ExcelInterface(FEMInterface):
     sh_input: CDispatch  # 変数の定義された WorkSheet
     wb_output: CDispatch  # システムを構成する Workbook
     sh_output: CDispatch  # 計算結果の定義された WorkSheet (sh_input と同じでもよい)
+    wb_setup: CDispatch  # システムを構成する Workbook
+    wb_teardown: CDispatch  # システムを構成する Workbook
 
-    visible: bool = False  # excel を可視化するかどうか
-    display_alerts: bool = False  # ダイアログを表示するかどうか
+    visible: bool  # excel を可視化するかどうか
+    display_alerts: bool  # ダイアログを表示するかどうか
     terminate_excel_when_quit: bool  # 終了時に Excel を終了するかどうか
+    interactive: bool  # excel を対話モードにするかどうか
 
     _load_problem_from_me: bool = True
     _excel_pid: int
     _excel_hwnd: int
+    _with_femtet_autosave_setting: bool = True  # Femtet の自動保存機能の自動設定を行うかどうか。Femtet がインストールされていない場合はオフにする。クラス変数なので、インスタンス化前に設定する。
     _femtet_autosave_buffer: bool  # Femtet の自動保存機能の一時退避場所。最適化中はオフにする。
-    _with_call_femtet: bool  # Femtet を Python から起動するかどうか。Excel から起動できる場合は False でよい。
 
+    setup_xlsm_path: str
+    setup_procedure_name: str
+    setup_procedure_args: list or tuple
+    teardown_xlsm_path: str
+    teardown_procedure_name: str
+    teardown_procedure_args: list or tuple
 
     def __init__(
             self,
@@ -170,39 +220,67 @@ class ExcelInterface(FEMInterface):
             procedure_args: list or tuple = None,
             connect_method: str = 'auto',  # or 'new'
             procedure_timeout: float or None = None,
-            with_call_femtet: bool = False
+            setup_xlsm_path: str or Path = None,
+            setup_procedure_name: str = None,
+            setup_procedure_args: list or tuple = None,
+            teardown_xlsm_path: str or Path = None,
+            teardown_procedure_name: str = None,
+            teardown_procedure_args: list or tuple = None,
+            related_file_paths: list[str or Path] = None,
+            visible: bool = False,
+            display_alerts: bool = False,
+            terminate_excel_when_quit: bool = None,
+            interactive: bool = True,
     ):
 
         show_experimental_warning("ExcelInterface")
 
         # 初期化
-        self.input_xlsm_path = None  # あとで取得する
+        self.input_xlsm_path = str(input_xlsm_path)  # あとで再取得する
         self.input_sheet_name = input_sheet_name
-        self.output_xlsm_path = None  # あとで取得する
+        self.output_xlsm_path = str(input_xlsm_path) if output_xlsm_path is None else str(output_xlsm_path)
         self.output_sheet_name = output_sheet_name or self.input_sheet_name
         self.procedure_name = procedure_name or 'FemtetMacro.FemtetMain'
         self.procedure_args = procedure_args or []
         assert connect_method in ['new', 'auto']
         self.connect_method = connect_method
-        self._femtet_autosave_buffer = _get_autosave_enabled()
         self.procedure_timeout = procedure_timeout
-        self._with_call_femtet = with_call_femtet
-        self.terminate_excel_when_quit = self.connect_method == 'new'
+        if terminate_excel_when_quit is None:
+            self.terminate_excel_when_quit = self.connect_method == 'new'
+        else:
+            self.terminate_excel_when_quit = terminate_excel_when_quit
+
+        self.setup_xlsm_path = str(input_xlsm_path) if setup_xlsm_path is None else str(setup_xlsm_path)  # あとで取得する
+        self.setup_procedure_name = setup_procedure_name
+        self.setup_procedure_args = setup_procedure_args or []
+
+        self.teardown_xlsm_path = str(input_xlsm_path) if teardown_xlsm_path is None else str(teardown_xlsm_path)  # あとで取得する
+        self.teardown_procedure_name = teardown_procedure_name
+        self.teardown_procedure_args = teardown_procedure_args or []
+
+        self.related_file_paths = [str(p) for p in related_file_paths] if related_file_paths is not None else []
+
+        self.visible = visible
+        self.interactive = interactive
+        self.display_alerts = display_alerts
 
         # dask サブプロセスのときは space 直下の input_xlsm_path を参照する
         try:
             worker = get_worker()
-            space = worker.local_directory
-            self.input_xlsm_path = Path(os.path.join(space, os.path.basename(input_xlsm_path))).resolve()
-            self.output_xlsm_path = Path(os.path.join(space, os.path.basename(output_xlsm_path))).resolve()
+            space = os.path.abspath(worker.local_directory)
+            self.input_xlsm_path = os.path.join(space, os.path.basename(self.input_xlsm_path))
+            self.output_xlsm_path = os.path.join(space, os.path.basename(self.output_xlsm_path))
+            self.setup_xlsm_path = os.path.join(space, os.path.basename(self.setup_xlsm_path))
+            self.teardown_xlsm_path = os.path.join(space, os.path.basename(self.teardown_xlsm_path))
+            self.related_file_paths = [os.path.join(space, os.path.basename(p)) for p in self.related_file_paths]
 
         # main プロセスの場合は絶対パスを参照する
         except ValueError:
-            self.input_xlsm_path = Path(os.path.abspath(input_xlsm_path)).resolve()
-            if output_xlsm_path is None:
-                self.output_xlsm_path = self.input_xlsm_path
-            else:
-                self.output_xlsm_path = Path(os.path.abspath(output_xlsm_path)).resolve()
+            self.input_xlsm_path = os.path.abspath(self.input_xlsm_path)
+            self.output_xlsm_path = os.path.abspath(self.output_xlsm_path)
+            self.setup_xlsm_path = os.path.abspath(self.setup_xlsm_path)
+            self.teardown_xlsm_path = os.path.abspath(self.teardown_xlsm_path)
+            self.related_file_paths = [os.path.abspath(p) for p in self.related_file_paths]
 
         # サブプロセスでの restore のための情報保管
         kwargs = dict(
@@ -213,26 +291,109 @@ class ExcelInterface(FEMInterface):
             procedure_name=self.procedure_name,
             procedure_args=self.procedure_args,
             connect_method='new',  # subprocess で connect する際は new を強制する
+            terminate_excel_when_quit=True,  # なので終了時は破棄する
             procedure_timeout=self.procedure_timeout,
-            with_call_femtet=self._with_call_femtet,
+            setup_xlsm_path=self.setup_xlsm_path,
+            setup_procedure_name=self.setup_procedure_name,
+            setup_procedure_args=self.setup_procedure_args,
+            teardown_xlsm_path=self.teardown_xlsm_path,
+            teardown_procedure_name=self.teardown_procedure_name,
+            teardown_procedure_args=self.teardown_procedure_args,
+            related_file_paths=self.related_file_paths,
+            visible=self.visible,
+            interactive=self.interactive,
+            display_alerts=self.display_alerts,
         )
         FEMInterface.__init__(self, **kwargs)
 
     def __del__(self):
-        try:
-            _set_autosave_enabled(self._femtet_autosave_buffer)
-        finally:
-            pass
+        pass
 
     def _setup_before_parallel(self, client) -> None:
         # メインプロセスで、並列プロセスを開始する前に行う前処理
 
-        input_xlsm_path: Path = self.kwargs['input_xlsm_path']
-        output_xlsm_path: Path = self.kwargs['output_xlsm_path']
+        client.upload_file(self.input_xlsm_path, False)
+
+        if not is_same_path(self.input_xlsm_path, self.output_xlsm_path):
+            client.upload_file(self.output_xlsm_path, False)
+
+        if not is_same_path(self.input_xlsm_path, self.setup_xlsm_path):
+            client.upload_file(self.setup_xlsm_path, False)
+
+        if not is_same_path(self.input_xlsm_path, self.teardown_xlsm_path):
+            client.upload_file(self.setup_xlsm_path, False)
+
+        for path in self.related_file_paths:
+            client.upload_file(path, False)
 
-        client.upload_file(str(input_xlsm_path), False)
-        if input_xlsm_path.resolve() != output_xlsm_path.resolve():
-            client.upload_file(str(output_xlsm_path), False)
+    def _setup_after_parallel(self, *args, **kwargs):
+        """サブプロセス又はメインプロセスのサブスレッドで、最適化を開始する前の前処理"""
+
+        # kwargs で space_dir が与えられている場合、そちらを使用する
+        # メインプロセスで呼ばれることを想定
+        if 'space_dir' in kwargs.keys():
+            space = kwargs['space_dir']
+            if space is not None:
+                self.input_xlsm_path = os.path.join(space, os.path.basename(self.input_xlsm_path))
+                self.output_xlsm_path = os.path.join(space, os.path.basename(self.output_xlsm_path))
+                self.setup_xlsm_path = os.path.join(space, os.path.basename(self.setup_xlsm_path))
+                self.teardown_xlsm_path = os.path.join(space, os.path.basename(self.teardown_xlsm_path))
+                self.related_file_paths = [os.path.join(space, os.path.basename(p)) for p in self.related_file_paths]
+
+        # connect_method が auto でかつ使用中のファイルを開こうとする場合に備えて excel のファイル名を変更
+        subprocess_idx = kwargs['opt'].subprocess_idx
+
+        def proc_path(path, ignore_no_exists):
+            exclude_ext, ext = os.path.splitext(path)
+            new_path = exclude_ext + f'{subprocess_idx}' + ext
+            if os.path.exists(path):  # input と output が同じの場合など。input がないのはおかしい
+                os.rename(path, new_path)
+            elif not ignore_no_exists:
+                raise FileNotFoundError(f'{path} が見つかりません。')
+            return new_path
+
+        self.input_xlsm_path = proc_path(self.input_xlsm_path, False)
+        self.output_xlsm_path = proc_path(self.output_xlsm_path, True)
+        self.setup_xlsm_path = proc_path(self.setup_xlsm_path, True)
+        self.teardown_xlsm_path = proc_path(self.teardown_xlsm_path, True)
+
+        # スレッドが変わっているかもしれないので win32com の初期化
+        CoInitialize()
+
+        # 最適化中は femtet の autosave を無効にする
+        if self._with_femtet_autosave_setting:
+            from pyfemtet._femtet_config_util.autosave import _set_autosave_enabled, _get_autosave_enabled
+            self._femtet_autosave_buffer = _get_autosave_enabled()
+            _set_autosave_enabled(False)
+
+        # excel に繋ぐ
+        self.connect_excel(self.connect_method)
+
+        # load_objective は 1 回目に呼ばれたのが main thread なので
+        # subprocess に入った後でもう一度 load objective を行う
+        from pyfemtet.opt.optimizer import AbstractOptimizer
+        from pyfemtet.opt._femopt_core import Objective
+        opt: AbstractOptimizer = kwargs['opt']
+        obj: Objective
+        for obj_name, obj in opt.objectives.items():
+            if isinstance(obj.fun, ScapeGoatObjective):
+                opt.objectives[obj_name].fun = self.objective_from_excel
+
+        # excel の setup 関数を必要なら実行する
+        if self.setup_procedure_name is not None:
+            with lock_or_no_lock('excel_setup_procedure'):
+                try:
+                    with watch_excel_macro_error(self.excel, timeout=self.procedure_timeout, restore_book=False):
+                        self.excel.Run(
+                            f'{self.setup_procedure_name}',
+                            *self.setup_procedure_args
+                        )
+
+                    # 再計算
+                    self.excel.CalculateFull()
+
+                except com_error as e:
+                    raise RuntimeError(f'Failed to run macro {self.setup_procedure_args}. The original message is: {e}')
 
     def connect_excel(self, connect_method):
 
@@ -253,6 +414,7 @@ class ExcelInterface(FEMInterface):
         # 可視性の設定
         self.excel.Visible = self.visible
         self.excel.DisplayAlerts = self.display_alerts
+        self.excel.Interactive = self.interactive
 
         # 開く
         self.excel.Workbooks.Open(str(self.input_xlsm_path))
@@ -271,11 +433,10 @@ class ExcelInterface(FEMInterface):
         else:
             raise RuntimeError(f'Sheet {self.input_sheet_name} does not exist in the book {self.wb_input.Name}.')
 
-        if self.input_xlsm_path.resolve() == self.output_xlsm_path.resolve():
+        # 開く (output)
+        if is_same_path(self.input_xlsm_path, self.output_xlsm_path):
             self.wb_output = self.wb_input
-
         else:
-            # 開く (output)
             self.excel.Workbooks.Open(str(self.output_xlsm_path))
             for wb in self.excel.Workbooks:
                 if wb.Name == os.path.basename(self.output_xlsm_path):
@@ -292,9 +453,35 @@ class ExcelInterface(FEMInterface):
         else:
             raise RuntimeError(f'Sheet {self.output_sheet_name} does not exist in the book {self.wb_output.Name}.')
 
+        # 開く (setup)
+        if is_same_path(self.input_xlsm_path, self.setup_xlsm_path):
+            self.wb_setup = self.wb_input
+        else:
+            self.excel.Workbooks.Open(self.setup_xlsm_path)
+            for wb in self.excel.Workbooks:
+                if wb.Name == os.path.basename(self.setup_xlsm_path):
+                    self.wb_setup = wb
+                    break
+            else:
+                raise RuntimeError(f'Cannot open {self.setup_xlsm_path}')
+
+        # 開く (teardown)
+        if is_same_path(self.input_xlsm_path, self.teardown_xlsm_path):
+            self.wb_teardown = self.wb_input
+        else:
+            self.excel.Workbooks.Open(self.teardown_xlsm_path)
+            for wb in self.excel.Workbooks:
+                if wb.Name == os.path.basename(self.teardown_xlsm_path):
+                    self.wb_teardown = wb
+                    break
+            else:
+                raise RuntimeError(f'Cannot open {self.teardown_xlsm_path}')
+
         # book に参照設定を追加する
         self.add_femtet_ref_xla(self.wb_input)
         self.add_femtet_ref_xla(self.wb_output)
+        self.add_femtet_ref_xla(self.wb_setup)
+        self.add_femtet_ref_xla(self.wb_teardown)
 
     def add_femtet_ref_xla(self, wb):
 
@@ -345,38 +532,6 @@ class ExcelInterface(FEMInterface):
                 if ref.Description == 'FemtetMacro':  # FemtetMacro
                     wb.VBProject.References.Remove(ref)
 
-    def _setup_after_parallel(self, *args, **kwargs):
-        # サブプロセス又はメインプロセスのサブスレッドで、最適化を開始する前の前処理
-
-        # スレッドが変わっているかもしれないので win32com の初期化
-        CoInitialize()
-
-        # 最適化中は femtet の autosave を無効にする
-        _set_autosave_enabled(False)
-
-        # 必要なら Femtet を起動する
-        if self._with_call_femtet:
-            util.execute_femtet()
-
-            # 直後の Excel 起動に間に合わない場合があるため
-            # Femtet が Dispatch 可能になるまで捨てプロセスで待つ
-            p = _NestableSpawnProcess(target=wait_femtet)
-            p.start()
-            p.join()
-
-        # excel に繋ぐ
-        self.connect_excel(self.connect_method)
-
-        # load_objective は 1 回目に呼ばれたのが main thread なので
-        # subprocess に入った後でもう一度 load objective を行う
-        from pyfemtet.opt.optimizer import AbstractOptimizer
-        from pyfemtet.opt._femopt_core import Objective
-        opt: AbstractOptimizer = kwargs['opt']
-        obj: Objective
-        for obj_name, obj in opt.objectives.items():
-            if isinstance(obj.fun, ScapeGoatObjective):
-                opt.objectives[obj_name].fun = self.objective_from_excel
-
     def update(self, parameters: pd.DataFrame) -> None:
 
         # params を作成
@@ -407,48 +562,75 @@ class ExcelInterface(FEMInterface):
 
     def quit(self):
         if self.terminate_excel_when_quit:
+
+            already_terminated = not hasattr(self, 'excel')
+            if already_terminated:
+                return
+
             logger.info('Excel の終了処理を開始します。')
 
+            # 参照設定解除の前に終了処理を必要なら実施する
+            # excel の setup 関数を必要なら実行する
+            if self.teardown_procedure_name is not None:
+                with lock_or_no_lock('excel_setup_procedure'):
+                    try:
+                        with watch_excel_macro_error(self.excel, timeout=self.procedure_timeout, restore_book=False):
+                            self.excel.Run(
+                                f'{self.teardown_procedure_name}',
+                                *self.teardown_procedure_args
+                            )
+
+                        # 再計算
+                        self.excel.CalculateFull()
+
+                    except com_error as e:
+                        raise RuntimeError(f'Failed to run macro {self.teardown_procedure_args}. The original message is: {e}')
+
+            # 参照設定を解除する（不要な処理かも）
             self.remove_femtet_ref_xla(self.wb_input)
             self.remove_femtet_ref_xla(self.wb_output)
+            self.remove_femtet_ref_xla(self.wb_setup)
+            self.remove_femtet_ref_xla(self.wb_teardown)
 
+            # シートの COM オブジェクト変数を削除する
             del self.sh_input
             del self.sh_output
 
+            # workbook を閉じる
             with watch_excel_macro_error(self.excel, timeout=10, restore_book=False):
                 self.wb_input.Close(SaveChanges := False)
-            if self.input_xlsm_path.name != self.output_xlsm_path.name:
+
+            if not is_same_path(self.input_xlsm_path, self.output_xlsm_path):
                 with watch_excel_macro_error(self.excel, timeout=10, restore_book=False):
                     self.wb_output.Close(SaveChanges := False)
 
+            if not is_same_path(self.input_xlsm_path, self.setup_xlsm_path):
+                with watch_excel_macro_error(self.excel, timeout=10, restore_book=False):
+                    self.wb_setup.Close(SaveChanges := False)
+
+            if not is_same_path(self.input_xlsm_path, self.teardown_xlsm_path):
+                with watch_excel_macro_error(self.excel, timeout=10, restore_book=False):
+                    self.wb_teardown.Close(SaveChanges := False)
+
             del self.wb_input
             del self.wb_output
+            del self.wb_setup
+            del self.wb_teardown
+
 
+            # excel の終了
             with watch_excel_macro_error(self.excel, timeout=10, restore_book=False):
                 self.excel.Quit()
             del self.excel
 
-            gc.collect()  # ここで Excel のプロセスが残らず落ちる
+            # ここで Excel のプロセスが残らず落ちる
+            gc.collect()
 
-            if self._with_call_femtet:
-
-                # quit した後ならば femtet を終了できる
-                # excel の process の消滅を待つ
-                logger.info('Excel の終了を待っています。')
-                while self._excel_pid == _get_pid(self._excel_hwnd):
-                    sleep(1)
-
-                # TODO: 正確だが時間がかかる。選択できるようにしたほうがいいかもしれない。
-                logger.info('終了する Femtet を特定しています。')
-                femtet_pid = util.get_last_executed_femtet_process_id()
-                from multiprocessing import Process
-                p = Process(target=_terminate_femtet, args=(femtet_pid,))
-                p.start()
-                p.join()
-                logger.info('Excel-Femtet を終了しました。')
-
-        logger.info('自動保存機能の設定を元に戻しています。')
-        _set_autosave_enabled(self._femtet_autosave_buffer)
+            if self._with_femtet_autosave_setting:
+                from pyfemtet._femtet_config_util.autosave import _set_autosave_enabled
+                logger.info('自動保存機能の設定を元に戻しています。')
+                _set_autosave_enabled(self._femtet_autosave_buffer)
+                logger.info('自動保存機能の設定を元に戻しました。')
 
     # 直接アクセスしてもよいが、ユーザーに易しい名前にするためだけのプロパティ
     @property
@@ -583,5 +765,12 @@ class ScapeGoatObjective:
         return tuple()
 
 
+def is_same_path(p1, p2):
+    _p1 = os.path.abspath(p1).lower()
+    _p2 = os.path.abspath(p2).lower()
+    return _p1 == _p2
+
+
+
 if __name__ == '__main__':
     ExcelInterface(..., ...)

pyfemtet/opt/interface/_femtet.py

@@ -86,10 +86,6 @@ class FemtetInterface(FEMInterface):
             it will be None and no parametric outputs are used
             as objectives.
 
-        confirm_before_exit (bool):
-            Whether to confirm before (abnormal) termination.
-            Default is True.
-
         **kwargs: Additional arguments from inherited classes.
 
     Warning:
@@ -115,7 +111,6 @@ class FemtetInterface(FEMInterface):
             allow_without_project: bool = False,  # main でのみ True を許容したいので super() の引数にしない。
             open_result_with_gui: bool = True,
             parametric_output_indexes_use_as_objective: dict[int, str or float] = None,
-            confirm_before_exit: bool = True,
             **kwargs  # 継承されたクラスからの引数
     ):
 
@@ -145,7 +140,6 @@ class FemtetInterface(FEMInterface):
         self.parametric_output_indexes_use_as_objective = parametric_output_indexes_use_as_objective
         self._original_autosave_enabled = _get_autosave_enabled()
         _set_autosave_enabled(False)
-        self.confirm_before_exit = confirm_before_exit
 
         # dask サブプロセスのときは femprj を更新し connect_method を new にする
         try:
@@ -183,7 +177,6 @@ class FemtetInterface(FEMInterface):
             open_result_with_gui=self.open_result_with_gui,
             parametric_output_indexes_use_as_objective=self.parametric_output_indexes_use_as_objective,
             save_pdt=self.save_pdt,
-            confirm_before_exit=self.confirm_before_exit,
             **kwargs
         )
 
@@ -253,11 +246,9 @@ class FemtetInterface(FEMInterface):
             cmd = f'{sys.executable} -m win32com.client.makepy FemtetMacro'
             os.system(cmd)
             message = Msg.ERR_NO_MAKEPY
-            print('================')
-            print(message)
-            print('================')
-            if self.confirm_before_exit:
-                input('Press enter to finish...')
+            logger.error('================')
+            logger.error(message)
+            logger.error('================')
             raise RuntimeError(message)
 
         if self.Femtet is None:
@@ -541,24 +532,20 @@ class FemtetInterface(FEMInterface):
             try:
                 variable_names = self.Femtet.GetVariableNames_py()
             except AttributeError as e:
-                print('================')
+                logger.error('================')
                 logger.error(Msg.ERR_CANNOT_ACCESS_API + 'GetVariableNames_py')
                 logger.error(Msg.CERTIFY_MACRO_VERSION)
-                print('================')
-                if self.confirm_before_exit:
-                    input(Msg.ENTER_TO_QUIT)
+                logger.error('================')
                 raise e
                 
             if variable_names is not None:
                 if param_name in variable_names:
                     return self.Femtet.GetVariableValue(param_name)
             message = Msg.ERR_NO_SUCH_PARAMETER_IN_FEMTET
-            print('================')
+            logger.error('================')
             logger.error(message)
             logger.error(f'`{param_name}` not in {variable_names}')
-            print('================')
-            if self.confirm_before_exit:
-                input(Msg.ENTER_TO_QUIT)
+            logger.error('================')
             raise RuntimeError(message)
         else:
             return None

pyfemtet/opt/optimizer/_base.py

@@ -302,6 +302,7 @@ class AbstractOptimizer(ABC):
             worker_status_list,  # 他の worker の status オブジェクト
             wait_setup,  # 他の worker の status が ready になるまで待つか
             skip_reconstruct=False,  # reconstruct fem を行うかどうか
+            space_dir=None,  # 特定の space_dir を使うかどうか
     ) -> Optional[Exception]:
 
         # 自分の worker_status の取得
@@ -314,7 +315,7 @@ class AbstractOptimizer(ABC):
 
         # set_fem をはじめ、終了したらそれを示す
         self._reconstruct_fem(skip_reconstruct)
-        self.fem._setup_after_parallel(opt=self)
+        self.fem._setup_after_parallel(opt=self, space_dir=space_dir)
         self.worker_status.set(OptimizationStatus.WAIT_OTHER_WORKERS)
 
         # wait_setup or not

{pyfemtet-0.7.0.dist-info → pyfemtet-0.7.1.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyfemtet
-Version: 0.7.0
+Version: 0.7.1
 Summary: Design parameter optimization using Femtet.
 Home-page: https://github.com/pyfemtet/pyfemtet
 License: BSD-3-Clause
@@ -22,6 +22,7 @@ Requires-Dist: dash-bootstrap-components (>=1.5.0,<2.0.0)
 Requires-Dist: dask (>=2023.12.1,<2024.0.0)
 Requires-Dist: distributed (>=2023.12.1,<2024.0.0)
 Requires-Dist: femtetutils (>=1.0.0,<2.0.0)
+Requires-Dist: fire (>=0.6.0,<0.7.0)
 Requires-Dist: numpy (>=1.26.2,<2.0.0)
 Requires-Dist: openpyxl (>=3.1.2,<4.0.0)
 Requires-Dist: optuna (>=3.4.0,<5.0.0)

{pyfemtet-0.7.0.dist-info → pyfemtet-0.7.1.dist-info}/RECORD

@@ -1,4 +1,4 @@
-pyfemtet/__init__.py,sha256=P1kRuZW02tF-ekLuBqSjV_tIKKqcbfRPDdpp9C8ftUY,21
+pyfemtet/__init__.py,sha256=tUukPDbH9wVBvn9_DYqm0p_Q7TagQGM_2ZX042hSuUs,21
 pyfemtet/_femtet_config_util/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 pyfemtet/_femtet_config_util/autosave.py,sha256=dNirA9XGuFehas8_Jkj2BW9GOzMbPyhnt1WHcH_ObSU,2070
 pyfemtet/_femtet_config_util/exit.py,sha256=0BWID-tjOkmZwmgPFkcJMkWW39voccz5ARIBWvZbHaw,1877
@@ -10,7 +10,8 @@ pyfemtet/_message/locales/ja/LC_MESSAGES/messages.po,sha256=F2bJGHVMtk086pekjVwY
 pyfemtet/_message/locales/messages.pot,sha256=8Yjf462pJdEtxBLySKT34zMG5CH5uLB_8VaJQll_QsY,14493
 pyfemtet/_message/messages.py,sha256=F8ENLZKoHq5irn-Ag7rqA3aSDsTmRWDyNHvOLY76ROI,13368
 pyfemtet/_util/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-pyfemtet/_util/excel_macro_util.py,sha256=wja_yE79xXHnr8YuesDypXRXkC6mI4ZYaUU-1wunZCE,7470
+pyfemtet/_util/dask_util.py,sha256=ufgr4m8slvyWP97lWBwolysQpJ1PmAO_-OI8IlEyvU8,233
+pyfemtet/_util/excel_macro_util.py,sha256=cF1Z3yl9FMM0J7dpMRTsle8uYxYcfHhQC0QffnVovdY,7944
 pyfemtet/_warning.py,sha256=TSOj8mOhuyfOUJB24LsW6GNhTA3IzIEevJw_hLKTrq8,2205
 pyfemtet/brep/__init__.py,sha256=V1IQ2s-8eWjXOVlTp2jMav9u-NBiSkmyAX1vmtHDEso,73
 pyfemtet/brep/_impl.py,sha256=Amf_wsUxUosQB3XXhErJ5RGKXBxRnaaPpavb_0Xx6Ek,404
@@ -20,23 +21,23 @@ pyfemtet/dispatch_extensions/_impl.py,sha256=yH_yeAnQ-Xi9GfjX-FQt9u3yHnrLYIteRb6
 pyfemtet/logger/__init__.py,sha256=UOJ9n_U2xwdTrp0Xgg-N6geySxNzKqTBQlXsaH0kW_w,420
 pyfemtet/logger/_impl.py,sha256=rsAd0HpmveOaLS39ucp3U2OcDhQMWjC5fnVGhbJtWVw,6375
 pyfemtet/opt/__init__.py,sha256=wRR8LbEhb5I6MUgmnCgjB6-tqHlOVxDIo7yPkq0QbBs,758
-pyfemtet/opt/_femopt.py,sha256=h3DQpwdNyPDU9jxc52DEsHaDWO1mVnA4hOT5_omXglo,37377
-pyfemtet/opt/_femopt_core.py,sha256=rKuZcv3Dn9zzaXrcXXOWLyFFpL_6yva4-29lFTWikXQ,35288
+pyfemtet/opt/_femopt.py,sha256=3mh68QrVeP3EAhy3xEaNyB97uNJYAUZvpaPv6ZRrMN4,37883
+pyfemtet/opt/_femopt_core.py,sha256=7z9xS8oQ8wW7dMoPaLL5PUizdJJIhoIM0EsvTu6LZ2Q,35416
 pyfemtet/opt/_test_utils/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 pyfemtet/opt/_test_utils/control_femtet.py,sha256=8oAl9y5V2n8Nnsgx_ebcZVzwFt1eI3swkdiKg6pg3-M,1085
 pyfemtet/opt/_test_utils/hyper_sphere.py,sha256=nQhw8EIY0DwvcTqrbKhkxiITLZifr4-nG77E-_6ggmA,700
 pyfemtet/opt/_test_utils/record_history.py,sha256=JCNJLZMCNTpJ6VT7iwEt2DIbwmsuQmgC0ClQSfcatj4,3915
 pyfemtet/opt/interface/__init__.py,sha256=P5Ij-xjB4628qdgacIXLu_WBaWCoBkAk4nEMUCAQzWs,458
 pyfemtet/opt/interface/_base.py,sha256=NVrvHVL7npgZbAQdMziA5TbTBghgi31JwrFH57edBKE,2615
-pyfemtet/opt/interface/_excel_interface.py,sha256=C9Ix1oUm2dHAHrKQPpb4gJo86iGJBcpXjXLa4c_VGSA,22853
-pyfemtet/opt/interface/_femtet.py,sha256=7FFwGJ4TFIhvjCCRIuEsJpJ-Cmo2OIO5cWKosLqcs-U,34944
+pyfemtet/opt/interface/_excel_interface.py,sha256=mdPOCeEVrozcDBGIkprb8qSiCUYN2g07gz4KJRZdWSw,32479
+pyfemtet/opt/interface/_femtet.py,sha256=REbi7-DdV0Keq-IgjDCTWHP9gjweayoORz3S04RfmkA,34443
 pyfemtet/opt/interface/_femtet_parametric.py,sha256=0pAEhHflp0wIxWBVMXI8nCC02oAyRKLinH3Y6O8bq3M,2224
 pyfemtet/opt/interface/_femtet_with_nx/__init__.py,sha256=-6W2g2FDEcKzGHmI5KAKQe-4U5jDpMj0CXuma-GZca0,83
 pyfemtet/opt/interface/_femtet_with_nx/_interface.py,sha256=oefISc6c6RPPyhPnWuzCb60tgsrzGiqoIWk1DsiKzTk,5986
 pyfemtet/opt/interface/_femtet_with_nx/update_model.py,sha256=P7VH0i_o-X9OUe6AGaLF1fACPeHNrMjcrOBCA3MMrI4,3092
 pyfemtet/opt/interface/_femtet_with_sldworks.py,sha256=qqo2P4qZN0d89uNQyohKxq-Yhdql5vC0QHg4bpy7Ky8,11011
 pyfemtet/opt/optimizer/__init__.py,sha256=Ia6viowECkG0IFXtFef0tJ4jDKsoDzJLqMJ9xLFH2LQ,543
-pyfemtet/opt/optimizer/_base.py,sha256=GsTOs3ZHLqCglYYRBk4XSJ5h1lR_W9eA2STiyQig6dM,12497
+pyfemtet/opt/optimizer/_base.py,sha256=0cramby4lHPjNt6WoSn8XFhfx54xXMYucjD0O1uYz7w,12591
 pyfemtet/opt/optimizer/_optuna/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 pyfemtet/opt/optimizer/_optuna/_botorch_patch/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 pyfemtet/opt/optimizer/_optuna/_botorch_patch/enable_nonlinear_constraint.py,sha256=b2-PP2HM46kJS4cJkBWnxnW9AS9JfeVkEjmkoKK_ziE,8949
@@ -120,8 +121,8 @@ pyfemtet/opt/visualization/result_viewer/.gitignore,sha256=ryvb4aqbbsHireHWlPQfx
 pyfemtet/opt/visualization/result_viewer/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 pyfemtet/opt/visualization/result_viewer/application.py,sha256=WcHBx_J5eNLKSaprpk9BGifwhO04oN8FiNGYTWorrXA,1691
 pyfemtet/opt/visualization/result_viewer/pages.py,sha256=laEAKHAtdshCAHxgXo-zMNg3RP6lCxfszO3XwLnF1dU,32156
-pyfemtet-0.7.0.dist-info/LICENSE,sha256=sVQBhyoglGJUu65-BP3iR6ujORI6YgEU2Qm-V4fGlOA,1485
-pyfemtet-0.7.0.dist-info/METADATA,sha256=T0IJPwww5DvoZN1Z2ucdGJhBsThjPn05lVU27zfC_go,3371
-pyfemtet-0.7.0.dist-info/WHEEL,sha256=Nq82e9rUAnEjt98J6MlVmMCZb-t9cYE2Ir1kpBmnWfs,88
-pyfemtet-0.7.0.dist-info/entry_points.txt,sha256=ZfYqRaoiPtuWqFi2_msccyrVF0LurMn-IHlYamAegZo,104
-pyfemtet-0.7.0.dist-info/RECORD,,
+pyfemtet-0.7.1.dist-info/LICENSE,sha256=sVQBhyoglGJUu65-BP3iR6ujORI6YgEU2Qm-V4fGlOA,1485
+pyfemtet-0.7.1.dist-info/METADATA,sha256=NQPiiH6Lfk_1zkuMKNVtOnegaWhJXp_hN6afJMmaWts,3408
+pyfemtet-0.7.1.dist-info/WHEEL,sha256=Nq82e9rUAnEjt98J6MlVmMCZb-t9cYE2Ir1kpBmnWfs,88
+pyfemtet-0.7.1.dist-info/entry_points.txt,sha256=ZfYqRaoiPtuWqFi2_msccyrVF0LurMn-IHlYamAegZo,104
+pyfemtet-0.7.1.dist-info/RECORD,,