pyfemtet 0.7.0__py3-none-any.whl → 0.8.0__py3-none-any.whl

pyfemtet/opt/advanced_samples/excel_ui/pyfemtet-core.py

@@ -0,0 +1,291 @@
+"""同梱する femtet-macro.xlsm から pyfemtet を呼び出す際の pyfemtet スクリプト。"""
+
+
+import os
+
+from fire import Fire
+
+
+def get_sampler_class(sampling_method):
+    if sampling_method is None:
+        # default
+        from pyfemtet.opt.optimizer import PoFBoTorchSampler
+        return PoFBoTorchSampler
+    elif sampling_method == 'QMC':
+        from optuna.samplers import QMCSampler
+        return QMCSampler
+    elif sampling_method == 'PoFBoTorch':
+        from pyfemtet.opt.optimizer import PoFBoTorchSampler
+        return PoFBoTorchSampler
+    elif sampling_method == 'Random':
+        from optuna.samplers import RandomSampler
+        return RandomSampler
+    elif sampling_method == 'NSGA2':
+        from optuna.samplers import NSGAIISampler
+        return NSGAIISampler
+    elif sampling_method == 'TPE':
+        from optuna.samplers import TPESampler
+        return TPESampler
+    elif sampling_method == 'BoTorch':
+        from optuna_integration import BoTorchSampler
+        return BoTorchSampler
+    else:
+        raise NotImplementedError(f'The method {sampling_method} is not implemented.')
+
+
+def core(
+        xlsm_path: str,
+        csv_path: str or None,
+        femprj_path: str or None,  # xlsm と同じフォルダに配置する前提。
+        model_name: str or None,
+        input_sheet_name: str,
+
+        output_sheet_name: str or None,
+        constraint_sheet_name: str or None,
+        procedure_name: str or None,  # 引数に拡張子を除く femprj ファイル名を取るように実装すること
+        setup_procedure_name: str or None,
+        teardown_procedure_name: str or None,
+
+        sampler_class: type('BaseSampler') or None,
+        sampler_kwargs: dict or None,
+
+        n_parallel: int,
+        n_trials: int or None,
+        timeout: float or None,
+        seed: int or None,
+):
+    from pathlib import Path
+    from pyfemtet.opt import FEMOpt, OptunaOptimizer
+    from pyfemtet.opt.interface._excel_interface import ExcelInterface
+
+    procedure_args = []
+    related_file_paths = []
+    if femprj_path is not None:
+        prj_name = os.path.basename(femprj_path).removesuffix('.femprj')
+        procedure_args.append(prj_name)
+        related_file_paths = [Path(femprj_path)]
+    if model_name is not None:
+        procedure_args.append(model_name)
+    if femprj_path is None and model_name is not None:
+        raise NotImplementedError
+
+    fem = ExcelInterface(
+        input_xlsm_path=xlsm_path,
+        input_sheet_name=input_sheet_name,
+        output_xlsm_path=None,
+        output_sheet_name=output_sheet_name,
+        constraint_xlsm_path=None,
+        constraint_sheet_name=constraint_sheet_name,
+        procedure_name=procedure_name,
+        procedure_args=procedure_args,
+        connect_method='new',
+        setup_procedure_name=setup_procedure_name,
+        teardown_procedure_name=teardown_procedure_name,
+        related_file_paths=related_file_paths,
+        visible=False,
+        interactive=True,
+    )
+
+    opt = OptunaOptimizer(
+        sampler_class=sampler_class,
+        sampler_kwargs=sampler_kwargs,
+    )
+
+    femopt = FEMOpt(
+        fem=fem,
+        opt=opt,
+        history_path=csv_path,
+    )
+
+    if seed is not None:
+        femopt.set_random_seed(42)
+
+    femopt.optimize(
+        n_trials=n_trials,
+        n_parallel=n_parallel,
+        timeout=timeout,
+        confirm_before_exit=True,
+    )
+
+
+def main(
+        # これらは Fire キーワード引数指定できるように None を与えているが必須
+        xlsm_path: str = None,
+        input_sheet_name: str = None,
+        n_parallel: int = 1,
+        output_sheet_name: str or None = None,
+
+        femprj_path: str or None = None,  # 指定する場合は xlsm と同じフォルダに配置する前提にすること
+        model_name: str = None,
+        csv_path: str or None = None,
+        constraint_sheet_name: str or None = None,
+        procedure_name: str or None = None,  # 引数に拡張子を除く femprj ファイル名を取るように実装すること
+        setup_procedure_name: str or None = None,
+        teardown_procedure_name: str or None = None,
+
+        algorithm: str or None = None,
+
+        n_trials: int or None = None,
+        timeout: float or None = None,
+        seed: int or None = None,
+
+        **algorithm_settings: dict,
+
+):
+    import sys
+    import inspect
+    from pyfemtet.logger import get_module_logger
+
+    # ----- Fire memo -----
+    # print(csv_path)  # 与えなければ None
+    # print(algorithm_settings)  # 与えなければ {}, 与えれば {'n_startup_trials': 10} など
+    # print(n_parallel, type(n_parallel))  # int か float に自動変換される
+    # print(timeout, type(timeout))  # int か float に自動変換される
+
+
+    # ----- check 必須 args -----
+    logger = get_module_logger('opt.script', __name__)
+
+    os.chdir(os.path.dirname(__file__))
+
+    if xlsm_path is None:
+        logger.error(f'xlsm_path を指定してください。')
+        input('終了するには Enter を押してください。')
+        sys.exit(1)
+
+    if input_sheet_name is None:
+        logger.error(f'input_sheet_name を指定してください。')
+        input('終了するには Enter を押してください。')
+        sys.exit(1)
+
+    if output_sheet_name is None:
+        logger.error(f'output_sheet_name を指定してください。')
+        input('終了するには Enter を押してください。')
+        sys.exit(1)
+
+
+    # ----- check args -----
+    logger.info(f'{os.path.basename(__file__)} は {os.path.basename(xlsm_path)} に呼び出されました.')
+
+    # xlsm_path
+    xlsm_path = os.path.abspath(xlsm_path)
+    if not os.path.exists(xlsm_path):
+        logger.error(f'{xlsm_path} が見つかりませんでした。')
+        input('終了するには Enter を押してください。')
+        sys.exit(1)
+
+    # femprj_path
+    if femprj_path is not None:
+        femprj_path = os.path.abspath(femprj_path)
+        if not os.path.exists(femprj_path):
+            logger.error(f'{femprj_path} が見つかりませんでした。')
+            input('終了するには Enter を押してください。')
+            sys.exit(1)
+
+    # model_name
+    if model_name is not None and femprj_path is None:
+        logger.error(f'model_name ({model_name}) を指定する場合は femprj_path も指定してください。')
+        input('終了するには Enter を押してください。')
+        sys.exit(1)
+
+    # n_parallel
+    try:
+        n_parallel = int(n_parallel)
+    except ValueError:
+        logger.error(f'n_parallel ({n_parallel}) は自然数にできません。')
+        input('終了するには Enter を押してください。')
+        sys.exit(1)
+
+    # csv_path
+    csv_path = os.path.abspath(csv_path) if csv_path is not None else csv_path
+
+    # n_trials
+    if n_trials is not None:
+        try:
+            n_trials = int(n_trials)
+        except ValueError:
+            logger.error(f'n_trials ({n_trials}) は自然数にできません。')
+            input('終了するには Enter を押してください。')
+            sys.exit(1)
+
+    # timeout
+    if timeout is not None:
+        try:
+            timeout = float(timeout)
+        except ValueError:
+            logger.error(f'timeout ({timeout}) は数値にできません。')
+            input('終了するには Enter を押してください。')
+            sys.exit(1)
+
+    # seed
+    if seed is not None:
+        try:
+            seed = int(seed)
+        except ValueError:
+            logger.error(f'seed ({seed}) は自然数にできません。')
+            input('終了するには Enter を押してください。')
+            sys.exit(1)
+
+    # sampler
+    try:
+        sampler_class = get_sampler_class(algorithm)
+    except NotImplementedError:
+        logger.error(f'algorithm ({algorithm}) は非対応です。')
+        input('終了するには Enter を押してください。')
+        sys.exit(1)
+
+    # sampler_kwargs
+    sampler_kwargs = algorithm_settings
+    # noinspection PyUnboundLocalVariable
+    available_sampler_kwarg_keys = inspect.signature(sampler_class).parameters.keys()
+    for given_key in sampler_kwargs.keys():
+        if given_key not in available_sampler_kwarg_keys:
+            print()
+            print(sampler_class.__doc__)
+            print()
+            logger.error(f'algorithm_setting の項目 ({given_key}) は {sampler_class.__name__} に設定できません。詳しくは上記のドキュメントをご覧ください。')
+            input('終了するには Enter を押してください。')
+            sys.exit(1)
+
+    logger.info('引数の整合性チェックが終了しました。最適化を実行します。しばらくお待ちください...')
+
+    core(
+        xlsm_path,
+        csv_path,
+        femprj_path,  # xlsm と同じフォルダに配置する前提。
+        model_name,
+        input_sheet_name,
+
+        output_sheet_name,
+        constraint_sheet_name,
+        procedure_name,  # 引数に拡張子を除く femprj ファイル名を取るように実装すること
+        setup_procedure_name,
+        teardown_procedure_name,
+
+        sampler_class,
+        sampler_kwargs,
+
+        n_parallel,
+        n_trials,
+        timeout,
+        seed,
+    )
+
+
+if __name__ == '__main__':
+    Fire(main)
+
+    # ===== Debug Code =====
+    # import os
+    # os.chdir(os.path.dirname(__file__))
+    # main(
+    #     xlsm_path='インターフェース.xlsm',
+    #     input_sheet_name='設計変数',
+    #     n_parallel=1,
+    #     output_sheet_name='目的関数',
+    #     constraint_sheet_name='拘束関数',
+    #     procedure_name='FemtetMacro.FemtetMain',
+    #     setup_procedure_name='setup',
+    #     teardown_procedure_name='teardown',
+    #     n_trials=3,
+    # )

pyfemtet/opt/advanced_samples/excel_ui/test-pyfemtet-core.cmd

@@ -0,0 +1,22 @@
+cd %~dp0
+rem poetry run python pyfemtet-core.py --help
+rem poetry run python pyfemtet-core.py "xlsm" "femprj" "input_sheet" 3
+rem poetry run python pyfemtet-core.py "xlsm" "femprj" "input_sheet" 3 --n_startup_trials=10 --timeout=3.14
+rem poetry run python pyfemtet-core.py "xlsm" "femprj" "input_sheet" 3 --n_startup_trials=10 --timeout=5
+rem poetry run python pyfemtet-core.py "xlsm" "femprj" "input_sheet" 3.14 --n_startup_trials=10 --timeout=5
+poetry run python pyfemtet-core.py ^
+    �C���^�[�t�F�[�X.xlsm ^
+    --input_sheet_name="�݌v�ϐ�" ^
+    --output_sheet_name="�ړI�֐�" ^
+    --constraint_sheet_name="�S���֐�" ^
+
+    --n_parallel=1 ^
+    --csv_path="test.csv" ^
+    --procedure_name=FemtetMacro.FemtetMain ^
+    --setup_procedure_name=PrePostProcessing.setup ^
+    --teardown_procedure_name=PrePostProcessing.teardown ^
+
+    --algorithm=Random ^
+    --n_startup_trials=10 ^
+
+pause

pyfemtet/opt/advanced_samples/surrogate_model/gal_ex13_create_training_data.py

@@ -0,0 +1,60 @@
+import os
+from time import sleep
+
+from optuna.samplers import RandomSampler
+
+from pyfemtet.opt import FEMOpt, FemtetInterface, OptunaOptimizer
+
+
+def get_res_freq(Femtet):
+    Galileo = Femtet.Gogh.Galileo
+    Galileo.Mode = 0
+    sleep(0.01)
+    return Galileo.GetFreq().Real
+
+
+if __name__ == '__main__':
+
+    os.chdir(os.path.dirname(__file__))
+
+    # Connect to Femtet.
+    fem = FemtetInterface(
+        femprj_path='gal_ex13_parametric.femprj',
+    )
+
+    # Initialize the optimization object.
+    # However, this script is not for optimization;
+    # instead, it is for creating training data.
+    # Therefore, we will use Optuna's random sampling
+    # class to select the design variables.
+    opt = OptunaOptimizer(
+        sampler_class=RandomSampler,
+    )
+
+    # We will set up the FEMOpt object. To refer to
+    # history_path in the optimization script, we will
+    # specify a clear CSV file name.
+    femopt = FEMOpt(
+        fem=fem,
+        opt=opt,
+        history_path='training_data.csv'
+    )
+
+    # Set the design variables.
+    femopt.add_parameter('length', 0.1, 0.02, 0.2)
+    femopt.add_parameter('width', 0.01, 0.001, 0.02)
+    femopt.add_parameter('base_radius', 0.008, 0.006, 0.01)
+
+    # Set the objective function. Since this is random
+    # sampling, specifying the direction does not affect
+    # the sampling.
+    femopt.add_objective(fun=get_res_freq, name='First Resonant Frequency (Hz)')
+
+    # Create the training data.
+    # If no termination condition is specified,
+    # it will continue creating training data until
+    # manually stopped.
+    femopt.set_random_seed(42)
+    femopt.optimize(
+        # n_trials=100
+    )

pyfemtet/opt/advanced_samples/surrogate_model/gal_ex13_create_training_data_jp.py

@@ -0,0 +1,57 @@
+import os
+from time import sleep
+
+from optuna.samplers import RandomSampler
+
+from pyfemtet.opt import FEMOpt, FemtetInterface, OptunaOptimizer
+
+
+def get_res_freq(Femtet):
+    Galileo = Femtet.Gogh.Galileo
+    Galileo.Mode = 0
+    sleep(0.01)
+    return Galileo.GetFreq().Real
+
+
+if __name__ == '__main__':
+
+    os.chdir(os.path.dirname(__file__))
+
+    # Femtet との接続を行います。
+    fem = FemtetInterface(
+        femprj_path='gal_ex13_parametric.femprj',
+    )
+
+    # 最適化用オブジェクトの設定を行います。
+    # ただしこのスクリプトでは最適化ではなく
+    # 学習データ作成を行うので、 optuna の
+    # ランダムサンプリングクラスを用いて
+    # 設計変数の選定を行います。
+    opt = OptunaOptimizer(
+        sampler_class=RandomSampler,
+    )
+
+    # FEMOpt オブジェクトを設定します。
+    # 最適化スクリプトで history_path を参照するため、
+    # わかりやすい csv ファイル名を指定します。
+    femopt = FEMOpt(
+        fem=fem,
+        opt=opt,
+        history_path='training_data.csv'
+    )
+
+    # 設計変数を設定します。
+    femopt.add_parameter('length', 0.1, 0.02, 0.2)
+    femopt.add_parameter('width', 0.01, 0.001, 0.02)
+    femopt.add_parameter('base_radius', 0.008, 0.006, 0.01)
+    # 目的関数を設定します。ランダムサンプリングなので
+    # direction は指定してもサンプリングに影響しません。
+    femopt.add_objective(fun=get_res_freq, name='第一共振周波数(Hz)')
+
+    # 学習データ作成を行います。
+    # 終了条件を指定しない場合、手動で停止するまで
+    # 学習データ作成を続けます。
+    femopt.set_random_seed(42)
+    femopt.optimize(
+        # n_trials=100
+    )

pyfemtet/opt/advanced_samples/surrogate_model/gal_ex13_optimize_with_surrogate.py

@@ -0,0 +1,100 @@
+import os
+
+from optuna.samplers import TPESampler
+
+from pyfemtet.opt import FEMOpt, OptunaOptimizer
+from pyfemtet.opt.interface import PoFBoTorchInterface
+
+
+def main(target):
+
+    os.chdir(os.path.dirname(__file__))
+
+    # Instead of connecting with Femtet, create
+    # a surrogate model. Read the CSV file created
+    # by the training data creation script to build
+    # the surrogate model.
+    fem = PoFBoTorchInterface(
+        history_path='training_data.csv'
+    )
+
+    # Set up the optimization object.
+    opt = OptunaOptimizer(
+        sampler_class=TPESampler,
+    )
+
+    # Set up the FEMOpt object.
+    femopt = FEMOpt(
+        fem=fem,
+        opt=opt,
+        history_path=f'optimized_result_target_{target}.csv'
+    )
+
+    # Set up the design variables.
+    # The upper and lower limits can differ from
+    # those in the training data creation script,
+    # but please note that extrapolation will
+    # occur outside the range that has not been
+    # trained, which may reduce the prediction
+    # accuracy of the surrogate model.
+    femopt.add_parameter('length', 0.1, 0.02, 0.2)
+    femopt.add_parameter('width', 0.01, 0.001, 0.02)
+
+    # If there are parameters that were set as
+    # design variables during training and wanted
+    # to fix during optimization, specify only the
+    # `initial_value` and set the `fix` argument True.
+    # You cannot add design variables that were not
+    # set during training for optimization.
+    femopt.add_parameter('base_radius', 0.008, fix=True)
+
+    # Specify the objective functions set during
+    # training that you want to optimize.
+    # You may provide the fun argument, but it will
+    # be overwritten during surrogate model creation,
+    # so it will be ignored.
+    # You cannot use objective functions that were
+    # not set during training for optimization.
+    obj_name = 'First Resonant Frequency (Hz)'
+    femopt.add_objective(
+        name=obj_name,
+        direction=target,
+    )
+
+    # Execute the optimization.
+    femopt.set_random_seed(42)
+    df = femopt.optimize(
+        n_trials=50,
+        confirm_before_exit=False
+    )
+
+    # Display the optimal solution.
+    prm_names = femopt.history.prm_names
+    obj_names = femopt.history.obj_names
+    prm_values = df[df['non_domi'] == True][prm_names].values[0]
+    obj_values = df[df['non_domi'] == True][obj_names].values[0]
+
+    message = f'''
+===== Optimization Results =====
+Target Value: {target}
+Prediction by Surrogate Model:
+'''
+    for name, value in zip(prm_names, prm_values):
+        message += f'  {name}: {value}\n'
+    for name, value in zip(obj_names, obj_values):
+        message += f'  {name}: {value}\n'
+
+    return message
+
+
+if __name__ == '__main__':
+    # Using the surrogate model created from the training data,
+    # we will find a design that results in a resonant frequency of 1000.
+    message_1000 = main(target=1000)
+
+    # Next, using the same surrogate model,
+    # we will find a design that results in a resonant frequency of 2000.
+    message_2000 = main(target=2000)
+
+    print(message_1000)
+    print(message_2000)

pyfemtet/opt/advanced_samples/surrogate_model/gal_ex13_optimize_with_surrogate_jp.py

@@ -0,0 +1,90 @@
+import os
+
+from optuna.samplers import TPESampler
+
+from pyfemtet.opt import FEMOpt, OptunaOptimizer
+from pyfemtet.opt.interface import PoFBoTorchInterface
+
+
+def main(target):
+
+    os.chdir(os.path.dirname(__file__))
+
+    # Femtet との接続の代わりに、サロゲートモデルを作成します。
+    # 学習データ作成スクリプトで作成した csv ファイルを読み込んで
+    # サロゲートモデルを作成します。
+    fem = PoFBoTorchInterface(
+        history_path='training_data.csv'
+    )
+
+    # 最適化用オブジェクトの設定を行います。
+    opt = OptunaOptimizer(
+        sampler_class=TPESampler,
+    )
+
+    # FEMOpt オブジェクトの設定を行います。
+    femopt = FEMOpt(
+        fem=fem,
+        opt=opt,
+        history_path=f'optimized_result_target_{target}.csv'
+    )
+
+    # 設計変数の設定を行います。
+    # 上下限は学習データ作成スクリプトと異なっても良いですが、
+    # 学習していない範囲は外挿となりサロゲートモデルによる
+    # 予測精度が低下することに注意してください。
+    femopt.add_parameter('length', 0.1, 0.02, 0.2)
+    femopt.add_parameter('width', 0.01, 0.001, 0.02)
+
+    # 学習時は設計変数としていたが最適化時に固定したいパラメータがある場合
+    # initial_value のみを指定して fix 引数を True にしてください。
+    # 学習時に設定しなかった設計変数を最適化時に追加することはできません。
+    femopt.add_parameter('base_radius', 0.008, fix=True)
+
+    # 学習時に設定した目的関数のうち
+    # 最適化したいものを指定します。
+    # fun 引数は与えてもいいですが、サロゲートモデル作成時に上書きされるため無視されます。
+    # 学習時に設定しなかった目的関数を最適化時に使用することはできません。
+    obj_name = '第一共振周波数(Hz)'
+    femopt.add_objective(
+        name=obj_name,
+        direction=target,
+    )
+
+    # 最適化を実行します。
+    femopt.set_random_seed(42)
+    df = femopt.optimize(
+        n_trials=50,
+        confirm_before_exit=False
+    )
+
+    # 最適解を表示します。
+    prm_names = femopt.history.prm_names
+    obj_names = femopt.history.obj_names
+    prm_values = df[df['non_domi'] == True][prm_names].values[0]
+    obj_values = df[df['non_domi'] == True][obj_names].values[0]
+
+    message = f'''
+===== 最適化結果 =====    
+ターゲット値: {target}
+サロゲートモデルによる予測:
+'''
+    for name, value in zip(prm_names, prm_values):
+        message += f'  {name}: {value}\n'
+    for name, value in zip(obj_names, obj_values):
+        message += f'  {name}: {value}\n'
+
+    return message
+
+
+if __name__ == '__main__':
+    # 学習データから作成したサロゲートモデルで
+    # 共振周波数が 1000 になる設計を見つけます。
+    message_1000 = main(target=1000)
+
+    # 続いて、同じサロゲートモデルで
+    # 共振周波数が 2000 になる設計を見つけます。
+    message_2000 = main(target=2000)
+
+    print(message_1000)
+    print(message_2000)

pyfemtet/opt/interface/__init__.py

@@ -3,6 +3,7 @@ from pyfemtet.opt.interface._base import NoFEM
 from pyfemtet.opt.interface._femtet import FemtetInterface
 from pyfemtet.opt.interface._femtet_with_sldworks import FemtetWithSolidworksInterface
 from pyfemtet.opt.interface._femtet_with_nx import FemtetWithNXInterface
+from pyfemtet.opt.interface._surrogate import PoFBoTorchInterface
 
 
 __all__ = [
@@ -11,4 +12,5 @@ __all__ = [
     'FemtetInterface',
     'FemtetWithNXInterface',
     'FemtetWithSolidworksInterface',
+    'PoFBoTorchInterface',
 ]

pyfemtet/opt/interface/_base.py

@@ -55,6 +55,9 @@ class FEMInterface(ABC):
     def load_objective(self, opt) -> None:  # opt: AbstractOptimizer
         raise NotImplementedError()
 
+    def load_constraint(self, opt) -> None:  # opt: AbstractOptimizer
+        raise NotImplementedError()
+
     def _setup_before_parallel(self, client) -> None:
         """Preprocessing before launching a dask worker (if implemented in concrete class).