机器学习PAI easy rec导出的模型执行tf.graph进行部署优化。大佬们，有研究过的吗？
机器学习PAI easy rec导出的模型执行tf.graph_util.convert_variables_to_constants、optimize_for_inference_lib.optimize_for_inference进行部署优化。大佬们，有研究过的吗？
import tensorflow as tf
model = tf.saved_model.load(
'/data_path/model_esmm_describecargo_v2/m1/1688940978/',
)
写回答
-
2000元阿里云代金券免费领取，2核4G云服务器仅799元/3年，新老用户都有优惠，立即抢购>>>
在进行模型部署优化时，确实可以使用
tf.graph_util.convert_variables_to_constants和optimize_for_inference_lib.optimize_for_inference等 TensorFlow 提供的工具和函数。这些工具可以帮助你优化模型以提高推理速度、减少模型大小等。下面是一个简单的示例代码，展示了如何使用这些工具来对模型进行部署优化：
import tensorflow as tf from tensorflow.python.framework import graph_util from tensorflow.python.tools import optimize_for_inference_lib # 加载模型 model = tf.saved_model.load('/data_path/model_esmm_describecargo_v2/m1/1688940978/') # 将变量转换为常量 def convert_variables_to_constants(sess, input_graph_def, output_node_names): frozen_graph_def = graph_util.convert_variables_to_constants( sess, input_graph_def, output_node_names.split(",") ) return frozen_graph_def # 进行推理优化 def optimize_for_inference(frozen_graph_def, input_node_names, output_node_names): optimized_graph_def = optimize_for_inference_lib.optimize_for_inference( frozen_graph_def, input_node_names.split(","), output_node_names.split(","), tf.float32.as_datatype_enum ) return optimized_graph_def # 获取计算图的定义 graph_def = model.signatures['serving_default'].graph.as_graph_def() # 将变量转换为常量 frozen_graph_def = convert_variables_to_constants(model, graph_def, "output_node_names") # 进行推理优化 optimized_graph_def = optimize_for_inference(frozen_graph_def, "input_node_names", "output_node_names") # 保存部署优化后的模型 with tf.io.gfile.GFile('/data_path/exported_model_optimized.pb', 'wb') as f: f.write(optimized_graph_def.SerializeToString())需要注意的是，您需要将代码中的
input_node_names和output_node_names替换为您实际模型中的输入节点和输出节点的名称。这段代码加载了模型，然后使用
convert_variables_to_constants函数将变量转换为常量，最后使用optimize_for_inference函数对模型进行推理优化。优化后的模型可以通过SerializeToString()方法序列化，并保存到文件中。2023-07-31 17:38:24赞同 展开评论 打赏 -
2000元阿里云代金券免费领取，2核4G云服务器仅799元/3年，新老用户都有优惠，立即抢购>>>
在tf2中，model = tf.saved_model.load(saved_model_path) 可以直接load saved model ；不需要frozen graph，此回答整理自钉群“【EasyRec】推荐算法交流群”
2023-07-16 19:06:35赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
