请问机器学习PAI有些op的维度切分后，有没有考虑子图的计算量？
请问机器学习PAI有些op的维度切分后，比如conv的H，会有overlap 计算和搬运，请问cost函数除了考虑通信代价外，有没有考虑子图的计算量？
写回答
-
公众号：网络技术联盟站，InfoQ签约作者，阿里云社区签约作者，华为云 云享专家，BOSS直聘 创作王者，腾讯课堂创作领航员，博客+论坛：https://www.wljslmz.cn，工程师导航：https://www.wljslmz.com2000元阿里云代金券免费领取，2核4G云服务器仅799元/3年，新老用户都有优惠，立即抢购>>>
在阿里云机器学习PAI中，对于一些维度切分的操作，例如卷积操作的H维度（水平维度），确实涉及计算量和通信代价两个因素的权衡。在PAI中内置了一些算法来根据数据大小和计算分布来自动优化通信代价，以实现高效的计算。其中会考虑数据切片的重叠和切片数据跨多个节点通信的情况。
但是，对于一些特殊的操作和模型，PAI可能需要用户手动指定切分方案，以便更好地平衡这些因素。在这种情况下，用户可以自定义计算图并手动指定切分方案。
关于cost函数的设计，通常会考虑计算量和通信代价两个方面。在PAI中，通常会使用数据并行或模型并行的算法来实现分布式计算，其中会实现所需的通信和同步机制以最小化通信代价。同时，设计cost函数时会根据不同的操作和切分方案来平衡计算量和通信代价，以获得最佳性能。
PAI提供了一些内置的算法和切分方案，同时也支持用户自定义切分和计算图来实现更复杂的分布式计算任务。
2023-05-18 18:46:40赞同 展开评论 打赏 -
值得去的地方都没有捷径2000元阿里云代金券免费领取，2核4G云服务器仅799元/3年，新老用户都有优惠，立即抢购>>>
在机器学习PAI中，对于一些需要进行维度切分的操作，比如卷积操作，确实会存在一些overlap计算和搬运的问题。为了最大化利用计算资源，通常会将输入数据和模型参数划分成多个子图，并在不同的计算节点上进行计算。在这种情况下，除了考虑通信代价外，还需要考虑子图的计算量。
在机器学习PAI中，常用的cost函数包括训练时间、通信代价、计算代价等。对于包含维度切分的操作，计算代价通常会包括计算overlap部分的代价。这些代价通常在系统中会被计算和优化，以最小化总体的cost。
具体来说，在机器学习PAI中，通常会使用分布式计算框架来实现维度切分和并行计算。这些框架通常会自动将计算任务划分为多个子任务，并在不同的计算节点上进行计算。在计算过程中，系统会自动考虑子图的计算量和通信代价，并尝试最小化总体的cost。因此，对于用户来说，通常只需要关注模型的训练时间和精度等指标，而不需要过多关注底层的实现细节。
2023-05-18 16:59:45赞同 展开评论 打赏 -
2000元阿里云代金券免费领取，2核4G云服务器仅799元/3年，新老用户都有优惠，立即抢购>>>
目前在真正用的时候没有把计算量model进来，因为算子在GPU上的计算量比较难预估。--此回答整理自钉群“TePDist开源项目交流群”
2023-05-18 10:25:22赞同 展开评论 打赏 -
月移花影，暗香浮动2000元阿里云代金券免费领取，2核4G云服务器仅799元/3年，新老用户都有优惠，立即抢购>>>
机器学习PAI中的一些操作（OP）维度切分后，考虑了子图的计算量。在实际运行中，PAI会根据切分的维度和分配的计算资源，自动将计算图（graph）划分为多个子图进行并行计算，以提高计算效率。此外，PAI还支持动态调整切分维度和子图大小，以适应不同的计算负载和硬件资源。
2023-05-18 10:21:08赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
