开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks哪些阿里云vpc环境数据源与数据集成独享资源组网络打通案例?

DataWorks哪些阿里云vpc环境数据源与数据集成独享资源组网络打通案例?

展开
收起
真的很搞笑 2023-09-30 16:15:07 70 0
2 条回答
写回答
取消 提交回答
  • 2000元阿里云代金券免费领取,2核4G云服务器仅799元/3年,新老用户都有优惠,立即抢购>>>

    阿里云DataWorks在进行数据集成时,支持将VPC环境中的数据源与数据集成独享资源组进行网络打通,以实现安全高效的私有网络数据传输。以下是关于网络打通的一些典型场景和步骤:

    阿里云RDS数据库与DataWorks独享资源组网络打通:

    用户在VPC环境中购买了阿里云RDS实例(如MySQL 5.7版本)。
    若要实现RDS与DataWorks独享资源组的网络连通,用户需确保两者都在相同的VPC内,或者通过云企业网(CEN)将不同VPC之间打通。
    如果不在同一VPC内,可以通过配置VPN网关或高速通道等网络产品,建立VPC对VPC的连接。
    不同网络环境的连接:

    如果数据源位于经典网络中,需要将其迁移到VPC网络中,以实现与独享资源组的连通。
    对于数据源设置了访问控制如白名单的情况,需要将DataWorks使用的ECS实例或者其他服务IP地址添加到数据源的白名单中。
    配置过程:

    在DataWorks中创建数据源时,选择与独享资源组所在相同VPC内的子网,并确保网络安全组规则允许必要的数据通信。
    对于跨账号或跨地域的VPC,除了通过云企业网(CEN)外,还需要完成相应的权限授权和配置。
    总之,任何阿里云VPC环境中的数据源,只要通过合适的网络配置和安全控制手段,理论上都可以与DataWorks的独享资源组进行网络打通,进而实现数据集成。具体实施时,请参阅阿里云官方文档并遵循最新的操作指南。

    2024-04-23 14:09:32
    赞同 展开评论 打赏
  • 2000元阿里云代金券免费领取,2核4G云服务器仅799元/3年,新老用户都有优惠,立即抢购>>>

    本文以阿里云rds数据库为例(其他数据库操作类似),进行vpc网络打通:
    1.购买rds实例:此处购买的是mysql5.7版本,上海region可用区E的rds实例
    image.png

    根据需要购买相应版本、规格的rds数据库:
    image.png

    2.DataWorks侧的配置步骤:
    2.1购买上海region的独享数据集成资源组(资源组目前随机分配可用区,不需要指定):
    image.png
    image.png

    资源组规格请按需购买。
    不同规格所支持的任务并发数参见链接:
    https://help.aliyun.com/document_detail/118791.html?spm=a2c4g.11186623.6.569.24437e02vKi4wx
    3.创建完之后进行网络打通:
    3.1点开 查看信息,会出现独享数据集成资源组信息
    image.png

    之后我们将其绑定到某个工作空间;
    image.png

    3.2绑定工作空间(即该独享数据集成资源组可被该空间使用)之后进行专有网络绑定:
    点开dataworks管控台的资源组列表找到创建好的独享资源组,点击网络配置入口:
    image.png

    绑定界面上勾选rds实例的vpc信息并进行绑定:
    image.png

    以上这两个信息都需要在rds实例侧进行查看(截图如下):
    image.png

    以上步骤完成了数据集成独享资源组与数据库实例所在vpc的绑定(但是连通性还是不过的,还需要加白名单)。
    3.3 添加白名单(重要步骤)
    将独享数据集成资源组专有网络绑定界面中的交换机网段添加至rds白名单中。
    image.png

    添加到rds实例白名单配置中并保存:
    image.png

    4.查看独享集成资源组的可用区与rds实例的可用区是否一致以及专有网络中是否有默认大网段路由(如果没有大网段路由且数据集成资源组的可用区与数据库实例的可用区不一致需要做以下“添加路由”的步骤,如果一致或已经有整个vpc网段的路由以下步骤则忽略)
    4.1查看独享资源组可用区是否和rds实例可用区一致:
    在新增专有网络绑定中可查看独享资源组的具体可用区。若和rds实例可用区不一致,需添加路由规则。
    image.png

    添加路由:
    点击数据集成独享资源组的专有网络绑定入口并跳转到专有网络信息页(如下)
    image.png

    2.添加自定义路由打通不同可用区的vpc。
    image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-30 16:58:14
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    可编程网络视角的网络创新研究 立即下载
    可编程网络和SDN3.0 立即下载
    开放促进创新:构建开放网络生态 立即下载
    http://www.vxiaotou.com