大数据&AI产品月刊【2024年3月】

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: 大数据&AI产品技术月刊【2024年3月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。



一、产品功能发布


【人工智能平台 PAI】新地域/新可用区-PAI 灵骏智算服务国际站(新加坡区域)正式开服

新增开通国际站新加坡地域。

 

【人工智能平台 PAI】新功能/规格 - DSW支持用户进行AI+大数据开发

帮助客户实现基于notebook的AI+大数据开发一体化体验。

 

【人工智能平台 PAI】新功能/规格 - DSW发布文件中转站功能

DSW新增文件中转站功能,提升用户大文件上传效率。


【人工智能平台 PAI】新地域/新可用区 - PAI 通用计算类型(乌兰察布区域)正式开服

PAI AI计算资源组的通用计算资源在乌兰察布正式开服,用户可以基于通用计算类型算力在PAI平台上实现开发(DSW)、训练(DLC) 等相关功能。


【云原生大数据计算服务 MaxCompute】新功能/规格 - MaxCompute分布式计算框架MaxFrame发布

MaxFrame是由阿里云自研的分布式计算框架,提升Python开发体验


【云原生大数据计算服务 MaxCompute】新功能/规格 - 镜像管理

降低用户镜像、UDF使用及环境准备的成本,提升用户的开发及使用体验。


【云原生大数据计算服务 MaxCompute】新功能/新可用区 - MaxCompute产品在华北6(乌兰察布)正式开服

MaxCompute产品新增开通华北6(乌兰察布),提供企业级Serverless智能数仓服务,可以在控制台上按需求开通。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 - 跨地域灾备邀测发布

MaxCompute提供跨地域(Region)灾备功能,以提升数据安全性。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 - 控制台发布SQL分析

MaxCompute控制台发布SQL分析方便快速体验核心SQL引擎能力。


【云原生大数据计算服务 MaxCompute】新功能/规格 - ECS资源复用版发布

在客户层面提高云上产品资源利用率,降低整体上云成本。


【实时数仓 Hologres】功能优化 - Hologres支持实例级别的SQL诊断

可通过SQL诊断对不同维度的趋势、明细、汇总分析诊断当前实例SQL情况。

 

【大数据开发治理平台 DataWorks】新功能/规格 - 支持将本地CSV或OSS文件上传至MaxCompute

提供了便捷的本地CSV、OSS数据上传功能。

 

【大数据开发治理平台 DataWorks】新功能/规格 - 数据地图新增数据开发代码搜索

数据地图新增数据开发代码搜索功能,支持跨工作空间进行全局代码检索。

 

【大数据开发治理平台 DataWorks】新功能/规格 - 数据服务新增支持实例模式的StarRocks数据源

支持面向StarRocks数据源来快速封装数据API,实现数据共享与开放。

 

【开源大数据平台 E-MapReduce】新功能/新可用区 - StarRocks 在香港和新加坡正式开服

EMR Serverless StarRocks 新增开通香港、新加坡地域,客户可以在控制台上按需求开通集群。

 

【开源大数据平台 E-MapReduce】新功能/规格 - 支持控制台代理创建并管理OSS-HDFS Bucket

在EMR控制台创建集群时,支持代理创建OSS-HDFS Bucket。


【智能开放搜索 OpenSearch】新功能/规格 - 向量检索版控制台支持增删数据

支持客户通过控制台直接增删数据,并实时查看数据状态,提升体验及接入效率。

 

【实时计算 Flink版】新功能/规格 - MongoDB连接器功能优化

表结构变更同步,MongoDB作维表。


【实时计算 Flink版】新功能/规格 - 支持MongoDB Catalog

在Flink作业开发中直接访问MongoDB集合,无需再定义Schema。

 

【实时计算 Flink版】新功能/规格 -Hologres连接器增强

Hologres连接器支持SSL、Bulk Load写入与批量去重。

 

【实时计算 Flink版】新功能/规格 -同城高可用

支持同城灾备能力,确保作业的持续性和高可用性。

 

【实时计算 Flink版】新功能/规格 -免费监控服务

云监控为您提供基础免费监控告警能力。

 

二、产品活动


跟秋葉用PAI实现AI视频生成应用

使用人工智能PAI一键部署,零代码快速部署Stable Video Diffusion模型。


三、产品快讯


【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选

阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面,此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。

 

TorchAcc:基于 TorchXLA 的分布式训练框架

阿里云研究员、阿里云人工智能平台 PAI 技术负责人-林伟在GTC 2024 大会 China AI Day 线上中文演讲专场上介绍了TorchAcc。PAI-TorchAcc是阿里云人工智能平台PAI开发的Pytorch上的大模型训练加速框架。PAI-TorchAcc提供了一套基于Pytorch的简洁、易用的接口,无需进行模型转换就可以无缝地接入HuggingFace上的模型,并用多种分布式策略进行训练加速。

 

基于 NVIDIA Megatron-Core 的 MoE LLM 实现和训练优化

阿里云资深算法专家-黄俊在GTC 2024 大会 China AI Day 线上中文演讲专场上介绍了阿里云人工智能平台 PAI 团队与 NVIDIA Megatron-Core 团队在MoE (Mixture of Experts) 大型语言模型(LLM)实现与训练优化上的创新工作。


阿里巴巴将 Flink CDC捐赠给Apache基金会,作为 Apache Flink 的子项目

2024年3月阿里巴巴正式宣布将 Flink CDC项目捐赠给Apache基金会,作为 Apache Flink 的子项目。Flink CDC简化了用户数据集成链路,目前社区 Github star 超过 5 千,用户群破万,技术也在国内外多个行业落地。

 

阿里云 EMR Serverless Spark 版免费邀测中

阿里云EMR Serverless Spark版,以Spark Native Engine为基础,旨在提供一个全托管、一站式的数据开发平台。诚邀您参与EMR Serverless Spark版免费测试,体验 100% 兼容 Spark 的Serverless 服务。

 

阿里云向量检索 Milvus 版开启公测,助力企业打造高质量 AI 服务

阿里云向量检索Milvus版是阿里云提供的Serverless Milvus全托管服务,100% 兼容开源 Milvus,提供高性能、可扩展、大规模 AI 向量数据库相似性检索服务,具备开箱即用、弹性可扩展、全链路监控告警的能力,同时提供开源 Attu 的可视化工具。诚邀广大开发者及企业用户参与公测,赋能智能检索,解锁 AI 潜能。

 

 

四、产品学习指南

【最佳实践】eBPF动手实践系列三:基于原生libbpf库的eBPF编程改进方案

为了简化 eBPF程序的开发流程,降低开发者在使用 libbpf 库时的入门难度,libbpf-bootstrap 框架应运而生,阿里云大数据运维SREWorks团队介绍了基于原生libbpf库的eBPF编程改进方案。

 

【最佳实践】AI大模型运维开发探索第三篇:深入浅出运维智能体

本文将通过HDFS集群诊断向公众展示智能体的真实场景使用,结合大量实践总结,深入浅出分析提示词(Prompt)工程框架中的问题点。其中智能体工程框架进阶思路,可为尝试大模型场景应用的企业提供可参考的经验。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1天前
|
分布式计算 Java 数据库连接
实时数仓 Hologres产品使用合集之该创建外部表maxCompute的这个服务器列表如何解决
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
17 0
|
1天前
|
人工智能 分布式计算 Cloud Native
大数据&AI产品月刊【2024年4月】
大数据&AI产品技术月刊【2024年4月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。
|
1天前
|
机器学习/深度学习 人工智能 大数据
AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀
AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀
|
1天前
|
消息中间件 人工智能 监控
|
1天前
|
机器学习/深度学习 人工智能 搜索推荐
【AI 场景】如何使用 AI 向客户推荐个性化产品?
【5月更文挑战第3天】【AI 场景】如何使用 AI 向客户推荐个性化产品?
【AI 场景】如何使用 AI 向客户推荐个性化产品?
|
1天前
|
SQL JSON 分布式计算
DataWorks产品使用合集之DataWorks一键maxcompute数据同步的操作步骤是什么
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
23 0
|
1天前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之在 DataWorks 中,使用Oracle作为数据源进行数据映射和查询,如何更改数据源为MaxCompute或其他类型
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
30 1
|
1天前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之在 MaxCompute 中,有LEAST 的内置函数如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
17 0
|
1天前
|
分布式计算 DataWorks Java
DataWorks产品使用合集之DataWorks maxcompute的自定义资源增加如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
23 0
|
1天前
|
分布式计算 DataWorks Java
DataWorks产品使用合集之DataWorks maxcompute的自定义资源增加如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
25 0
http://www.vxiaotou.com