围绕 transformers 构建现代 NLP 开发环境
本文将从“样本处理”，“模型开发”，“实验管理”，“工具链及可视化“ 几个角度介绍基于 tranformers 库做的重新设计，并简单聊聊个人对“软件2.0”的看法。
MaxCompute 近实时增全量处理一体化新架构和使用场景介绍
本文主要介绍基于 MaxCompute 的离线近实时一体化新架构如何来支持这些综合的业务场景，提供近实时增全量一体的数据存储和计算（Transaction Table2.0）解决方案。
官宣｜Apache Paimon 毕业成为顶级项目，数据湖步入实时新篇章！
Apache Paimon 在构建实时数据湖与流批处理技术领域取得了重大突破，数据湖步入实时新篇章！
基于阿里云PAI平台搭建知识库检索增强的大模型对话系统
基于原始的阿里云计算平台产技文档，搭建一套基于大模型检索增强答疑机器人。本方案已在阿里云线上多个场景落地，将覆盖阿里云官方答疑群聊、研发答疑机器人、钉钉技术服务助手等。线上工单拦截率提升10+%，答疑采纳率70+%，显著提升答疑效率。
阿里云 MaxCompute MaxFrame 开启免费邀测，统一 Python 开发生态
阿里云 MaxCompute MaxFrame 正式开启邀测，统一 Python 开发生态，打破大数据及 AI 开发使用边界。
阿里通义千问大语言模型在人工智能教育领域的应用探索
阿里通义千问，阿里集团的大型预训练语言模型，应用于AI教育，实现个性化教学、自适应学习系统和智能答疑。通过AIGC，它生成个性化内容，适应不同学生需求，优化教育资源配置，推动教育创新。在教育场景中，模型提供实时反馈，定制学习路径，促进教学质量提升。随着技术进步，AI在教育领域的应用将更加深入，但也需关注伦理与安全。
flink cdc 同步问题之报错org.apache.flink.util.SerializedThrowable:如何解决
Flink CDC（Change Data Capture）是一个基于Apache Flink的实时数据变更捕获库，用于实现数据库的实时同步和变更流的处理；在本汇总中，我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答，目的是辅助用户更好地理解和应用这一技术，优化实时数据处理流程。
官宣｜Apache Flink 1.19 发布公告
Apache Flink PMC（项目管理委员）很高兴地宣布发布 Apache Flink 1.19.0。
PAI-EAS 一键启动ComfyUI！SVD 图片一键生成视频 stable video diffusion 教程 SVD工作流
PAI-EAS 一键启动ComfyUI！SVD 图片一键生成视频 stable video diffusion 教程 SVD工作流
Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架
Flink CDC 于 2023 年 12 月 7 日重磅推出了其全新的 3.0 版本 ~
官宣｜阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
本文整理自阿里云开源大数据平台徐榜江 (雪尽)，关于阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会。
基于OceanBase+Flink CDC，云粒智慧实时数仓演进之路
本文讲述了其数据中台在传统数仓技术框架下做的一系列努力后，跨进 FlinkCDC 结合 OceanBase 的实时数仓演进过程。
阿里云实时计算Flink的产品化思考与实践【下】
本文整理自阿里云高级产品专家黄鹏程和阿里云技术专家陈婧敏在 FFA 2023 平台建设专场中的分享。
Python与NoSQL数据库（MongoDB、Redis等）面试问答
【4月更文挑战第16天】本文探讨了Python与NoSQL数据库（如MongoDB、Redis）在面试中的常见问题，包括连接与操作数据库、错误处理、高级特性和缓存策略。重点介绍了使用`pymongo`和`redis`库进行CRUD操作、异常捕获以及数据一致性管理。通过理解这些问题、易错点及避免策略，并结合代码示例，开发者能在面试中展现其技术实力和实践经验。
人工智能平台PAI产品使用合集之如何通过通用文本标记解决方案文档与PAI机器学习平台一起使用
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
活动预告?|?5月16日?Streaming?Lakehouse?Meetup?·?Online?与你相约！
5月16日?Streaming?Lakehouse?Meetup?·?Online?与你相约！
人工智能平台PAI产品使用合集之机器学习PAI EasyRec训练时，怎么去除没有意义的辅助任务的模型，用于部署
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云
一，背景与概述? ? 复杂系统的灾难恢复是个难题，具有海量数据及复杂业务场景的大数据容灾是个大难题。? ? MaxCompute是集团内重要数据平台，是自主研发的大数据解决方案，其规模和稳定性在业界都是领先的。
人工智能平台PAI产品使用合集之SaveV3模块的用法不知道如何解决
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
人工智能平台PAI产品使用合集之机器学习PAI EasyRec中的eval_config的使用方法是什么
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
一键生成视频，用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流
本教程将带领大家免费领取阿里云PAI-EAS的免费试用资源，并且带领大家在 ComfyUI 环境下使用 SVD的模型，根据任何图片生成一个小短视频。
CVPR 2023 | 主干网络FasterNet 核心解读 代码分析
本文分享来自CVPR 2023的论文，提出了一种快速的主干网络，名为FasterNet。核心算子是PConv，partial convolution，部分卷积，通过减少冗余计算和内存访问来更有效地提取空间特征。
人工智能平台PAI产品使用合集之机器学习PAI的学习方法不知道如何解决
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
人工智能平台PAI产品使用合集之PAI机器学习预置处理器在部署完成后怎么进行调用
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
人工智能平台PAI产品使用合集之如何配置DSSM模型负采样item表的schema
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
Flink CDC产品常见问题之读分布式mysql报连接超时如何解决
Flink CDC（Change Data Capture）是一个基于Apache Flink的实时数据变更捕获库，用于实现数据库的实时同步和变更流的处理；在本汇总中，我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答，目的是辅助用户更好地理解和应用这一技术，优化实时数据处理流程。
人工智能平台PAI产品使用合集之机器学习PAI中怎么拉到maven仓库的包
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
大语言模型量化方法对比：GPTQ、GGUF、AWQ
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。
什么是HTTP代理？HTTP代理的作用？HTTP代理怎么设置？
HTTP代理是一种充当客户端和服务器之间的中间人的服务器。当客户端发起请求时，HTTP代理会拦截请求并将其转发给目标服务器。一旦目标服务器响应，HTTP代理会拦截响应并将其转发回客户端。HTTP代理可以被用于多种场景，例如加强安全、缓存内容以加速访问、访问受限资源等等。在这篇文章中，我们将会讨论HTTP代理的作用、类型以及如何设置它。
AIGC创作活动 | 跟着UP主秋葉一起部署AI视频生成应用！
本次AI创作活动由 B 站知名 AI Up 主“秋葉aaaki”带您学习在阿里云 模型在线服务（PAI-EAS）中零代码、一键部署基于ComfyUI和Stable Video Diffusion模型的AI视频生成Web应用，快速实现文本生成视频的AI生成解决方案，帮助您完成社交平台短视频内容生成、动画制作等任务。制作上传专属GIF视频，即有机会赢取乐歌M2S台式升降桌、天猫精灵、定制保温杯等好礼！
人工智能平台PAI产品使用合集之负采样版本DSSM双塔模型训练好之后，怎么分别获取user tower的embedding和item tower的embedding
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
Flink DataStream API 批处理能力演进之路
本文由阿里云 Flink 团队郭伟杰老师撰写，旨在向 Flink Batch 社区用户介绍 Flink DataStream API 批处理能力的演进之路。
通义千问Qwen-72B-Chat大模型在PAI平台的微调实践
本文将以Qwen-72B-Chat为例，介绍如何在PAI平台的快速开始PAI-QuickStart和交互式建模工具PAI-DSW中高效微调千问大模型。
ZooKeeper分布式协调服务详解：面试经验与必备知识点解析
【4月更文挑战第9天】本文深入剖析ZooKeeper分布式协调服务原理，涵盖核心概念如Server、Client、ZNode、ACL、Watcher，以及ZAB协议在一致性、会话管理、Leader选举中的作用。讨论ZooKeeper数据模型、操作、会话管理、集群部署与管理、性能调优和监控。同时，文章探讨了ZooKeeper在分布式锁、队列、服务注册与发现等场景的应用，并在面试方面分析了与其它服务的区别、实战挑战及解决方案。附带Java客户端实现分布式锁的代码示例，助力提升面试表现。
LLM系列 | 19: ChatGPT应用框架LangChain实践速成
本文以实践的方式将OpenAI接口、ChatOpenAI接口、Prompt模板、Chain、Agent、Memory这几个LangChain核心模块串起来，从而希望能够让小伙伴们快速地了解LangChain的使用。
LLM 系列 | 18：如何基于LangChain打造联网版ChatGPT？
今天这篇小作文是LangChain实践专题的第2篇，简单介绍LangChain的用途及如何利用LangChain将ChatGPT和搜索引擎(Google)结合起来，从而实现一个极简的联网版ChatGPT。
Flink CDC产品常见问题之sql运行中查看日志任务失败如何解决
Flink CDC（Change Data Capture）是一个基于Apache Flink的实时数据变更捕获库，用于实现数据库的实时同步和变更流的处理；在本汇总中，我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答，目的是辅助用户更好地理解和应用这一技术，优化实时数据处理流程。
使用PAI-DSW生成节日主题AI写真
EasyPhoto 是一个Webui UI插件，用于生成AI肖像画。基于StableDiffusion + 人物定制Lora + ControlNet 的方式实现，支持低代码操作、自定义风格，内置丰富模版，让更多开发者可以灵活地开发自己的风格化的艺术照生成。 本教程基于阿里云人工智能平台PAI，低代码高效率启动EasyPhoto，实现节日氛围美图的快速生成。
通义千问开源模型在PAI灵骏的最佳实践
本文将展示如何基于阿里云PAI灵骏智算服务，在通义千问开源模型之上进行高效分布式继续预训练、指令微调、模型离线推理验证以及在线服务部署。
AI大模型运维开发探索第三篇：深入浅出运维智能体
大模型出现伊始，我们就在SREWorks开源社区征集相关的实验案例。玦离同学提供了面向大数据HDFS集群的智能体案例，非常好地完成了运维诊断的目标。于是基于这一系列的实验和探索。本文详细介绍智能体在运维诊断中的应用探索。
常用的有限元网格生成方法
本文介绍了三种常见的有限元网格生成方法：映射法、四（八）叉树法和Delaunay三角化法。映射法通过坐标变换将物理域映射到规则参数域，适合生成结构化和非结构化网格，但处理复杂区域时较困难。四（八）叉树法基于栅格，通过递归细分逼近边界，适用于非结构化网格，但内部和边界网格的相容剖分较复杂。Delaunay三角化法通过保证外接圆特性生成高质量网格，适用于凸区域，但在凹区域需进行边界恢复。前沿推进法则从边界开始逐步向内生成网格，边界质量好，但数据结构设计和推进规则制定有一定挑战。这些方法各有优缺点，常结合使用以优化网格剖分。
Apache Hadoop入门指南：搭建分布式大数据处理平台
【4月更文挑战第6天】本文介绍了Apache Hadoop在大数据处理中的关键作用，并引导初学者了解Hadoop的基本概念、核心组件（HDFS、YARN、MapReduce）及如何搭建分布式环境。通过配置Hadoop、格式化HDFS、启动服务和验证环境，学习者可掌握基本操作。此外，文章还提及了开发MapReduce程序、学习Hadoop生态系统和性能调优的重要性，旨在为读者提供Hadoop入门指导，助其踏入大数据处理的旅程。
"使用PAI实现涂鸦变大作"AIGC活动重磅来袭！
使用PAI-DSW搭建Stable Diffusion XL Turbo完成AI画画功能，轻松实现随手涂鸦变精美画作，人人都可当AI画家！诚邀AIGCer参与挑战，沉浸式体验云上绘画AIGC创新之旅。制作上传专属美画，即有机会抽取Powerbeats Pro、台式升降桌等七重奖品！
大数据与机器学习
大数据领域前沿技术分享与交流，这里不止有技术干货、学习心得、企业实践、社区活动，还有未来。
