运维场景下的实时计算应用
案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 运维场景主要有下面几个需求： 整体系统运行指标计算与可视化，可参考：数据仓库介绍与实时数仓案例 问题排查与全链路DEBUG，可参考：【阿里内部应用】基于Blink构建搜索全链路debug系统快速定位搜索问题、【阿里内部应用】基于Bli.
E-MapReduce集群中HDFS服务集成Kerberos
本文介绍在E-MapReduce集群中HDFS服务集成Kerberos。
时序数据库场景下的Elasticsearch（一）：技术特点简介
本文介绍了时间序列数据的特点和主流的技术分类，以及Elasticsearch在时序数据库场景下的技术特点。
PAI实现的深度学习网络可视化编辑功能-FastNeuralNetwork
在深度学习领域流传着这样一句话，“一张好的表示图，胜过一千个公式” 本文会介绍如何通过PAI-DSW中的FastNerualNetwork功能实现深度学习网络的可视化编辑。 神经网络最早诞生于生物领域，用来模仿生物大脑复杂的神经元构成，后来人类为了探索大脑是如何思考，通过一层一层的数学公式来模拟大脑分析事物的过程。
MaxCompute Studio使用心得系列6——一个工具完成整个Python UDF开发
2017/12/20 北京云栖大会上阿里云MaxCompute发布了最新的功能Python UDF，万众期待的功能终于支持啦，我怎么能不一试为快，今天就分享如何通过Studio进行Python udf开发。
istio网络转发分析
通过demo分析istio的网络转发流程，从而对istio实现原理有更为直观的认识。本文先介绍了涉及到的相关概念和背景知识，然后对具体应用进行分析。背景知识概念分散，参考文章较多，敬请谅解。
阿里云MaxCompute携手华大基因打造精准医疗应用云平台，十万基因组计算成本降低至1000美金以内
摘要：华大基因股份公司总监金鑫介绍了华大基因，并浅谈了与阿里云的情缘，包括Maxcompute等方面应用案例。一起来看下吧。 ? 关于华大基因 华大基因是中国最领先的基因科技公司，华大基因为消除人类病痛、经济危机、国家灾难、濒危动物保护、缩小贫富差距等方面提供分子遗传层面的技术支持。
【对话科技】Flink技术介绍和新功能展望
2017年6月22号，由“京城学堂”和阿里巴巴集团技术发展部主办的“对话科技”系列讲座邀请到了Apache Flink项目的PMC成员，来自德国DataArtisans公司的Till Rohrmann，在北京阿里中心为关注实时计算技术的阿里同学做了一场关于Apache Flink技术发展的精彩分享。
年服务人次3300万+，网鱼网咖的大数据挑战及架构
从98年成立至今的18年中，网鱼累计签约门店已接近900家，已拥有超过830万会员，2016年网鱼网咖共服务了3300多万人次，服务范围覆盖全国100多个城市，现在网鱼网咖已走出国门，在加拿大、澳大利亚、新加坡等国家开设多家门店。
MaxCompute基础与MaxCompute SQL优化
总论：大数据计算服务 ( MaxCompute，原名 ODPS ) 是一种快速、完全托管的 TB/PB 级数据仓库解决方案 。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全 。
阿里云数加合作伙伴-袋鼠云获A轮融资，成立一年半获三轮投资超亿元
创投市场再次风起。2017年7月，袋鼠云宣布，获得来自戈壁创投主投、元璟资本跟投的A轮融资，相对于当前冷淡的投资市场，此举也再次引发了行业对大数据、云计算技术创新企业的关注。据袋鼠云CEO陈吉平（花名：拖雷）介绍，获得的资金将投入到三个方面：数据智能产品研发、高端数据智能人才的引进和培养、袋鼠云品牌打造和市场推广。
大数据分析平台产品对比之MaxCompute 篇
之前尝试使用过一些国内外的云产品，特别是大数据分析型产品，例如：亚马逊的EMR、Redshift，Google的Bigquery以及阿里云的MaxCompute。相信大多数人对亚马逊的EMR、Redshift，Google的Bigquery都比较了解。
【8.23更新--技术干货全家桶】大数据计算技术共享计划 — MaxCompute技术公开课第二季
5月底MaxCompute开启大数据计算技术共享计划，第一季，为大数据爱好者和企业客户带来了MaxCompute数据开发实战的四次主题分享，有1500多名用户线上参加了共享季直播。7月24日，MaxCompute开启第二季技术公开课，近6000名大数据爱好者和企业客户参加了第二季的5次主题直播，越来越多的大数据专家、技术牛人、爱好者参与到我们的技术共享活动中来，让我们一起玩大数据如烹小鲜吧。
MaxCompute常见问题（2019.04新版）
计量计费 购买开通 MaxCompute计费常见问题 现在公司有数据统计分析的需求，已经在用RDS数据库，还应该开通什么服务？ 从MaxCompute上下载数据，使用华东2的ECS云主机使用内网，收取流量费用吗？ MaxCompute如何将后付费转换为预付费？ MaxCompute数据存储有3.
MaxCompute 使用总结-初级篇
本文面向的读者是要使用MaxCompute sql进行一些数据查询和挖掘，或者要使用MaxCompute udf自定义函数的用户。
双11数据大屏背后的秘密：大规模流式增量计算及应用
回顾大数据技术领域大事件，最早可追溯到06年Hadoop的正式启动，而环顾四下，围绕着数据库及数据处理引擎，业内充斥着各种各样的大数据技术。在云栖社区2017在线技术峰会大数据技术峰会上，阿里云大数据计算平台架构师钱正平做了题为《大规模流式增量计算及应用》的分享，钱正平结合阿里巴巴真实的业务场景为大家分享了流式增量计算编程方面的挑战和当前的解决方案。
大规模深度学习优化技术在PAI平台中的应用及实践
工业界和学术界也先后推出了用于Deep Learning建模用途的多种开源工具和框架，这里详细解读下阿里云推出的PAI(Platform of Artificial Intelligence)。其致力于通过系统与算法协同优化的方式，来有效解决Deep Learning训练工具的使用效率问题，目前PAI集成了TensorFlow、Caffe、MXNet这三款流行的Deep Learning框架，并针对这几款框架做了定制化的性能优化支持，以求更好的解决用户建模的效率问题。
什么是PyODPS DataFrame
这篇文章解释了PyODPS DataFrame是什么，能做什么事情，以及简单介绍一下实现的原理。
MaxCompute2.0 对开源系统的支持与融合
要：在2017杭州云栖大会阿里云大数据计算服务（MaxCompute）专场上，阿里巴巴高级技术专家李睿博为大家分享了阿里云大数据计算服务MaxCompute对于开源系统的支持和融合，以及在拥抱开源和生态的时候阿里巴巴的技术团队遇到过哪些问题和挑战。
双管齐下，MaxCompute数据上云与生态
在票选最美云上大数据暨大数据技术峰会上，来自飞天一部的朋春从MaxCompute提供的离线、实时数据通道入手，延伸到DTS、Logstash、DataX等官方/开源软件，向大家介绍如何从数据库、本地文件等多种存储向MaxCompute导入数据，分享最后还介绍了如何在Python和R语言中使用MaxCompute。
MaxCompute Studio提升UDF和MapReduce开发体验
MaxCompute Studio能为用户开发MaxCompute UDF和MapReduce程序提供支持，提高开发效率。
不得不看！推荐企业使用华北2(北京)大数据产品MaxCompute的八大理由
2017年11月1日，阿里云计算宣布大数据计算服务MaxCompute北京节点正式对外开放运营，这是继杭州、青岛之外，阿里云在全球对外服务的第三个数据中心。阿里云方面表示，北京数据中心将更好地服务众多互联网公司和世界级企业总部。
odps之sql性能优化
前一段时间做了一些作业成本优化的工作，这里做下总结。 首先说明本篇中谈及的优化主要的目标是在不大幅度增加作业运行时长的条件下对作业运行成本的优化。 ## 1. odps的优化引擎并没有那么智能 odps自带的优化引擎会对sql作业做一定的优化处理，如列裁剪、分区裁剪和谓词下推。
Cuckoo Hashing的应用及性能优化
Cuckoo Hash Table 使用了两个哈希函数来解决冲突。Cuckoo查询操作的理论复杂度为最差O(1)，而Cuckoo的插入复杂度为均摊O(1)。我们引入Cuckoo是希望它在实际应用中，能够在较高的空间利用率下，仍然维持不错的查询性能。
大数据Workshop：《云数据·大计算：海量日志数据分析与应用》环境准备
本手册为阿里云MVP Meetup Workshop之《云计算·大数据：海量日志数据分析与应用》场的前提准备条件所需。
基于数加分析政府工作报告
摘要：3月5日，第十二届全国人民代表大会第五次会议在北京人民大会堂开幕，两会期间的“部长通道”是每年两会的一个亮点，李克强总理多次强调要让部长们当“第一新闻发言人”，积极回应舆论关切，给社会各界一个稳定预期。
MaxCompute（原ODPS）开发入门指南——数据开发工具篇
大家在使用大数据计算服务MaxCompute时，最头疼就是我现在已有的数据如何快速上云？我的日志数据如何采集到MaxCompute上？等等。。。具体详见《MaxCompute（原ODPS）开发入门指南——数据上云篇》。
阿里集团搜索中台TisPlus
? ? ? ? ? ? ? ? ? ? ? ??阿里集团搜索中台TisPlus 搜索中台的发展 ? ??从阿里很多技术产品的发展路径来看都遵循着技术驱动、产品驱动、数据驱动三个阶段，那阿里巴巴的搜索技术的发展也基本基于上述的发展路径。
从未停止进化的MaxCompute
2017云栖大会·杭州峰会将于10月10日-14日在杭州云栖小镇隆重举行，据相关数据显示大会多场主题分论坛门票都已经售罄。在这110余场主题分论坛中，可能备受大家最为感兴趣是人工智能、大数据的专场。大数据的热度在深圳峰会、成都峰会、上海峰会都逐一印证。
MaxCompute优化系列-如何使用`MAPJOIN` ？
MAPJOIN 当一个大表和一个或多个小表做JOIN时，最好使用MAPJOIN，性能比普通的JOIN要快很多。 另外，MAPJOIN 还能解决数据倾斜的问题。 MAPJOIN的基本原理是：在小数据量情况下，SQL会将用户指定的小表全部加载到执行JOIN操作的程序的内存中，从而加快JOIN的执行速度。
MaxCompute（原ODPS）开发入门指南——计量计费篇
近期介绍大量数据上云用户关于MaxCompute的一些问题，现就MaxCompute产品线的一些工具栈可以和大家进行交流，也欢迎大家拍砖和来扰，一起学习一起进步！也希望能够在帮助到大家！
基于MaxCompute的图计算实践分享-图加载过程
一、前言 MaxCompute?Graph 是基于飞天平台实现的面向迭代的图处理框架，为用户提供了类似于 Pregel 的编程接口。MaxCompute Graph（以下简称 Graph ）作业包含图加载和计算两个阶段： 加载，将存储在表中的数据载入到内存中，以点和边的形式存在；
从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL
SQL基础有这些操作（按照执行顺序来排列）： from join(left join, right join, inner join, outer join ,semi join) where group by select sum distinct count order by 如果我们能理解mapreduce是怎么实现这些SQL中的基本操作的，那么我们将很容易理解怎么优化SQL写法。
唱吧基于 MaxCompute 的大数据之路
在使用 MaxCompute之前，唱吧使用自建体系来存储处理各端收集来的日志数据，包括请求访问记录、埋点数据、服务器业务数据等。但随着每天处理数据量的增长，积累的历史数据越来越多，来自其他部门同事的需求越来越复杂，自建体系逐渐暴露出了能力上的短板。
手把手，教你用MaxCompute+OpenSearch搭建分布式搜索引擎
最近，经常有客户咨询如何低成本搭建高性能的海量数据搜索引擎，比如实现公众号检索、影讯检索等等。由于客户的数据在阿里云上，所以希望找到云上解决方案。笔者开始调研一些云上产品，很多人向我推荐了OpenSearch，所以花了点时间好好研究了下，用过之后发现效果不错，自带分词、云数据库同步功能，在研究过程中也发现了一些问题，分享给大家。
从数砖开源 Delta Lake 说起
Spark AI 北美峰会的第一天，坊间传闻被证实，Databrics（俗称数砖，亦称砖厂）的杀手锏 Delta 产品特性作为 Delta Lake 项目开源！会前，笔者有幸同砖厂的两位大佬李潇和连城做了个线下交流，谈到 Delta 时被告知会有相关重磅在大会上宣布，但却没想到是开源出去。
【入门指南】操作阿里云Kibana
Elastic公司的“ELK”是目前最火的日志分析三剑客，其中ElasticSearch负责日志的索引，Logstash负责日志的收集，Kibana负责日志的展示和分析。Elastic与阿里云达成了合作伙伴关系，推出“阿里云 Elasticsearch”服务，提供了开箱即用的Elasticsearch和Kibana环境。
使用Spark Streaming SQL基于时间窗口进行数据统计
流式计算一个很常见的场景是基于事件时间进行处理，常用于检测、监控、根据时间进行统计等系统中。使用Spark Streaming SQL可以很方便的对事件数据中的时间字段进行处理，本文通过讲解一个统计用户在过去5秒钟内点击网页次数的案例，介绍如何使用Spark Streaming SQL对事件时间进行操作。
大数据workshop：《云数据·大计算：海量日志数据分析与应用》之《数据分析展现：可视化报表及嵌入应用》篇
本手册为云栖大会Workshop《云计算·大数据：海量日志数据分析与应用》的《数据分析展现：可视化报表及嵌入应用》篇而准备。主要阐述如何使用Quick BI制作报表，将前面几个实验处理分析得来的数据进行有效的展现和洞察。
【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(一) 多租户(QuotaGroup)管理
转载自xingbao ? ? 各位好，这是介绍阿里云伏羲(fuxi)调度器系列文章的第一篇，今天主要介绍多租户(QuotaGroup)管理的实现 一、FuxiMaster简介 FuxiMaster和Yarn非常相似，定位于分布式系统中资源管理与分配的角色：一个典型的资源分配流程图如下所
通过可视化更好的了解你的Spark应用
图的最大价值是它会推动我们去注意到那些我们从未预料到的东西。 – John Tukey Spark 1.4中对Spark UI进行改进，更加突出可视化的效果。我们来看一下他的主要的改动，主要包含三个方面： Spark事件的时间线视图 执行的DAG图 Spark Streaming 的可视化
万元大奖邀您参与阿里云数加 MaxCompute最佳实践征文大赛
DT时代，越来越多的企业应用数据步入云端。与传统Hadoop相比，阿里云数加MaxCompute(原名ODPS)向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
利用MaxCompute内建函数及UDTF转换json格式日志数据
本文介绍了如何使用MaxCompute UDF对JSON格式的日志进行信息提取和转换。
EMR Spark Relational Cache如何支持雪花模型中的关联匹配
我们需要找到一种方式可以通过单个Relational Cache支持优化多个关联查询的方式，从而在加速用户查询的同时，减少创建和更新relational cache的代价。Record Preserve Join是支持这种优化的非常有效的方式。
企查查支撑8000万+企业数据的大数据平台技术选型与实现
企查查终端所有企业工商信息均实时同步更新，汇集了目前国内市场中的80个产业链，8000个行业，6000个市场以及8000多万家企业数据。
阿里云MaxCompute 2019-1月刊
亲爱的开发者们，，MaxCompute 2019.1月刊为您带来产品最新动态和丰富的产品技术内容，欢迎阅读。
【阿里内部应用】基于Blink为新商业调控打造实时大数据交互查询服务
基于Blink为新商业调控打造实时大数据交互查询服务 从IT到DT、从电商到新商业，阿里巴巴的每个细胞都存在大数据的DNA，如何挖掘大数据的价值成为抢占未来先机的金钥匙！传统的大数据开发主要基于离线计算平台MaxCompute（ODPS）进行天级别、小时级别的批量数据分析，但近些年随着618、99.
大数据与机器学习
大数据领域前沿技术分享与交流，这里不止有技术干货、学习心得、企业实践、社区活动，还有未来。
