应用
Snowflake如日中天是否代表Hadoop已死?大数据体系到底是什么?
作者 | 阿里云计算平台研究员关涛、阿里巴巴项目管理专家王璀任何一种技术都会经历从阳春白雪到下里巴人的过程,就像我们对计算机的理解从“戴着鞋套才能进的机房”变成了随处可见的智能手机。在前面20年中,大数据技术也经历了这样的过程,从曾经高高在上的 “火箭科技(rocket science)”,成为了人人普惠的技术。回首来看,大数据发展初期涌现了非常多开源和自研系统,并在同一个领域展开了相当长的一段“红海”竞争期,例如Yarn VS Mesos、Hive VS Spark、Flink VS SparkStreaming
干货速递,百度BML自动超参搜索技术原理揭秘与实战攻略!
在人工智能领域,算法工程师在训练神经网络模型的过程中,完成网络构建和准备好训练数据后,往往需要对模型进行各种参数优化,以获得更好的模型效果。但调参其实并不简单,背后往往是通宵达旦的参数调试与效果验证,并需要做大量的实验,不仅耗时也耗费大量算力。这个时候,往往想尝试自动超参搜索,但又开始担心算力要求所带来的额外训练成本。莫慌!百度全功能AI开发平台BML带着免费算力额度与自动超参搜索能力来了!先来介绍百度最近全新升级的BML,何方神圣?全功能AI开发平台BML(Baidu Machine Learning) ,是为企
AAAI 2021论文:利用深度元学习对城市销量进行预测
对于线上和线下的零售行业,销量预测都是一项至关重要的任务,它可以帮助企业更好的预备库存以及在各个仓库之间分配商品。特别是在大型购物节期间,强劲的促销活动将极大地促进消费。然而,可供参考的历史数据却非常稀缺。如何同时对城市的不同区域和不同时间段的销量进行预测,是一个非常具有挑战的问题。在2020年12月收录的AAAI 2021(CCF-A类)上,京东城市被收录了一篇名为《Robust Spatio-Temporal Purchase Prediction via Deep Meta Learning》的论文。该论文研
数仓架构的持续演进与发展 — 云原生、湖仓一体、离线实时一体、SaaS模式
数据仓库概念从1990年提出,经过了四个主要阶段。从最初的数据库演进到数据仓库,到MPP架构,到大数据时代的数据仓库,再到今天的云原生的数据仓库。在不断的演进过程中,数据仓库面临着不同的挑战。
Spark 大数据处理最佳实践
开源大数据社区 & 阿里云 EMR 系列直播 第十一期主题:Spark 大数据处理最佳实践讲师:简锋,阿里云 EMR 数据开发平台 负责人内容框架:大数据概览如何摆脱技术小白Spark SQL 学习框架EMR Studio 上的大数据最佳实践直播回放:扫描文章底部二维码加入钉群观看回放,或进入链接、大数据概览大数据处理 ETL (Data → Data)大数据分析 BI (Data → Dashboard)机器学习 AI (Data → Model)二、如何摆脱技术小白什么是技术小白?只懂表
Hologres揭秘:深度解析高效率分布式查询引擎
Hologres(中文名交互式分析)是阿里云自研的一站式实时数仓,这个云原生系统融合了实时服务和分析大数据的场景,全面兼容PostgreSQL协议并与大数据生态无缝打通,能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。它的出现简化了业务的架构,与此同时为业务提供实时决策的能力,让大数据发挥出更大的商业价值。Hologres作为HSAP服务分析一体化的落地最佳实践,其查询引擎是一个完全自研的执行引擎,它的核心设计目标是支持所有类型的分布式分析和服务查询,并做到极致查询性能。为了做到这一点,我们借鉴了各
融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系
本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin 和 Hudi 湖仓一体的大数据生态体系以及在 T3 的相关应用场景,内容包括:
湖仓一体的架构
Flink/Hudi/Kylin 介绍与融合
T3 出行结合湖仓一体的实践
浙大校友李旻辰获SIGGRAPH 2021最佳博士论文奖,连续四年华人学者包揽此奖项
由于疫情的影响,计算机图形顶级会议ACM SIGGRAPH 2021于8月9日至15日线上举行。该大会颁发了最佳博士论文奖以及计算机图形学成就奖等奖项,其中最佳博士论文奖由UCLA博士后李旻辰摘得,这也是华人学者连续四年获得该殊荣。
经典教材《统计学习导论》第二版来了,新增深度学习等内容,免费下载
经典的《统计学习导论》又出第二版了,相比于第一版,新版增加了深度学习、生存分析、多重测试等内容,可免费下载。
B站粉丝超130万,最火最直观数学网站3b1b终于有了文字版!网友:点燃对数学的爱
学习知识有更优雅的方法。如果你无法理解高等数学、比特币、深度学习这些概念,可能有人会向你推荐 3blue1brown 的视频——这是一个专门制作可视化讲解视频的频道,其内容覆盖数学、人工智能等领域,每门课都配有直观生动的动画演示,帮助观众加深对概念定理的理解。它火到什么程度?除了 YouTube 上 380 万订阅者之外,3b1b 在 B 站上还有官方账号,粉丝数量超过 130 万,每个视频都是 10 万以上播放量,甚至有老师在课堂上播放该频道的视频。对于一个硬核教学 UP 主来说,这样的成绩几乎是无人可及了。不过
每年颁发两个图灵奖?《ACM通讯》主编发文提议推动图灵奖改革
如果真的改革,百万奖金需要打对折吗?
Deadline提前,引入滚动审稿,想投ACL 2022的同学要抓紧了
新一年的 ACL 投稿新增了滚动审稿阶段,请留意截止日期。
揭秘Hologres如何支持超高QPS在线服务(点查)场景
Hologres(中文名交互式分析)是阿里云自研的一站式实时数仓,这个云原生系统融合了实时服务和分析大数据的场景,全面兼容PostgreSQL协议并与大数据生态无缝打通,能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。它的出现简化了业务的架构,为业务提供实时决策的能力,让大数据发挥出更大的商业价值。本期将为大家揭秘Hologres如何支持超高QPS点查。传统的 OLAP 系统在业务中往往扮演着比较静态的角色,以通过分析海量的数据得到业务的洞察(比如说预计算好的视图、模型等),从这些海量数据分析到的结
钢铁之躯,人工大脑,中国机器人的十年故事
日本记者高桥大作心中惊叹,口呼神奇。一台亮白色的人形机器人正为他捶背按摩,五指灵活,对位准确。只从手上按摩这一个复杂动作,就能窥出几分造物的精妙来。高桥站起来,看着这个不到自己胸口高的机器人,不仅可以大步行走在人潮汹涌的会场,还和忍不住凑上来的观众厮杀起了中国象棋。Walker X下象棋这一幕发生在上海的2021世界人工智能大会(WAIC)的现场,会上,全球顶尖的科技和AI公司纷纷秀出了肌肉,将AI、机器人的宏伟蓝图公之于众。这台代号Walker X的机器人就是本次大会的十大“镇馆之宝”之一。一台机器人,是制造能力
案例 | 二手车智能质检:以双流分组残差网络为核心,结合计算机视觉构建智能车辆检测系统
汽车产业互联网平台大搜车针对车辆检测场景所开发的AI云检测解决方案,基于云-端交互的系统架构,以双流分组残差网络作为主干网络,结合计算机视觉技术,以专业化的智能设备代替人眼识别,以数据分析代替主观经验,在最大程度降低人为影响因素的前提下,实现毫秒级实时检测。中国二手车交易行业:二手车辆检测工作依赖人工、耗时冗长,亟待智能技术提升检测效能近年来,中国二手车消费市场规模进一步扩大,2019年中国二手车市场交易额已突破1万亿元。然而由于二手车的“非标”属性,一车一况之下,车辆检测作为二手车交易流程中必不可少的环节,直接影
中国队喜提六枚金牌,实现IMO团队三连冠:王一川拿下全场唯一满分
在 IMO 2021 的赛场上,中国队又一次实现了「全员金牌」并喜提冠军,来自华师大二附中的选手王一川更是获得了全场唯一的满分成绩。
WAIC 2021 | SynSense时识科技首席科学家 Giacomo Indiveri:低功耗人工智能计算系统中的类脑策略
在 WAIC 2021 AI 开发者论坛上,苏黎世大学与苏黎世联邦理工学院终身教授、苏黎世神经信息研究所 INI 所长、SynSense 时识科技联合创始人 & 首席科学家 Giacomo Indiveri 带来主题为《低功耗人工智能计算系统中的类脑策略》的线上主旨演讲。以下为 Giacomo Indiveri 在 WAIC 2021 AI 开发者论坛上的演讲内容,机器之心进行了不改变原意的编辑、整理:大家好,我是 Giacomo Indiveri,来自苏黎世大学及苏黎世联邦理工神经信息研究所,很高兴有机会在这里跟
Pravega Flink connector 的过去、现在和未来
本文整理自戴尔科技集团软件工程师周煜敏在 Flink Forward Asia 2020 分享的议题《Pravega Flink Connector 的过去、现在和未来》,文章内容为:Pravega 以及 Pravega connector 简介Pravega connector 的过去回顾 Flink 1.11 高阶特性心得分享未来展望 一、Pravega 以及 Pravega connector 简介Pravega 项目的名字来源于梵语,意思是 good speed。项目起源于 2016 年,基于 Apac