必威体育app手机版Artificial Intelligence 人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。大数据(big data),是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。AI 研究通常需要大量数据支撑。

加载中
置顶
发表了问答
今天 17:51

高手问答第 282 期 —— 学霸带你入门强化学习

现在强化学习越来越热,作为机器学习及人工智能领域的一种重要方法,在游戏、自动驾驶、机器人路线规划等领域得到了广泛的应用。同时,强化学习对应的岗位高薪、前景广阔,吸引了许多人学习。 但是,是强化学习的学习门槛很高,光入门就特别难。如果能有学霸的帮忙,那可就能事半功倍了! OSCHINA 本期高手问答 (5 月 13日 -5 月 19日) 我们请来了 @王琦 @杨毅远 @江季 老师和大家一起探讨关于强化学习相关的问题。 可讨论的问题... 展开更多

收藏 0
置顶
发表了博客
今天 10:07

使用Colossal-AI分布式训练BERT模型

### 前言 最近几周在研究分布式训练中的模型并行技术。为了直观感受和加深记忆,阅读相关论文的同时,动手用开源的大模型训练框架Colossal-AI逐步改写出了一个数据并行+模型并行的BERT来帮助理解。在这里想介绍一下借助Colossal-AI提供的零冗余优化器、张量并行、流水线并行等技术一点点缩小BERT模型内存占用的过程。 #### 文章内容: 1. 大规模模型对分布式训练带来了什么挑战?什么是Colossal-AI? 2. 用Colossal-AI提供的分布式... 展开更多

收藏 0
0
置顶
发表了博客
05/03 08:43

OneFlow如何做静态图的算子对齐任务

撰文|李响 1 前言 深度学习框架中模型的运行方式主要有动态图和静态图两种,动态图更易用,静态图性能更具优势,OneFlow 习惯将它们称为 Eager 模式和 Graph 模式。 OneFlow 提供了 nn.Graph 模块,让用户可以用类似 Eager 模式的编程习惯,构建静态图训练测试。因此,需要同时保证 Eager 和 Graph 模式下算子行为和结果的正确性。 在之前的文章《深度学习框架如何优雅地做算子对齐任务》中 ,分析了 Eager Ops 的自动测试流程... 展开更多

收藏 0
0
置顶
发表了博客
前天 08:03

兼容PyTorch,25倍性能加速,OneFlow“超速”了

来源|机器之心 要想炼丹爽得飞起,就要选择一个顺手的炉子。作为 AI 工程师日常必不可缺的「炼丹炉」,「PyTorch 还是 TensorFlow?」已成为知乎、Reddit 等炼丹师出没之地每年都会讨论的热门话题。 业界流传一种说法:PyTorch 适合学术界,TensorFlow 适合工业界。毕竟,PyTorch 是用户最喜欢的框架,API 非常友好,Eager 模式让模型搭建和调试过程变得更加容易,不过,它的静态图编译和部署体验还不令人满意。TensorFlow 恰恰... 展开更多

收藏 0
0
置顶
发表了博客
前天 22:14

博文推荐|Pulsar 独立集群如何实现单一、共享 BookKeeper

本文翻译自 StreamNative 博客《Pulsar Isolation Part III: Separate Pulsar Clusters Sharing a Single BookKeeper Cluster》,作者高冉。 译者简介 姚余钱@深圳觉行科技有限公司,致力于医疗大数据领域。热衷开源,活跃于 Apache Pulsar 社区。 这是关于在 Apache Pulsar 中实现资源隔离四篇博客系列中的第三篇博客。第一篇博客概述了在 Pulsar 中实现隔离的三种方法: 1.使用 BookKeeper 独立集群的 Pulsar 独立集群:这种无... 展开更多

收藏 0
0
置顶
发表了博客
05/05 10:43

低代码实时数仓构建系统的设计与实践

1 导读 本文介绍58信安基于Flink实现低代码实时数仓构建系统,我们将数仓构建这一过程进行抽象,通过工程化的思想去解决,将固有领域问题交给系统,让开发人员关注数据本身,解放人力缩短数仓构建周期。 2 背景 随着数据驱动业务的需求日益增多,数仓的建设越发频繁,开发人员在数仓构建这一个过程(埋点、埋点数据接收、数据补全、数据清洗、数据写入存储介质),从事着大量且重复的工作,同时对于实时数仓构建,需要一定的专业技... 展开更多

收藏 0
0
置顶
发表了博客
前天 18:54

万字长文详解HBase读写性能优化

一、HBase 读优化 1. HBase客户端优化 和大多数系统一样,客户端作为业务读写的入口,姿势使用不正确通常会导致本业务读延迟较高实际上存在一些使用姿势的推荐用法,这里一般需要关注四个问题: 1) scan缓存是否设置合理? 优化原理:在解释这个问题之前,首先需要解释什么是scan缓存,通常来讲一次scan会返回大量数据,因此客户端发起一次scan请求,实际并不会一次就将所有数据加载到本地,而是分成多次RPC请求进行加载,这样设... 展开更多

收藏 0
0
置顶
运营/编辑
发表了博客
05/06 09:24

用户行为分析模型实践(二)—— 漏斗分析模型

作者:vivo 互联网大数据团队- Wu Yonggang 在《用户行为分析模型实践(一)—— 路径分析模型》中,讲述了基于平台化查询中查询时间短、需要可视化的要求,并结合现有的存储计算资源以及具体需求,我们在实现中将路径数据进行枚举后分为两次进行合并。 本次带来的是系列文章的第2篇,本文详细介绍漏斗模型的概念及基本原理,并阐述了其在平台内部的具体实现。针对实际使用过程的问题,探索基于 ClickHouse漏斗模型实践方案。 ... 展开更多

收藏 0
0
置顶
发表了博客
前天 16:03

【大规模训练】大规模训练的技术挑战

![](http://oscimg.xuhui-sz.com/oscnet/up-b250ba4ca511e6b04b006de961d98ed6591.jpg) > 文 @ 不愿透露姓名的小 P 同学 ## 0 前言 本次分享是大规模训练技术系列的第一篇,主要包括两个部分: - 大规模训练技术的意义 - 大规模训练的技术挑战 ## 1 大规模训练技术的意义 ### 1.1 训练的精度极限 深度学习发展历程中,模型精度提升主要依赖神经网络在结构上的变革。 例如,从 AlexNet 到 ResNet50,再到 NAS 搜索出来的 Effici... 展开更多

收藏 0
0
置顶
发表了博客
05/09 11:04

【ICDE 2022】稀疏模型训练框架HybridBackend,单位成本下训练吞吐提升至5倍

近年来,随着稀疏模型对算力日益增长的需求, CPU集群必须不断扩大集群规模来满足训练的时效需求,这同时也带来了不断上升的资源成本以及实验的调试成本。 为了解决这一问题,阿里云机器学习PAI平台和阿里妈妈智能引擎训练引擎团队合作开发了稀疏模型高性能同步训练框架HybridBackend,使得在同成本下GPU集群训练吞吐较CPU集群提升至5倍,大幅降低调试成本,同时 HybridBackend 相关论文 《PICASSO: Unleashing the Potential o... 展开更多

收藏 0
0
置顶
发表了博客
05/03 08:43

Global Tensor和实习总结|OneFlow学习笔记

撰文|李响 1 前言 为了简化分布式训练,OneFlow 提出了全局视角(Global View) 的概念,在全局视角下,可以像单机单卡编程,进行分布式训练。在 OneFlow 的设计中,使用 Placement、SBP 和 SBP Signature 来实现这种抽象。其中,Global Tensor 是为了能够满足 Global View 所需抽象的一种 Tensor。本文重点讨论了 Global Tensor 的全局视角与物理视角的映射。 此外,从去年11月中旬开始,我在 OneFlow 五个月的实习告一段落,... 展开更多

收藏 0
0
置顶
发表了博客
05/07 08:03

五年谷歌ML Infra生涯,我学到最重要的3个教训

近期,ML/AI Infra行业的发展引发了业内人士的热烈讨论。其中,硅谷创业公司Bluesky创始人Mingsheng Hong分享了他在这一领域的心路历程,总结了ML Infra发展的经验教训。他本人此前曾在Google的Data Infra工作,而后转向ML Infra,2022年初,他和Zheng Shao一起创立Bluesky Data (getbluesky.io),再度回归Data Infra。 以下是他的讲述,OneFlow社区做了不改变原意的编译。 撰文|Mingsheng Hong 翻译|周亚坤、张雨珊 1 从D... 展开更多

收藏 0
0
置顶
发表了博客
05/09 10:40

多场景下时序序列分类算法基础知识全面总结

> 云智慧 AIOps 社区是由云智慧发起,针对运维业务场景,提供算法、算力、数据集整体的服务体系及智能运维业务场景的解决方案交流社区。该社区致力于传播 AIOps 技术,旨在与各行业客户、用户、研究者和开发者们共同解决智能运维行业技术难题,推动 AIOps 技术在企业中落地,建设健康共赢的AIOps 开发者生态。 ## 前言 本期我们有幸邀请到中国矿业大学(北京)博士、云智慧智能研究院算法工程师徐同学,从时序序列分类的概念、研... 展开更多

收藏 1
0
置顶
发表了博客
05/05 08:03

Jeff Dean:深度学习的黄金十年

撰文|Jeff Dean 编译|机器之心 编辑|杜伟、陈萍 自从计算机诞生之初,人类就梦想着能够创造出会思考的机器。1956 年,在达特茅斯学院组织的一个研讨会上,约翰 · 麦卡锡提出人工智能这个概念,一群数学家和科学家聚集在一起寻找如何让机器使用语言,形成抽象理解和概念以解决现存的各种问题。当时的研讨会参与者乐观地认为,在几个月的时间里这些问题能取得真正的进展。 1956 年达特茅斯人工智能会议的参与者:马文 · 明斯... 展开更多

收藏 0
0
置顶
发表了博客
04/28 11:31

OneFlow学习笔记:从OpExprInterpreter到OpKernel

撰文|月踏 更新|赵露阳 前文《OneFlow学习笔记:从Functor到OpExprInterpreter》讲了OpExprInterpreter的相关细节,再往下就是OneFlow中的虚拟机,它负责在eager模式下把指令(即op,在vm中称为指令)调度到具体的OpKernel上来执行。 1 Global简介 先看一个特殊的类Global,定义在oneflow/core/common/global.h,这个类很简单,但是对于整个系统来说很重要,主要的几个接口如下: template<typename T, typename Kind = void>... 展开更多

收藏 0
0
置顶
发表了问答
05/07 16:59

spark sql用java代码运行时参数driver-url的地址非服务器地址

idea上提交spark代码执行时候服务器work日志显示提交的任务参数中driver-url值是“spark://CoarseGrainedScheduler@客户端计算机名:61154”,执行没有返回结果,然后无限循环。而在服务器上用shell执行的时候driver-url的值就是服务器的ip,执行能成功。个人认为是这个参数中的服务地址不对造成执行失败,尝试在代码中用spark.driver.host或者spark.driver.bindAddress绑定服务器ip,但是运行是提示“Cannot assign requested a... 展开更多

收藏 0
置顶
发表了博客
05/07 10:51

官宣|Apache Flink 1.15 发布公告

> 作者 | Joe Moser & 高赟 > > 翻译 | 高赟 Apache Flink,作为 [Apache 社区最活跃的项目之一](http://www.apache.org/foundation/docs/FY2021AnnualReport.pdf)[1],一直秉承积极开放的态度不断进行技术深耕。在此我们很荣幸的发布 Flink 1.15 版本,并和大家分享这个版本令人振奋的一些功能和改进! Apache Flink 核心概念之一是流 (无界数据) 批 (有界数据) 一体。流批一体极大的降低了流批融合作业的开发复杂度。在过去的... 展开更多

收藏 1
0
置顶
发表了博客
05/06 12:52

ChunJun支持异构数据源DDL转换与自动执行 丨DTMO 02期回顾(内含课程回放+课件)

导读: 4月26日晚,ChunJun项目核心成员、袋鼠云数栈大数据引擎开发专家渡劫为大家带来分享《ChunJun支持异构数据源DDL转换与自动执行》,我们将直播精华部分做了整理,带大家再次回顾内容,加深技术细节的了解。 你能看到 ▫ 数据还原介绍 ▫ DDL自动转换架构设计 ▫ Calcite解析DDL实战 直播课件获取: 关注公众号“数栈研习社”,后台私信“ChunJun01”获得直播课件 直播视频回看: 点击“阅读原文”,观看精彩视频 http://... 展开更多

收藏 0
0
置顶
发表了博客
04/29 11:23

开发一个不需要重写成Hive QL的大数据SQL引擎

摘要:开发一款能支持标准数据库SQL的大数据仓库引擎,让那些在Oracle上运行良好的SQL可以直接运行在Hadoop上,而不需要重写成Hive QL。 本文分享自华为云社区《从零开发大数据SQL引擎》,作者:JavaEdge 。 学习大数据技术的核心原理,掌握一些高效的思考和思维方式,构建自己的技术知识体系。明白了原理,有时甚至不需要学习,顺着原理就可以推导出各种实现细节。 各种知识表象看杂乱无章,若只是学习繁杂知识点,固然自己的知... 展开更多

收藏 3
0
置顶
发表了博客
04/27 08:03

DeepMind爆发史:决定AI高峰的“游戏玩家”|深度学习崛起十年

翻译|刘晓祯、沈佳丽、胡燕君、许晨阳、周亚坤 很少有人会否认,过去十年,AI领域最耀眼的明星组织当属DeepMind,没有之一。 那个震动世界的高光时刻发生在2016年3月的一天,AI选手AlphaGo击败了世界围棋冠军李世石的那一刻,全世界更广泛的群体认识到了AI的威力,并成为将AI技术推向新一轮高峰的闪亮标志,也是受到这一刻的感召,科技界很多人涌入AI创业前线,由此掀起AI应用的高潮。这一战,也让AlphaGo的缔造者——DeepMin... 展开更多

收藏 4
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
返回顶部
顶部