感兴趣的学员
| 课程编号 | 开课日期 | 地点 | 培训天数 | 选择报名 |
感兴趣的学员
一 案例出品人:
陈敏敏——苏宁云商大数据中心技术总监
林建锋(sofish)——饿了么研发总监
蒋炜航——宜信大数据创新中心技术副总经理
二 案例研究目录:
1 《菜鸟智能分单大数据实践》
2 《O2O智能push的实践之旅》
3 《灵活的数据分析平台促进项目高效价值交付》
4 《魅族广告平台中的核心算法与技术》
5 《大数据在个性化推荐中的应用实践》
6 《基于Apache Kylin的大数据在线应用案例》
7 《前端即服务-通往零成本开发之路》
8 《开源Weex在阿里双11的秒开实践》
9 《Node.js 企业级 Web 开发框架实践》
10《沃尔玛电商React迁移之路》
11《互联网金融风控中的数据科学》
12《当当网在数据快速增长时如何进行横向扩展》
13《基于流文本数据的突发热点挖掘》
14《运用大数据进行用户画像及广告的精准定向》
15《Digital Behavior Footprints and Product Feature Design》
16《每个开发都是数据分析师》
17《计算广告的训练和平滑思想》
18《数据驱动的主动式企业应用性能管理平台建设实践》
三 主题介绍:
《菜鸟智能分单大数据实践》
技术教练:王兵 菜鸟网络算法专家
案例简述:
中国物流规模已居全球第一,但传统物流现状还比较原始和落后。菜鸟网络成立以来,依托互联网、大数据等技术,先后推出了四级地址库、电子面单、智能分单、反炒信、智能分仓、智能机器人等大数据产品,以数据驱动的方式帮助物流行业发展和升级。尤其是电子面单和大数据智能分单的广泛应用,极大地提高了包裹发货、分拣和配送效率,提升了中国物流行业信息化水平和服务品质,并降低了物流行业成本。本次分享将介绍菜鸟网络大数据智能分单产品的最新进展,分享大数据、机器学习等技术与物流数据相结合的创新经验及其背后的算法与技术架构。
案例启示:
客户第一,业务为先,深入理解业务,基于科学的数据分析,找到业务的根本问题2)基于对业务问题的深刻认知,结合机器学习的理论,系统工程的方法,坚持创新,追求极致,创造出有价值的优质服务
智能分单基于大数据,很好地解决物流行业依赖人工记忆分拣包裹的难题,实现包裹分拣的智能化和自动化,提升效率,节约成本。
《O2O智能push的实践之旅》
技术教练:樊聪 美团·大众点评 技术总监
案例简述:
本案例分享美团·大众点评如何运用大数据技术和机器学习和用户画像的挖掘,结合用户场景給平台和商家做精准营销,给用户个性化的推送服务体验。从技术方案和架构的演化介绍其中的实践经验。
案例启示:
数据应用和场景结合2. 好的架构是演化出来而不是设计出来3. 如何用好用户画像
行业内还没有看到类似系统和解决方案
《灵活的数据分析平台促进项目高效价值交付》
技术教练:张雪敏 中兴通讯COP Leader、技术部部长
案例简述:
中兴通讯的项目形态越来越复杂、交付压力越来越大。如何让项目管理者清晰掌握项目全貌,快速发现问题,预测危机、及早应对?中兴通讯度量COP经过两年的探索与实践,构建了基于项目目标的应用数据分析平台,建立项目特有的数据分析体系,使项目经理轻松成为数据分析师,方便快捷地对项目实施量化管理并有效改进。具体实践包括:1)如何构建基于项目目标的数据分析平台?2)如何提升项目核心角色的数据分析能力?3)如何构建数据分析生态圈?实施效果:1、已有上百个项目启用数据分析改进方法,2、数据分析效率提升60%以上
案例启示:
罗杰斯创新曲线的应用,使百余个项目经理轻松成为数据分析师,对项目实施量化管理并有效改进,使数据分析效率提升60%以上。
《魅族广告平台中的核心算法与技术》
技术教练:李翔 珠海市魅族科技有限公司 项目骨干
案例简述:
在互联网广告这个市场中,涉及到DSP、DMP、RTB、ADExchange、CTR,其中的技术细节都会使用到机器学习的相关方法,如何找到合适的算法并达到比较理想的效果是个具有挑战性的难题。作为一个拥有大量移动客户的公司,魅族在较短时间内经历了从无到有的过程,各个平台的建设都需要算法的支撑,比如DMP中的用户画像,以及互联网广告的核心CTR等,这样就需要针对不同的业务场景进行分析,找到合适的数据和模型,并通过不断调优使得各项指标不断刷新新的记录,从而达到用户和公司的双赢。
案例启示:
适合其他平台的方法不一定适合移动平台,找到能够充分利用移动场景的算法才是取胜之道,广告平台的建设是魅族向互联网转型的重要里程碑
《大数据在个性化推荐中的应用实践》
技术教练:鲁颖 Disney 资深产品经理
案例简述:
本系统从数据和工程学的角度阐释了如何建立一个高效的个性化推荐系统。 从数据筛选、理解和可靠性验证入手, 建立数据转换和清洗的进程。得到高质量的数据后,便可进行机器学习建模和预测。任何模型都需要检验和通过模型评价体系,通过线下线上的实验和计算,部署最好的系统。最后,需要建立模型迭代标准和模型质量控制监督体系。
案例启示:
这个案例总结了个性化推荐的算法和工程方面的实践,以提升用户效率和体验,从而为公司带来直接或间接的回报。个性化推荐无时不刻的存在于我们的身边。它解决了商品丰富性和用户接触商品的稀缺性之间的矛盾,给我们带来无穷的商业价值。从大数据、机器学习框架的角度,我们应从对数据的理解入手,决定最佳的数据存储和处理方式,然后不断地迭代开发更强大的机器学习算法。最后,我们应建立模型评价体系以评判模型的好坏,决定什么模型可以最终上线。
《基于Apache Kylin的大数据在线应用案例》
技术教练:李扬 Kyligence Inc.
案例简述:
由于查询速度缓慢,并发能力差,大数据一直以来处于一个离线应用的状态。Apache Kylin带来的技术体系变革,打开了交互式大数据分析的窗口,使在线大数据应用成为可能。本例将介绍一系列基于新技术体系的大数据在线案例,比如海量数据多维分析平台、高并发统计报表/仪表盘、自助数据探索平台、用户画像平台、大数据服务平台等。
案例启示:
从整体上,大数据从数据建议,到技术建设,到最后产生价值,是一个螺旋上升的过程。整个过程即需要足够(且合理)的启动资金,也需要不断的风险评估和控制。管理在其中有战略性的重要位置。技术突破扮演关键角色。近期由技术突破带来的成百倍的查询和并发能力的提升,对大数据行业是重大的利好。许多之前无法实现的在线应用场景成为了可能,打开了许多经典案例在大数据上的应用可能。大数据技术的运营是主要的技术成本。相对传统软件系统,大数据平台和应用的运营难度更大,运营成本在总持有成本中占绝对主要的位置。如何高效低价的运营大数据平台,是企业IT的关键问题。
《前端即服务-通往零成本开发之路》
技术教练:吴多益 百度前端团队负责人
案例简述:
前端开发经常需要面对许多看起来简单重复的工作,比如运营页面、内部平台、数据报表等等,这些开发往往占据不少人力,而且由于「技术含量不高」,也很难让人提取兴趣,导致人员成长和项目质量都成问题,针对这一难题,我们开发了 FreeFE 系列平台,它采用了前端即服务的理念,使得之前需要前端开发的工作都能通过简单的可视化操作和配置来完成,极大降低了人力成本,并且明显提升了项目质量,提高了内部工作效率。
案例启示:
开发中其实没有「技术含量低」的工作,因为这类工作通常更容易抽象和自动化,使得可以通过开发「技术含量高」的平台来高效解决,在我看来,这是一种升维思考,降维打击。
《开源Weex在阿里双11的秒开实践》
技术教练:Isken Huang 阿里巴巴前端专家
案例简述:
Weex 是个阿里巴巴开源的轻量级的跨终端渲染方案,讲述 Weex + CMS 大范围落地双 11 会场,以及实现业务支撑、稳定性、秒开实战分享。
案例启示:
投入约 60 人/天,产生 1000+ 页面,并且包含 PC/Mobile Web/Weex 三个版本,同时支持各种不同场景。当遇到了瓶颈或许可以换个方式思考,跳脱出既有限制大胆的尝试新的可能,CMS 是提高开发者效率的利器,而 Weex 是个优秀的渲染引擎,并且拥有良好的拓展能力,两个搭配起来后能够更快速响应业务,并且提高用户体验。
《Node.js 企业级 Web 开发框架实践》
技术教练:邵帅 蚂蚁金服前端技术专家
案例简述:
如何使用 Node 构建企业级 Web 应用1.我们选择 Node 的理由;2.框架层面如何去解决;3.涉及的点包括编程模型约束、进程模型、应用稳定性、测试、日志、安全、面向无线的开发、跨语言等。
案例启示:
以Node作为平台进行web开发,能够满足企业级应用的需求,有三个重要的基础:-约定。框架如何约束编程模型,给开发者提供统一的约束,提高开发效率,提高可维护性。-完备。安全、RPC调用、性能、故障排查、日志系统、中间件等。-扩展性。通过插件机制,提供统一的框架扩展方式。上面的完备性其实可以通过插件机制做扩展。
《沃尔玛电商React迁移之路》
技术教练:叶浩生 沃尔玛全球电子商务 高级研发经理
案例简述:
随着前端更新换代速度的加快,各种框架的诞生为企业探寻更加优质的用户体验带来了契机。在过去的一年之中,沃尔玛全球电商就对此进行了尝试,并成功将现有的以backbone为前端框架、以java为主要语言的后端服务器的技术栈转移到以react为前端框架、以NodeJs为后端服务器技术的全新平台上。案例主要阐述了在此过程中沃尔玛电商是克服了重重困难最终完成了迁移以及对代码结构、开发过程以及设计原理的提高和完善。
案例启示:
React是近两年最火爆的前端框架之一,但将其运用于大型电商网站的技术栈之中的案例还是凤毛麟角。大型电商网站相对于一般网站来讲,对于响应速度,稳定性等其他方面的要求更为严格。沃尔玛电商从backbone迁移到react框架这一路上,遇见了许多困难,但我们也凝聚了团队的力量,最终将其一一解决。因此十分想和业界同仁分享这一路上的心得和感悟,供后来人参考和借鉴。
《互联网金融风控中的数据科学》
技术教练:王婷 宜人贷数据科学家
案例简述:
互联网金融公司是怎样用大数据和机器学习来控制风险,降低个人或者渠道的欺诈风险,这里面所应用的数据科学有哪些?本次演讲将带你探索在大规模金融服务中的数据科学架构,深入探讨如何利用多维度数据、知识图谱、机器学习等技术来应对日益增多的欺诈手段,以及一些实际案例。•互联网金融服务面临的欺诈风险•大规模金融服务中的数据科学架构知识图谱在金融反欺诈中的应用场景
案例启示:
大数据反欺诈,通过对数据的采集和分析,来挖掘数据中的异常来识别欺诈事件。通过第三方信息验证,变相增加用户的伪造和欺诈成本,从而达到反欺诈的目的。在丰富的数据的基础上搭建金融知识图谱,可以针对性的识别欺诈风险。
《当当网在数据快速增长时如何进行横向扩展》
技术教练:高洪涛 当当架构部
案例简述:
Sharding-JDBC作为当当开源的数据库中间件,解决企业在数据快速增长时对数据库进行横向扩展的问题。本案例重点关注在将Sharding-JDBC应用在已经运行的系统中时所面临的一系列问题。这些问题集中在架构重构,发布上线,运维监控和扩容缩容等方面。针对这些问题,Sharding-JDBC进行了相应功能提升和产品细节优化,并结合相关辅助方案共同达到系统无痛平稳上线的目的。
案例启示:
Sharding-JDBC应用在生产环境,可以比喻为开着飞机换引擎。我认为成功的关键是系统需要有“反馈”能力,系统要能即时反馈使用新组建后的反应,工程人员才能根据这些数据来对症下药。任何系统无法反应自身的状态,完全是一个黑盒,那么将会付出非常惨痛的代价。 同时要找到研发团队之间的利益交汇点,这样有利于推动产品顺利落地。
《基于流文本数据的突发热点挖掘》
技术教练:邸楠 搜狗技术专家
案例简述:
及时的发现出现在网络中的突发热点事件,是大规模文本挖掘的一个重要应用问题。本次报告介绍一种在微博、新闻等流文本数据上的突发(burst)事件挖掘的算法和实现。
案例启示:
一个项目的成功,先进的算法是必要的条件,但对细节的把控也是必不可少的。我们的项目在开发初期由于数据噪音问题,效果一直不理想,曾经尝试多种算法优化,最后是发现热点发现本身也是一个对噪音数据与有效数据进行分类的有效特征,才最终解决这个问题。
《运用大数据进行用户画像及广告的精准定向》
技术教练:梁顺 甲骨文数据云 Principal Software Engineer
案例简述:
分享者的职责主要基于Apache Spark实时流技术,处理从合作伙伴网站发来的追踪像素,进而根据预定义及自定义的处理纬度,对用户的分布进行统计及估计,从而向客户提供高质量的数据,辅助进行市场营销的决策。案例主要介绍了数据的价值、数据的处理流程、团队的建设等。
案例启示:
新技术Apache Spark的出现及迅速流行,往往是由于其解决了一个大家共有的痛点。采用新技术有一定的风险,比如,开发人员对新技术不熟悉,新技术本身不是很完善成熟等。当有旧的系统可以继续向客户提供服务的时候,新技术反而有可能充分规避其风险而有足够好的收益,并且,新旧系统可以充分比较其性能与准确性。如果资源允许的话,不妨紧跟新技术。
《Digital Behavior Footprints and Product Feature Design》
技术教练:Liang Xie Microsoft Principal Data Scientist
案例简述:
How to use data to prioritize product feature development? How does features’ co-usage help us engineer better products? We use machine learning approach to describe and segment users into manageable clusters based on their footprints across product features' usage and using that information to feedback to engineering team for better product development.
案例启示:
Identify actionable items, identify measureable target, advanced machine learning techniques helps to expose hidden information, one picture worth a thousand words
《每个开发都是数据分析师》
技术教练:范文博 ThoughtWorks西安
案例简述:
一般来说,一个开发团队里,一定不会每个人都关心数据:不关心业务数据、不关心用户行为数据、不关心A/B测试数据、甚至不关心产品日志数据。业务数据归业务、行为数据归体验、A/B测试归产品、日志数据归运维,他们与我大开发何干?导致的结果就是,开发和其他角色严重脱节,只有上下游关系,没有统一目标,这对一个FeatureTeam来说是非常致命的。然而在我的团队,每个人都是数据分析师,每个人都知道各个维度的数据都在哪里、会被怎么用、如何去分析、相互之间有什么联系。这使得大家都明白各种业务数据背后的深层含义,从而建立更明确的统一目标,最终促进整个团队的共同发展。这得益于我们对ELK的不同使用方法。
案例启示:
好的方面: 不好的方面:+ 掌握新技能 - 存储成本依然很高+ 对数据更敏感 - 维护难度不小+ 更快速的数据反馈 - 系统容量有待提高+ 统一数据中心 - 依然难以代替现在使用的数据系统+ 统一团队目标+ 老技术但是收到了意料之外的结果
《计算广告的训练和平滑思想》
技术教练:崔骁凯 广东vivo电子工业有限公司数据分析和挖掘经理
案例简述:
计算广告是目前移动互联网的主流盈利模式之一,vivo作为国内领先的手机终端厂商之一,在移动互联网的计算广告之路上也积累了不少的经验和教训。在这一领域,新广告的训练以及成熟广告的平滑方法业界没有统一的标准,而多种主流的方法或多或少都存在一些弊端,比如:需要单独开辟训练位,或者实时产生的训练反馈不能以合适的权重影响质量度打分,又或者在训练过程中不能区别对待不同的广告,使综合收益最大化。关于这一领域网络上公开的资料较少,且大部分资料涉及到专业的数学知识,晦涩难懂,一般工程师很难在短期内转化并应用到实际业务场景。本次分享将通过vivo在计算广告上的实践之路,深入浅出的为大家介绍vivo是如何解决以上难题的,以及思路是什么样的。除了现成的方法,也希望借助解决问题的思路分享,使得在不同的业务环境中的听众都能得到一些收获。
案例启示:
了解移动互联网领域计算广告的业务逻辑。2、了解到一些不错的计算广告训练和平滑实践方法。3、学习到解决数据业务难题的一些思考方式。
《数据驱动的主动式企业应用性能管理平台建设实践》
技术教练:许力 东软集团产品经理
案例简述:
应用性能是企业制胜关键,任何一秒的性能下降都将给客户留下糟糕的用户体验,直接导致业务收入下降。 然而随着政府、企业部署应用数量迅速增加,以及新技术(如混合云、虚拟化、大数据等)、新需求(如、弹性伸缩、支持移动终端、信息主动推送等)促使应用系统复杂化、多样化,使得稳定性、性能保障更加困难。企业内应用数量以及应用架构复杂度的增加,监控指标及单位时间产生的监控数据量成倍增长,加之运维数据本身有价值信息密度较低,人工筛选分析工作量巨大,运维人员工作被动,难堪重负。要从根本扭转当前企业面临的应用性能管理被动,甚至有时近乎失控的局面,首先需要变被动解决风险告警为主动潜在问题及风险。基于逐渐成熟的大数据、人工智能技术实现数据驱动的智能化运维系统则是从根本上解决应用运维问题的途径。本案例介绍了东软从实践中总结、创新、研发数据驱动的主动式应用性能管理产品RealSight APM的工程实践。
案例启示:
产品研发关键在把握目标客户需求,分析客户痛点,并通过简单、实用的方式去解决。很多大数据、机器学习类应用一味强调通用性,就很难抓住产品研发关键特性,或产品研发核心特性与客户期望差距太大,陷入算法和数据的泥潭中进退两难。