技术快速迭代背景下开发者应同频哪些实战经验
主办单位：中培网 中培管理咨询
时间地点：2016-12-09至2016-12-12 在 北京
学员对象：感兴趣的学员
费 用： 3000元
【培训对象】
感兴趣的学员
【课程收益】
【课程大纲】
一 案例出品人：
许华彬——腾讯SNG社交网络事业群总经理
沈 剑——58到家技术总监技术委员会主席
鞠 奇——腾讯TEG副总监
二 案例研究目录：
1 《大规模分布式文件系统的元数据管理的设计和实现》
2 《单日计算量100亿次的价格中心优化之路》
3 《58到家多端消息整合之路》
4 《业务快速升级发展背后的系统架构演进》
5 《爆炸式增长的斗鱼架构平台的演进》
6 《构建云直播分发网络》
7 《Kubernetes & Kafka 知乎流式处理平台》
8 《利用开源大数据技术构建WMX大数据平台》
9 《业务“纵横捭阖”背后的技术拆分与融合》
10《从应变到适变：构建企业一体化运营支撑体系》
11《走向10亿vv：微博短视频推荐》
12《淘宝直播海量在线消息互动架构》
13《微服务场景下的性能提升最佳实践》
14《基于Kafka以及Spark Streaming的高扩展性数据质量保证平台》
15《与刷单派死磕到底》
16《Routing data 10X faster in Twitter heron》
17《城市计算：用大数据实现智能城市》
18《10亿级直播背后的技术优化》
三 主题介绍：
《大规模分布式文件系统的元数据管理的设计和实现》
技术教练：任恺 Instagram 资深交互设计师
案例简述：
本次分享介绍如何设计大规模分布式存储系统以满足大数据时代日益增长的存储需求。主要介绍分布式存储系统优化的两个方面：一是如何单机存储的性能，二是如何提高分布式元数据管理的性能。
案例启示：
主要介绍分布式存储系统优化的两个方面：一是如何单机存储的性能，二是如何提高分布式元数据管理的性能。对于单机存储，分享主要介绍新的提高KV存储的技术，例如内存索引的压缩以及对Compaction的动态优化。利用这些技术能对已有的LevelDB和RocksDB提高近一倍的写速度和加少50%的最坏读取延迟。对于分布式文件系统元数据的管理，本次分享将主要讨论如何将划话元数据空间到多台机器，如何合理利用缓存实现元数据访问的负载均衡。综合这些技术，新系统IndexFS的元数据管理系统能扩容到百台机器，大大超越现有HDFS的单机元数据管理系统。
《单日计算量100亿次的价格中心优化之路》
技术教练：赵国光 途牛旅游网价格计算中心
案例简述：
旅游产品由机票、酒店、门票等等许许多多的资源构成，而客户看到旅行是一个整体，并且希望了解最终的价格。价格中心的首要任务是将各种资源组合下最优惠的价格计算出来展示给客户。 然而，许多资源的价格存在实时变动的特点，为了及时的将最新价格呈现给客户，每次资源变动都带来一次价格计算。多种资源变化、多种促销策略、预售期长等特点使得计算量非常大，随着业务增长产品更加丰富，每日的计算量达到【百亿】级别。本案例分享途牛价格中心在业务爆发增长下的优化之路。这是一个关于服务划分、系统全局优化的话题，涉及了领域模型、架构演化、软件设计思想、技术细节、甚至项目管理等各个方面。
案例启示：
1. 架构为业务服务，架构的设计源于对业务的理解。2. 细节处隐藏着魔鬼。3. 系统要逐步的重构、上线、反馈... , 而不是一蹴而就。
《58到家多端消息整合之路》
技术教练：封宇 北京五八到家信息技术有限公司 架构师
案例简述：
经历野蛮发展阶段后，到家存在众多消息收发场景及不同技术。这个案例分享总结多个业务场景下消息收发的难点与挑战，梳理各项技术的特点，结合实际业务及研发需求，构建了一套通用消息投递方案。这个方案建立统一的端到端、端到服务器的消息通道，对业务方屏蔽不同技术的差异，提供消息到达率等核心指标的监控统计。达到业务线能够快速接入各类消息服务的目标。
案例启示：
统一消息平台类的基础服务需要根据业务需要以及公司的技术体系进行综合考虑。屏蔽技术细节，降低使用难度，切合业务场景的服务能够较好地投入使用,几乎每个互联网公司的业务系统都会涉及到服务器与各类终端之间的消息交互功能。这个方案建立统一的端到端、端到服务器、服务器到端的消息通道，对业务方屏蔽不同技术的差异，极大提高了消息相关业务的研发效率和质量。
《业务快速升级发展背后的系统架构演进》
技术教练：许关飞 美团●大众点评高级技术专家，酒店后台研发组eHome团队负责人
案例简述：
新美大以团购作为切入点，为了更好的连接用户与商户，从2012年开始在酒店、外卖、电影等垂直领域深耕细作。到2016年，美团酒店交易额单日破亿，间夜量行业第一。 在酒店业务的转型和高速发展过程中，不同的阶段对我们的系统结构也提出来不同的要求： 1）业务探索阶段 2）业务融合阶段 3）业务发展阶段 4）业务创新阶段 如何将技术转换成业务的新动力本次分享会通过对几个阶段的系统整体情况的分析、演化，和大家一起整理业务的不同阶段给系统带来的挑战和机遇，希望可以为处于文中某个阶段的同学提供一些思路上的参考。
案例启示：
1）多方面评定业务系统改造or重建，保证决策准确性2）合理分步，保证演进过程稳定、顺畅3）理性面对分与合，避免过度设计带来的额外开销4）技术改进以数据结果为导向，保证产出
《爆炸式增长的斗鱼架构平台的演进》
技术教练： 吴瑞诚 武汉斗鱼网络科技有限公司数据平台部总监
案例简述：
斗鱼TV在两年内发展成为拥有亿级用户和百万级主播的直播平台，对技术带来了高并发请求和海量数据的挑战。同时公司系统技术栈较多、迭代周期快、规模呈爆炸式增长。在这种背景下，斗鱼网站的架构平台该如何进行优化，才能支撑起如此迅猛的业务发展？ 斗鱼的平台技术会在哪些方面持续革新？斗鱼网站2014年上线至今，顺应直播行业趋势的发展，完成对交易系统、会员系统、统一登录系统、弹幕系统、任务系统的重构，并持续对架构进行优化，针对客户使用体验拆分系统，提高研发效率，强化系统稳定性和扩展性。优化主要针对以下三个方向：偿还技术债--多语言技术栈交互，临时方案导致版本过多、逻辑错综复杂系统可扩展性--服务与服务、服务与资源之间解耦服务化--微服务、服务治理、容器化这次分享主要内容包括： 1.斗鱼平台架构整体介绍，平台演进进程； 2.平台架构核心基础组件迭代介绍；3.针对大型赛事活动的预案。
案例启示：
在直播风口，为了应对业务的迅猛发展，网站架构要能顺应直播行业趋势的发展，才能在直播的百团大战中脱颖而出。网站早期，为了快糙猛的上线业务功能，造成了公司技术语言多样、临时方案导致版本过多、逻辑错综复杂，并且随着公司规模和业务规模的扩大，需要在支撑业务发展的大前提下，平稳完成架构平台的重构。以此来提高系统的高可扩展性，支撑更大系统规模和研发人员规模。在整个演进过程中，斗鱼作为一个发展迅速的创业公司，我们会密切关注互联网行业内的优秀团队，关注他们在快速发展过程中获取的经验，取人之长，进行架构平台的持续演进，并总结演进过程中的各种坑，各种血的教训，分享给大家，给有碰到类似问题的团队以参考，提供一些借鉴。
《构建云直播分发网络》
技术教练：邵峰 网易视频云 网易杭州研究院服务端技术专家
案例简述：
网易云直播建设中，遇到了分发网络单一化难题，从而造成用户直播卡顿。通过调整推拉流上下行线路，搭建自有源站、多路推送、智能路由等方式，构建出一套融合式分发网络，从而达到了高效分发目的，为云直播服务提供了基础保障。
案例启示：
##关键技术点1：源站建设 ###（1）源站布点a) 多线机房###（2）私有协议a) srtp/udp模式 （webrtc --> nrtc )b) 协议转封装 （rtp --> rtmp )###（3）标准协议a) rtmp服务 （srs or nginx-rtmp )###（4）其他关键技术a) 流控；b) 热切；c) 防攻击。##关键技术点2：路由调度 ###（1）IP地址表a) 网易标准地址表（定期更新、误判率<5%）###（2）调度中心 (GSLB)a) 根据来源地IP信息，判断位置信息（省-市 + 运营商 ）;b) 根据路由配置表，选择最优分发网络。###（3）路由配置表a) 根据基调测试，初始化配置路由表 （移动-A网络; 联通-B网络）；b) 根据用户反馈信息，调优配置路由表。###（4）用户反馈策略a) SDK端定时上报统计信息；b) 每天计算各网络卡顿率； c) 根据卡顿率排名，调整路由表。
《Kubernetes & Kafka 知乎流式处理平台》
技术教练：林晓峰 知乎技术平台负责人
案例简述：
知乎已经完成全站业务实例容器化，目前逐步完成基础设施的容器化。本次分享，着重以知乎流式处理平台为例，详细讲述知乎技术平台团队如何利用 Kubernetes 和容器技术打造基于 Kafka 的新一代流式处理平台。新平台在统一的物理集群上支持任意多个物理隔离的逻辑 Kafka 集群的秒级创建。在此基础上，实现了弹性扩展的消息服务和日志服务，平台高度的自动化支撑着集群规模不断扩展下的超低运维成本。
案例启示：
DevOps 思维：以开发方式来解决运维问题。平台思路：把基础设施功能抽象成服务，从业务对服务的需求出发，自上而下设计平台和自动化。
《利用开源大数据技术构建WMX大数据平台》
技术教练：粟迪夫 WalmartLabs 首席工程师、架构师
案例简述：
沃尔玛广告平台的WMX大数据分析平台利用大数据分析技术对广告展示和交易数据进行分析，生成广告效益报表，帮助确定广告价格和制定广告活动的策略。本文介绍了WMX团队充分利用开源的大数据技术和软件开发技术在构建WMX大数据分析平台。针对可以大数据技术快速发展的特点，设计可插入、可扩展的模块化架构以方便大数据技术的升级和替换。利用开源的软件开发和管理工具优化软件开发流程，提高软件开发的效率和软件质量。
案例启示：
1）开源的大数据技术更新非常快，系统架构需要支持开源大数据技术的升级和替换2）合理地利用开源的软件开发工具配合创新的软件开发方法可以极大地提高软件开发效率和软件质量，但是对开发人员的要求比较高
《业务“纵横捭阖”背后的技术拆分与融合》
技术教练：王洋 猫眼电影商品业务技术负责人
案例简述：
互联网电影行业在2016年经历了较大的变动，其中包括猫眼电影和新美大的拆分，以及猫眼电影和点评电影业务的融合。本次分享主要涉及猫眼后台技术团队在拆分、融合并行过程当中，对技术方案的改造、实施，以及反思，并结合实践领域驱动的经验谈谈如何有效分解系统的复杂性。希望给后互联网时代，遭遇业务拆分和融合的技术团队提供一套切实可行的方法，以及参考案例
案例启示：
大型项目的技术方案设计，需要进行多维度分解，技术和非技术因素都要考虑全面，并做好权衡2、技术方案实施前，需要对系统架构进行预处理，提前将代码隔断，并在数据层面做好整合，埋下切换点3、技术方案实施中，需要思考灵活的切换方案，以应对各种复杂情况下的局部回滚4、技术方案实施过程中，需要充分考虑非技术因素的影响，快速推动整套体系的运转
《从应变到适变：构建企业一体化运营支撑体系》
技术教练：官华 埃森哲Digital Transformation Senior
案例简述：
本案例内容来自我们为某企业构建的内部办公运营支撑的项目；本案例分享的内容，包含我们在构建整个体系架构时的设计思路，做法，关键设计的决策考虑等；本案例提供了一套完整的设计业务，运营，应用，平台的参考框架和设计原则；本案例分享的是一套完整的有关SAAS和其平台化支撑的设计方案；本案例分享的核心要点在于建立广泛的业务，运营，应用，技术，平台之间的一致框架，解决了我们在进行业务IT支撑时碰到的最大的难题：沟通标准问题；本案例给出了一套经过验证的解决业务，应用，平台，体验之间实现关系，并管理相关变化的方法和规范；
案例启示：
□app+platform的大平台，小应用模式；□企业架构框架；□业务到应用的映射标准；□服务架构；□对象模式；□app设计和用户体验一体化架构；□开放平台架构；
《走向10亿vv：微博短视频推荐》
技术教练：冯扬 新浪微博推荐技术专家
案例简述：
短视频在微博平台上展现了自己的洪荒之力，以今年结束的里约奥运会为例，仅央视在微博上发布的奥运短视频，头三天前十名的累计播放量就达到 5.9 亿次。从用户的角度出发，用户消费视频的成本较高（流量、时长……），并且在不同场景下用户对视频消费的预期和习惯不尽相同。作为视频推荐的基础服务，微博视频推荐系统一方面要减少用户的信息过载问题，另一方面也要能适应不同场景下的推荐需要，最优化推荐转换率，在满足用户视频消费需求的同时提升平台的价值。本次案例分享从从算法和架构两个层面介绍微博视频推荐系统的原理、用户反馈机制、自动快速的效果对比及模型上线机制等。
案例启示：
1. 一切以效果数据说话，而不是主观判断2. 数据是根基，构建一个高效安全的数据流水线能有效提升效果和工作效率3. 面对复杂的应用场景和物料类型、多种的推荐方法和策略、产品需求……灵活、便于扩展的系统架构是必须的
《淘宝直播海量在线消息互动架构》
技术教练：李义冬 淘宝移动平台直播消息系统负责人
案例简述：
随着移动设备的性能和网络的提升，具有实时互动特性的视频直播异常火爆。由于直播内容的眼球效应，会在极短的时间里引来成千上万人的突发流量，那么如何设计一个高并发、高可用、弹性扩容的实时消息集群，解决小至几十、大至百万房间共存的广播网关成为直播互动平台一个重要的基础 。
案例启示：
基于服务发现、用户流量弹性扩缩容；利用算法最大化负载均匀度；如何做好流量保护、订阅管理等；
《微服务场景下的性能提升最佳实践》
技术教练：王启军 华为架构部资深架构师
案例简述：
在微服务场景下，由于服务数量的爆炸性增长，导致架构的复杂度升高，其中最为关键的一个问题就是性能的问题。是否意味着选择微服务就要放弃一部分性能？在一致性、可用性、复杂度、性能之间如何去权衡？通过案例说明。
案例启示：
一个项目的成功，先进的算法是必要的条件，但对细节的把控也是必不可少的。我们的项目在开发初期由于数据噪音问题，效果一直不理想，曾经尝试多种算法优化，最后是发现热点发现本身也是一个对噪音数据与有效数据进行分类的有效特征，才最终解决这个问题。
《基于Kafka以及Spark Streaming的高扩展性数据质量保证平台》
技术教练：Tony Xing Microsoft 资深产品经理
案例简述：
分享者的职责主要基于Apache Spark实时流技术，处理从合作伙伴网站发来的追踪像素，进而根据预定义及自定义的处理纬度，对用户的分布进行统计及估计，从而向客户提供高质量的数据，辅助进行市场营销的决策。案例主要介绍了数据的价值、数据的处理流程、团队的建设等。
案例启示：
数据监控系统设计需要达成的目标：监控streaming数据的完整性和时延数据pipeline中，Multi-producer, multi-stage, multi-destination数据流In near real time提供诊断信息：哪个DC, 机器, event/file发生问题 超级稳定 99.9% 在线Scale out审计数据可信
《与刷单派死磕到底》
技术教练：文航 Airbnb中国风控负责人
案例简述：
一个平台应该如何从零开始构建风控系统，如何设置正确的风控KPI，又如何构建工程、数据、运营团队闭环协作体系。也会着重介绍一些风控基础服务的开发思想与实现。
案例启示：
构建有清晰目标的反脆弱系统 2. 构建有共同目标的协作系统 3. 以风控为业务增长护航
《Routing data 10X faster in Twitter heron》
技术教练：Maosong Fu Twitter technical lead for Heron at Twitter
案例简述：
Twitter generates millions of events per second. It is a huge challenge to analyze these events in real time. Twitter designed and deployed a new streaming system called Heron. Heron has been in production since mid 2014 and is widely used for diverse use cases by several teams. In this talk, I will describe Heron’s route engine’s design, the new challenges we faced, and how we improve heron.
案例启示：
Twitter generates millions of events per second. It is a huge challenge to analyze these events in real time. Twitter designed and deployed a new streaming system called Heron. Heron has been in production since mid 2014 and is widely used for diverse use cases by several teams. In this talk, I will share our operating experiences and challenges of running Heron at scale.
《城市计算：用大数据实现智能城市》
技术教练：郑宇 微软亚洲研究院主管研究员 城市计算领域负责人
案例简述：
城市计算是一个交叉学科，是计算机科学以城市为背景，跟城市规划、交通、能源、环境、社会学和经济等学科融合的新兴领域。更具体的说，城市计算是一个通过不断获取、整合和分析城市中多种异构大数据来解决城市所面临的挑战（如环境恶化、交通拥堵、能耗增加、规划落后等）的过程。城市计算将无处不在的感知技术、高效的数据管理和分析算法，以及新颖的可视化技术相结合，致力于提高人们的生活品质、保护环境和促进城市运转效率。城市计算帮助我们理解各种城市现象的本质，甚至预测城市的未来。城市计算是计算机科学以城市为背景，跟城市规划、交通、能源、环境、社会学和经济等学科融合的新兴领域。本报告将概述城市计算的定义和框架，介绍城市感知、城市数据管理和城市数据的分析、挖掘等各个层面的挑战和典型应用案例，重点讨论时空大数据中跨域数据的融合和协同计算技术。具体案例包括基于大数据的空气质量分析和预测、城市规划改进、城市油耗和汽车尾气排放评估，以及城市住房价值分级和评估等。相关技术发表在KDD等顶尖国际会议和期刊上，并在实际系统中部署应用。
案例启示：
城市计算将无处不在的感知技术、高效的数据管理和分析算法，以及新颖的可视化技术相结合，致力于提高人们的生活品质、保护环境和促进城市运转效率。技术实践性高，且有极好的示范意义，被BBC、NBCNews、路透社等国际权威媒体多次报道，有着极高的国际知名度、行业引领力和广泛的关注度。
《10亿级直播背后的技术优化》
技术教练：王辉 腾讯SNG社交平台部 研发总监
案例简述：
移动互联网飞速发展，2016年，社交网络对视频技术的应用得到爆发式的增长，短视频、视频直播、视频滤镜、视频人脸动效、音乐、K歌、变声、连麦等功能陆续在产品中上线，如何在快速上线功能的同时，保证稳定流畅的体验，成为挑战。主要面临的挑战如下：1、复杂的网络环境下，如何保证视频播放的成功率，如何保证直播的流畅度，减少卡顿？2、体验上，如何保证快速流畅的播放体验，如何实现直播秒开，即点即播？3、性能上，直播中滤镜、美容、人脸动效，效果全开，如何保证主播端的性能？4、亿级海量并发用户情况下，如何更好的保障质量，柔性带宽的策略如何做到极致？本案例也是围绕上述挑战进行，揭秘我们团队在挑战中的一些优化尝试，希望与大家一起分享。
案例启示：
数据监控驱动优化工作的开展，快速迭代快速验证，快速上线。
【讲师介绍】
▓▓▓▓▓▓▓▓▓ 培 训 回 执 表 （此表复制有效）▓▓▓▓▓▓▓▓
传真至：020-62355807
我单位共＿＿＿ 人报名参加 2016-12-09至2016-12-12 在 北京 举办的 技术快速迭代背景下开发者应同频哪些实战经验
单位名称：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
培训联系人：＿＿＿＿＿＿＿＿＿ 联系电话：＿＿＿＿＿＿＿＿＿ 联系传真：＿＿＿＿＿＿＿＿
移动电话：＿＿＿＿＿＿＿＿＿＿＿＿ 电子邮箱：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
参加人数：＿＿＿＿ 人 费用总计：＿＿＿＿＿＿ 元
参 会 人：＿＿＿＿＿＿＿＿ 所任职务：＿＿＿＿＿＿＿＿＿＿ 移动电话：＿＿＿＿＿＿＿＿＿
参 会 人：＿＿＿＿＿＿＿＿ 所任职务：＿＿＿＿＿＿＿＿＿＿ 移动电话：＿＿＿＿＿＿＿＿＿
参 会 人：＿＿＿＿＿＿＿＿ 所任职务：＿＿＿＿＿＿＿＿＿＿ 移动电话：＿＿＿＿＿＿＿＿＿
══════════════════════════════════════════
广州电话：（020）39971893、62355796 传真号码：（020）62355807
联 系 人：赵小姐、张先生 报名邮箱： 317709971@QQ.COM
参会方式：请您把培训回执表填写好回传，课前一星期您将会收到传真函，包括培训注意事项及详细安排