欢迎光临
我们一直在努力

深圳it峰会名单(全球开源技术峰会GOTC2021深圳站在深圳会展中心圆满召开)

7月31日-8月1日,由Open Atom开源基金会、Linux基金会亚太及开源中国联合主办的“全球开源技术峰会GOTC 2021深圳站”在深圳会展中心成功举办。本次峰会汇聚了国内顶级开源厂商和开源社区成员,吸引了来自全国各地的数千名开源爱好者参会,共同探讨中国开源生态的发展趋势。

在GOTC深圳峰会上,百度带来了多个技术领域的开源产品和实现实践,包括自动驾驶平台、七层负载均衡BFE、函数计算引擎、云原生数据库Doris、百度超级链、AI Edge、云边缘融合等其中,百度自动驾驶开放平台拥有全国最大的自动驾驶车队,规模超过500辆,落地全国30个城市,获得293个测试牌照。路试总里程超过1300万公里,相关专利达2900多项。百度超级链成立首个区块链SIG组,在哈工大、云南大学等高校实施区块链课程,开源生态逐渐繁荣。百度智能云边缘计算团队在LF Edge项目中打造了AI Edge,目前已落地包括智能驾驶、视觉AI、AI安全、边缘联合机器学习等项目。BFE 项目于今年 6 月正式推出 1.2 版本,已经聚集了来自不同公司或组织的 80 多名贡献者。落地用户案例涵盖银行、媒体、保险、交通、互联网等行业。百度一直秉持开源共享、生态繁荣的理念,希望与更多的开发者一起,打造前沿技术的开源生态。目前已落地智能驾驶、视觉AI、AI安全、边缘联邦机器学习等项目。BFE 项目于今年 6 月正式推出 1.2 版本,已经聚集了来自不同公司或组织的 80 多名贡献者。落地用户案例涵盖银行、媒体、保险、交通、互联网等行业。百度一直秉持开源共享、生态繁荣的理念,希望与更多的开发者一起,打造前沿技术的开源生态。目前已落地智能驾驶、视觉AI、AI安全、边缘联邦机器学习等项目。BFE 项目于今年 6 月正式推出 1.2 版本,已经聚集了来自不同公司或组织的 80 多名贡献者。落地用户案例涵盖银行、媒体、保险、交通、互联网等行业。百度一直秉持开源共享、生态繁荣的理念,希望与更多的开发者一起,打造前沿技术的开源生态。并聚集了来自不同公司或组织的 80 多名贡献者。落地用户案例涵盖银行、媒体、保险、交通、互联网等行业。百度一直秉持开源共享、生态繁荣的理念,希望与更多的开发者一起,打造前沿技术的开源生态。并聚集了来自不同公司或组织的 80 多名贡献者。落地用户案例涵盖银行、媒体、保险、交通、互联网等行业。百度一直秉持开源共享、生态繁荣的理念,希望与更多的开发者一起,打造前沿技术的开源生态。

云原生开源计算领域:七层负载均衡BFE、函数计算引擎

第 7 层负载均衡 BFE

2019年7月,百度核心七层负载均衡转发引擎BFE开源。BFE(Front End),其前身是百度自2012年开始构建并使用的现代化七层负载均衡和流量转发平台,2014年用Go语言重构。日峰值QPS超过1000万。

自开源以来,BFE 产品迭代迅速,20 个月发布了 15 个版本,今年 6 月正式推出 1.2 版本。7名来自百度、快手、字节跳动的维护者;来自不同公司或组织的 80 多名贡献者;收到 800+ 份意见书,4800+ 颗星;落地用户案例涵盖银行、媒体、保险、交通、互联网等。2020年6月,BFE更名为CNCF,这也是中国第一个网络方向的CNCF开源项目。

百度资深产品专家宋健介绍了BFE的技术特点。一是安全性和稳定性高。BFE基于Go语言开发,极大降低了内存管理中的内存泄露风险。它可以捕获异常并使运行更加稳定。以百度为例,百度规模下的BFE平台稳定运行,支撑了百度集团的大部分流量转发。二是功能的快速发展,因为BFE具有良好的模块化插件设计,Go语言代码易于编写和维护。三是对复杂场景的支持。BFE开源可以支持多租户模型,拥有强大的路由转发模型,支持多数据中心/多容器集群调度。四是运维友好支持。有大量的内置状态探针,这些探针的数据可以以 . 这也是很多用户采用 BFE 的原因。以前,配置加载会对业务产生一定的影响。BFE 支持动态热加载,可以实现更高的可用性。

函数计算引擎

随着云计算技术的演进,该技术因其优势而受到越来越多的关注。为更好地推广该技术,百度云原生团队将于 2​​021 年 4 月 6 日开源百度函数计算引擎。

据百度云原生高级研发工程师何守芬介绍,该项目的灵感来自于何守芬团队在探索一些函数计算应用场景时的发现。据何守芬介绍,这源于百度云原生团队对CDN边缘计算部分业务场景的探索。在CDN节点上,基于一些用户自定义的裁剪、视频编解码等请求,对边缘有很多需求,需要把算力放在边缘,非常适合用函数计算来满足用户这样的需求。

之前团队在做的时候,第一个想法是直接把现有的函数计算服务部署到边缘的云上,但是失败了。原因是边缘计算场景与云IDC机房有很大不同。其集群环境较为复杂,中心与边缘节点的通信容易受到网络质量的影响。同时,公有云上的函数计算产品有很多依赖,比如ETCD、 K8S等服务。中心组件的运维成本比较高,所以团队想设计一个适合边缘计算的设计。场景的函数计算引擎具有适应性强、资源占用少、依赖轻、无状态、自治等特点,因此具有特色。

核心技术主要体现在三个方面。第一个高内聚,引擎可以作为最小的服务单元,它是无状态的,内部自治的。第二高的灵活性,支持动态调整。比如函数实例容器的资源大小可以动态调整,代码也可以在运行时动态挂载和卸载。第三个高性能,一些技术使用了多层缓存机制,为了减少冷启动延迟,资源池是预先启动的。目前,功能框架也分为三层。一是在产品功能方面,提供基础功能源信息管理、代码包管理、版本管理、灰度发布。二是请求控制和容器调度,支持非常快速的将函数调用请求调度到对应的用户工作容器、并发控制、错误重试等功能。三是底层依赖容器网络技术,由于函数计算需要语言运行,我们针对多语言运行时和运行时挂载做了相应的处理。

边缘计算领域:边缘AI的云原生实现,智能边缘与端云融合的技术实践

边缘 AI 的云原生实现

据市场研究机构预测,全球边缘人工智能(Edge AI)软件市场将从 2018 年的 3.56 亿美元增长到 2023 年的 11.52 亿美元。IDC 预测,到 2024 年,全球企业在边缘应用上的支出将达到 2500 亿美元,其中硬件+ 人工智能相关支出将达到 326 亿美元,占边缘市场整体支出的 13%。然而,在市场需求旺盛的背景下,人工智能在边缘仍面临诸多挑战。

百度智能云与边缘计算部架构师孔德超发表了题为《边缘AI的云原生实现》的演讲。他指出,目前边缘计算能力有限,使用场景复杂。如何让AI在边缘高效,最大限度地利用算力,是亟待解决的问题。为此,百度进行了一系列布局,打造边缘AI云原生生态。

2019年,百度智能云边缘计算团队在LF Edge项目中创建了The AI Edge,以解决AI如何在边缘落地的问题。AI Edge已经落地的项目包括智能驾驶、视觉AI、AI安全、边缘联合机器学习等项目。

此外,百度还打造了云-边缘容器引擎+边缘AI弹性计算框架,构建一体化开源解决方案——开源解决方案,通过算力编排和资源时算力调度,最大限度地利用算力。是有限的。发布适用于单机的边缘AI调度框架Lite,使用更轻的算力调度,最大限度的利用算力,完成更多的AI任务……

智能边缘融合终端云技术实践

百度智能云物联网首席架构师李乐定介绍,百度对边缘计算持非常开放的态度。百度在边缘计算方面的开源战略是为开发者提供解决方案,并利用合作伙伴的力量,共同打造一个包含硬件、软件和中间平台的完整端到端解决方案。

李乐鼎重点介绍了该项目。它是 Linux 基金会的一个开源项目。其目标是为边缘端设备提供标准的云原生编排能力,使边缘和云能够连接在一起。它的作用是沟通边缘计算和云计算之间的粘合剂。百度在云上有很多强大的能力,比如百度的等朋友提供的服务。百度希望利用云端强大的计算能力,不断迭代数据模型和AI模型,让我们拥有更好的知识和认知能力。另一方面,让人工智能这个项目来处理隐私和你周围的事件,如何将这两种不同的元素结合起来?希望对此负责。

回归自身,支持云计算应用无缝延伸到边缘,实现云与边缘之间的数据自由交换;它具有跨平台特性,支持x86/ARM/MIPS CPU、各种GPU和神经网络芯片。

LF AI &DATA论坛2021:百度自动驾驶开放平台

2013年以来,百度开始在自动驾驶领域进行研究,希望充分发挥百度在人工智能领域的技术优势,普及自动驾驶技术的发展,推动整个行业创新能力的提升。2017年4月之前,主要使用百度内部研发。2017年4月之后,百度正式宣布计划推出全球首个自动驾驶开放平台。现在,百度已经成长为全球最活跃的自动驾驶开放平台,拥有超过210家全球生态合作伙伴,6.5万全球开发者,60万行开源代码。自成立以来,一直在不断探索开源之路。在每个阶段,致力于以开源、开放的方式与行业共享现有积累,拓宽自动驾驶技术领域,加速创新引领行业发展,全面赋能整个行业。行业。

在百度高级技术布道师胡匡看来,开通计划是百度自动驾驶发展史上的一个重要里程碑。截至目前,它拥有全国最大的自动驾驶车队,规模超过500辆,落地全国30个城市,获得293个测试牌照。百度不仅拥有T1-T4各级检测牌照,而且是国内第一家也是唯一一家获得T4牌照的公司。从1.0到6.0 EDU版本,历经10次迭代更新,每次都更贴近开发者的实际需求,解决实际研发中的问题,成为更完善的自动驾驶解决方案。6.0 EDU更注重教育生态建设,帮助培养更适合自动驾驶领域的人才。

实现更深层次的开源,赋能自动驾驶产业,构建持续完善的自动驾驶生态系统,是当前的当务之急。赋能绿色智慧矿山,助力大国产业,让技术渗透到生产生活的各个领域,让开源惠及更多的开发者和合作伙伴,共同推动自动驾驶生态的良性循环,加速无人驾驶的快速到来自动驾驶时代。

“从开放开源开始,秉承开放能力、共享资源、加速创新、持续共赢的理念,得到了业界的广泛认可。未来,将继续赋能自动驾驶的发展,愿与众多开发者和合作伙伴展开合作,共同推动自动驾驶行业的创新发展。” 胡匡说。

大前端领域:背后有5个技术升级

2018年3月,百度将该项目捐赠给基金会,成为基金会孵化级项目,也是百度向国际顶级基金会捐赠的第一个开源项目。2021年1月26日晚,基金会正式宣布顺利通过孵化阶段,毕业后晋升为顶级项目。

核心开发者、百度高级研发工程师苏爽在GOTC现场分享了现状和技术升级。目前每周npm下载量超过31万次,依赖项目151K,周边项目7606个,代码贡献者165个,正式成员25个,项目管理委员会成员14个。

最新版本 5 分为五个模块:动态叙事、视觉设计、交互能力、开发体验和可访问性。其中百度云加速与百度cdn,交互状态增强包括为所有系列提供选择和淡出状态、数据的单选和多选、系列的焦点外、标签和自定义系列的焦点外等。高性能的折线图绘制和绘制,包括1000万数据缩放和平移,用于减少内存开销,LTTB下采样(LTTB Down)。迁移就是,迁移的主要工作集中完成,遵循逻辑等价变换(迁移时不进行重构)。迁移后可以带来代码可读性提高、重构的正确行保证、避免了难以发现的错误,并大大提高了用户的类型精度。对于脏矩形渲染,现在可以只擦除屏幕的修改部分。讲故事增强功能包括自定义系列过渡动画配置等。

数据库领域:云原生数据仓库Doris

Doris的历史可以追溯到2008年,当时主要服务于百度凤凰巢的统计报表。随着百度业务的快速发展,系统进行了多次迭代升级。2017年正式开源,2018年更名。Doris并捐赠给了基金会。Doris PPMC、百度资深研发工程师陈明宇介绍了选择的几个原因。

一个很简单。在系统架构方面,Doris采用主从架构。该系统有两种类型的过程模块。FE模块作为控制节点,主要负责用户请求访问、元数据存储、解析查询计划。BE模块主要负责执行查询计划和数据存储。任何节点都可以线性扩展,不依赖任何第三方组件,包括HDFS等,将分布式系统的运维成本降到最低。在 SQL 支持方面,Doris 在 FE 模块上实现了与 MySQL 兼容的协议层。用户可以使用标准的 MySQL 客户端轻松连接到 Doris,而且 Doris 还支持标准的 SQL 语言。Doris 的分布式管理框架可以自动管理数据副本的分发、修复和平衡。当拷贝损坏时,Doris 可以自动感知和修复。只需一条 SQL 语句即可完成节点扩展过程。全程不影响线上业务运行,后台自动进行数据分片的数据迁移和负载均衡。同时,多丽丝的升级方法也极其简单。只需更换二进制程序,滚动重启集群即可。在升级过程中,Doris还具备一些自动查询重试和失败原因功能,可以大大降低对业务端的影响。后台自动进行数据分片的数据迁移和负载均衡。同时,多丽丝的升级方法也极其简单。只需更换二进制程序,滚动重启集群即可。在升级过程中,Doris还具备一些自动查询重试和失败原因功能,可以大大降低对业务端的影响。后台自动进行数据分片的数据迁移和负载均衡。同时,多丽丝的升级方法也极其简单。只需更换二进制程序,滚动重启集群即可。在升级过程中,Doris还具备一些自动查询重试和失败原因功能,可以大大降低对业务端的影响。

第二个足够有效。在存储引擎方面,Doris 拥有高效的列式存储引擎,可以实现极高的压缩率。存储结构方面,采用多种编码方式,自适应编码,按需读取;在索引结构方面,Doris 提供了丰富的索引结构来帮助加速数据的读取和过滤,包括写入时自动生成数据。智能索引(如前缀稀疏索引和索引),以及用户在某些列上添加的二级索引(如倒排索引等)。同时,Doris在读取逻辑上也有很多优化,比如延迟物化,先过滤,再取数据,减少查询请求的IO资源消耗。

在查询引擎方面,Doris 是基于 MPP 的火山模型。它通过MPP查询框架实现数据能力,更好地利用多节点资源进行数据处理。同时,Doris 还优化了很多查询算子,例如,等,开启该功能后,查询延迟大大降低。Doris 在查询优化器上也做了大量的工作,它可以执行基于规则和基于成本的查询优化。

三是功能丰富。Doris可以支持高并发在线服务场景,单个节点可以支持上千个QPS查询请求;还支持SQL级和高级Cache,非常适合查询频繁的场景;同时,高吞吐量的即席查询和诸如 Adhoc ETL 之类的库也是 Doris 的强项。Doris 在 TB 级数据方面可以部分替代 Hive 等离线系统的功能,一个系统即可满足所有需求。在用户行为分析业务中,Doris通过数据类型进行高基精准的去重,非常适合用户留存分析、漏斗分析、用户画像圈子等场景。

第四,开源是开放的。Doris 目前每周活跃贡献者超过 20 人,数量已达 180+,社区活跃度呈现持续上升趋势。随着更多开发者和用户的加入,Doris 社区将逐渐壮大。

区块链领域:区块链开源平台

(超级链)是国内自主研发的开源区块链技术。拥有近500项区块链技术专利,具备部署全球网络和联盟网络的能力。拥有自主研发的超级节点、平行链内、三维网络。、可插拔共识机制等技术,在安全性、可控性、效率、易用性等方面领先业界。

2019年5月,在国内率先开源。2020年9月,捐赠给Open Atom开源基金会,作为第一个以新形式培育和发展的项目。目前,开源社区拥有用户2万余人,生成开源文档100余篇。线上直播、线下沙龙继续。社区活跃,开发者积极贡献文档和代码,形成了良好的开源技术氛围。2021年,开源社区将陆续在北京、上海、深圳举办多场线下开发者沙龙,发布区块链开源内核,成立首个区块链SIG群,并吸引 Labs等企业一站式参与发展。

核心开发者和百度高级研发工程师范冰新分享的开源框架和应用场景。秉承开源、开放理念,采用轻框架理念,所有组件可插拔,不断提升扩展性、安全性和性能,降低区块链开发门槛。开源以来,推出了一系列可用性提升措施,加速区块链应用落地,包括基于功能和业务场景的智能合约模板,如凭证存储、溯源、积分管理等,以满足区块链应用的需求。政务、金融等领域的需求。支持快速接入多种应用场景。

目前,百度将区块链与人工智能、大数据、物联网等技术创新相结合,推出了30多个全场景、全行业、全领域的​​解决方案,以及区块链深度产品溯源的应用,存储和取证,在版权保护、数据共享、智能制造等多个领域形成了一批成熟的商业解决方案。

赞(0) 打赏
未经允许不得转载:艾飞特资源网 » 深圳it峰会名单(全球开源技术峰会GOTC2021深圳站在深圳会展中心圆满召开)
分享到

登录

找回密码

注册