福建快三今天|福建快三开奖走势图表跨度
您的位置 > 首页 > CDA专访 > 算法工程师应该具备哪些工程能力?

算法工程师应该具备哪些工程能力?

来源:CDA原创 | 2019-09-16 | 发布:经管之家





作者 | 木东居士

来源 | Data_Engineering


最近看了 Milter 的《算法工程师究竟需要哪些工程能力》这篇文章,有所感想,因此也写一篇关于算法工程师的技术能力的问题,和大家分享一下居士关于算法工程师的技术能力的观点。

对于一名优秀的算法工程师,他(她)要具备的不仅仅是出色的技术能力,也要有很深的业务理解能力和对外沟通能力,总之,要求可以很高!

但是,从职责能力的划分上来讲,算法工程师首先是一名工程师,因此本文主要从工程能力要求上进行一些探讨。

开始之前先放一份思维导图,这将是这篇文章要分享的核?#21738;?#23481;:



工程能力概览

算法工程师,从名字上我们就能看出,一名算法工程师首先应该具备算法能力和工程能力,我们可以认为这是基础的技术能力。由于现在开源技术的普及,Sklearn、Tensorflow 和 Spark ML 基本已经成为大部分算法工程师标配的工具库了,因此,熟练的调包能力也是决定了一名算法工程师能否快速实现需求。

其次,在真实的生产环境?#26657;?#31639;法的落地会遇到各种各样的业务场景和数据环境,这也要求算法工程师需要具备Pipeline 构建能力,将整个生产环境中的数据流和模型打通。同时,在生产环境?#26657;?#20250;出现各种“疑难杂症”等待你去解释,比如说为什么实验效果特别差?为什么模型效果不稳定?这就要要求算法工程师需要具备一定的数据分析能力。

很多时候,你会发现,你用在数据分析和Pipeline构建上?#26408;?#21147;可能占据了你8成以上的工作内容。


当你具备了上面?#21738;?#21147;时,你已经可以称自己是一名算法工程师了。此时,你可以去对着数据分析小得瑟一下:“你看,我能构建整个模型的Pipeline,你却只能拿到别人提供的数据后调调包吧。“或者,你也可以去找开发得瑟:”你看,我懂了很多算法哦,你就只会写代码吧。“


得瑟完之后,我们还是回归正题,算法工程师只具备这样能力是否已经够了?#30475;?#26696;?#27604;?#26159;不够的。由于不同公司的?#21734;?#25104;熟度不同,工具化和流程的成熟度都不同,这就会对算法工程师有不同的要求,比如?#30340;?#22411;发布能力和报表开发能力,?#27604;?#20063;会有一些其它能力,虽然可能不是特别重要,但是当这些工作没人帮你做的时候,算法工程师可能依然要承担起这些工作内容,比如说灰度测试?#21738;?#21147;、负载均衡?#21738;?#21147;等等。

将上面?#21738;?#23481;整理后,就是这样一份思维导图了(一张图多看几篇更能加深印象,因此我再贴出来一遍)



工程能力详解

一、基础能力

算法能力

算法能力就不多说了,算法工程师的基本能力要求,不懂算法对于一名算法工程师来讲是不太合理的。这里居士把统计学?#21738;?#23481;也放进来了。

编程能力

编程能力主要分为两部分:

Python、C++、Java这类编程语言,这三种也是算法工程师需要了解的主流编程语言,一般掌握其一就够,看不同公司。Sql就是很通用?#21738;?#21147;了,Sql也是一门编程语言,而是是数据处理最常用的语言!很好用。大数据场景下,要了解Hive Sql。

调包能力

大家虽然会调侃调包侠,但是说实话,能调包调的很溜的人,也是不多的,比如说现在让你自己用tensorflow构建一个复杂网络,不能google,你能写出来吗?能记清楚用法吗?

SklearnTensorflowSpark ML

二、核?#21738;?#21147;

Pipeline 构建能力

Pipeline构建能力,这里想表达的更多的是整个数据流的构建能力,数据从日志->特征->模型训练->反馈,这一个链条能否完成?#21738;?#21147;,这里面会有很多难题需要克服。比如说:

实时和离线模型一致性问题?离线和实时特征一致性问题?实时特征构建的问题?数据延迟的问题?

很多时候,模型发布之类的工作是可以由其他同学支持完成,但是数据流这种问题更多的是需要算法工程师来解决的。

数据分析能力

这里的数据分析能力不是指商业分析或者业务分析,更多的是指特征分析、算法效果分析和各种异常问题定位分析?#21738;?#21147;。

很多时候,两个算法工程师能力水平的强弱从数据分析能力上也能窥得一二。

三、辅助技术能力

辅助的技术能力是指,你会不会的影响不会特别大,但是也都是有用?#21738;?#21147;,特别是不同公司的发展情况不同,很可能会出现一个算法工程师既要做数据接入、又要做数据清?#30784;?#36824;要做算法平台

也要搞前端、还要负责模型上线、系统运维。

这里就不再细讲了。

思考一

聊一下对技术能力、工程能力和数据分析的思考。

居士个人的理解,技术能力更多的是偏向于一个一个的技术点,而工程能力更多就是在一个?#21734;?#20013;将项目做好?#21738;?#21147;。很多算法出身的工程能力不?#26657;?#37027;?#27492;?#20570;的单纯的一个模型是无法应用到实际生产中的,而工程就是指把理论落地实际生产的过程。那么工程包含了什么?它包括了系统架构设计和模块设计、数据流搭建和平台搭建、调包或算法开发、分?#38469;健?#19978;线以及各种落地的代码开发。报表和监控,其实本质也是做数据流,边缘性的可能要做些后台和前端的开发。

然后数据分析能力是什么?数据分析(不是?#30475;?#30340;数据分析)除了分析方法论和套路外,是一个很综合性、相对偏软一点?#21738;?#21147;,比如?#30340;?#36890;过分析发现了我们的系统有哪些可以优化的点,通过分析发现了问题的原因是什么,这些都是分析能力。

思考二

针对前面?#21738;?#23481;,和 Cathy 讨论后,对整个思路做了新的梳理,大家直接看图就好,居士也认为这样描述可能更为合理。



思考三

这里再补充一个模型复现?#21738;?#21147;,比如你看了一篇论文,发现这个模型可能很适合自己的业务场景,那么你是否能力将论文里面?#21738;?#22411;快速用公司现有的平台和工具来复现?

居士认为,这一个是一个非常重要?#21738;?#21147;,但是没有想好具体该怎样划分。

完 谢谢观看

本文已经过优化显示,查看原文请点击以下链接:
查看原文:https://www.cda.cn/view/27144.html

看图学经济more

京ICP备11001960号  京ICP证090565号 京公网安备1101084107号 论坛法律顾问?#21644;?#36827;律师知识产权保护声明免责及隐私声明   主办单位:人大经济论坛 版权所有
联系QQ:2881989700  邮箱:[email protected]
合作咨询电话:(010)62719935 广告合作电话:13661292478(刘老师)

?#31471;?#30005;话:(010)68466864 不良信息处理电话:(010)68466864
福建快三今天 极速赛车计划软件贴吧 手机棋牌游戏赚钱 皇家重庆时时app下载 三牛发手机登录平台 时时彩平台排行榜 时时彩计划网页版彩专家 2019注册不限IP送彩金 7599娱乐 重庆时时彩走势图 内蒙古时时最新开奖