这个问题很笼统但也情有可原。现在很多企业认可了数据的价值,提升业务,降低成本,开拓新产品,减少风险等等,越来越多的企业要进行数字化转型,要建设大数据平台,要成立大数据团队。
说到传统行业要搭建大数据团队,那么其实问题就来了:
1、为什么要搭建大数据团队?这个起因是什么?
2、传统行业,具体指的是哪个类型的行业,最好可以细分;
3、有哪些需要注意的地方?——这个是从技术角度,还是从管理角度?还是二者都有?
第一个问题会有以下几种可能:
1、企业的管理者意识比较超前,希望提前布局大数据技术,储备好大数据团队,那么需要进行大数据领域探索时就可以快速上手。
2、企业的数据存量很大,已有的Oracle、MySQL或者其他类型的数据库已经无法承担这种工作,随着数据量越来越大,传统的数据库计算速度较慢,或者根本无法支撑。企业可能已经引入tableau、@帆软之类的BI工具,但是BI工具经常“卡死”,其实不是BI工具的问题,而是底层数据库无法支撑,急需采用大数据技术,支撑BI系统的需求;
关于BI应用于大数据平台的结合,大家可以看看这篇文章《基于hadoop架构的企业数字化转型方案!》
3、数据存量虽然不大,但是数据增量很快,那么这时候就“着急”了,希望尽快研究大数据技术,进行迁移,否则后面数据库扛不住。
已上几种情况都是需要采用大数据技术的,那么是否需要搭建大数据团队来实现,这又要看其他几个问题了:
1业务部门有无大数据诉求
这里并不是说业务部门希望使用什么大数据技术,而是说业务部门希望某个模块希望更“智能”,例如有商品推荐、有实时告警、有更快的生产经营分析报表……,种种诉求都是业务诉求,但是既有的技术无法支撑,这时候就需要引入大数据技术;
通常,业务诉求是大数据的出发点,也是最终目标,也是让老板看到“价值”的地方,如果搭建了大数据团队,研究了大数据技术,却没有解决业务问题,老板会觉得这是成本的浪费。
2业务部门的诉求细化
业务需求决定技术架构,搭建大数据团队之前,需要先了解业务部门的规划和诉求,基于这个诉求再来设计技术架构,技术架构的设计可以与团队搭建并行,二者相辅相成,大数据的技术框架非常多,没有什么人是精通所有框架的,一般只能精通其中的一两门就不错了。
3在技术架构设计之前
是否采用独立搭建大数据平台?是否可以采用公有云平台?独立搭建的特点是数据自有,且可以深入研究大数据技术,比较适合规模较大,技术能力强的企业;采用公有云平台,特点是不用理解技术,只需将数据传递到公有云服务商即可(阿里云、腾讯云、百度云、华为云……,其中阿里云的技术相对成熟度高一些);
4技术架构的设计
如果确定不采用公有云的话,就是自己搭建大数据平台,那么就理清楚以下几个问题:数据在哪里?数据平台的建设需要哪些组件?是否需要实时计算、是否需要离线计算、是否需要交互式查询?有哪些分析主题?数据仓库怎么搭?
5已有团队的人员组成情况
笔者参与的多个项目中都会遇到,对接的客户都是传统企业,对ERP技术挺了解的,写SQL也还行,但是大数据技术就很不了解了,解决办法有2种,第一是招人,从外面招聘大数据开发或架构师,第二是直接采购商用的易用的大数据平台。
对第一种方法有好处也有坏处:好处是招来的人是自有人员,相当于企业自己掌握了这门技术,这种比较适合金融、运营商或财力雄厚、IT基础设施比较好的大型企业;弊端是招聘可能并不容易,大数据的优秀人才一般集中在互联网领域,跳槽到传统企业的可能并不多。
第二种方法是采购已有的商用平台,这种方式与作者的问题并不偏题。市面上有很多成熟的商用大数据平台,Cloudera、星环、华为、亚信等等,都有对应的产品线。