5月26日，「数智创新618直播节」邀请影刀商家上佰数据负责人YiYuan（一元）为大家带来数据自动化相关分享。
本文内容截取自直播节当天实录部分观点，报名参加「数智创新618直播节」获取完整录播视频和PPT材料。
以下内容为YiYuan分享实录
我是上佰数据负责人YiYuan（一元），非常开心能和大家在直播间相聚，我将基于自身工作经验和工作场景，围绕数据自动化操作思路、实操案例解析、自动化经验建议、工作经验等方面和大家沟通交流，希望大家有所收获。
我们在做数据工作中，一般会用到多种工具软件，所以本次分享我会以工具软件种类、工具软件实际应用、工具软件解决哪些问题等干货内容为主。
首先，为了更好的理解数据自动化，我们先看一下我的工作场景之一，基于影刀RPA自动获取生意参谋数据场景、获取店铺数据场景、获取监控店铺数据场景等。（报名参加618直播节，查看所有回放视频），本次分享大纲如下：
1.数据自动化操作思路
2.行业数据案例讲解
3.数据自动化操作思路
数据自动化操作思路
我们首先要思考，我们的数据自动化该怎么入手？我们不如用逆向思维的方式去思考和拆解，细化成小颗粒度，这样大家再去做框架和执行时，能更好地入手。
1.输出报表要做成什么样子
2.用什么方法清洗数据
3.数据源怎么存放
4. 数据源批量移动到指定文件夹
5.数据从哪里获取，数据怎么获取
目前我们常用的报表形式有二维表、透视表、BI等，大部分时间会以表格形式为主，只有在一些特定场景会使用到BI。
条条大路通罗马，不要用一个软件（方法）处理所有的事情。在做数据工作过程中，我建议大家遇事不钻牛角尖，人也舒坦心也舒坦，不要只是专注于一种形式或一种工具。
例如影刀RPA功能很强大，但是我不会用它去清洗数据，优秀的清洗数据工具很多，所以我会用影刀RPA做我们需要的那部分工作就可以了。
输出报表要做成什么样子？
以下是我们一些常用的表格形式，相比于其他形式，即使BI的交互能力更强，可视化程度更高，但其使用率低。
多维表
透视表
BI表
用什么方法清洗数据？
目前常见的清洗数据方法有：复制黏贴、公示函数、第三方插件、Power query、VBA、python、影刀RPA等方式。
无论用什么方法，什么工具，都需要先将数据源合并，然后对合并的数据进一步处理，得到我们想要的数据。下面，我们为大家介绍使用Power query从文件夹合并数据场景。
合并数据场景（部分）
这里需要重点标出来，office和WPS的区别，office有power query和power pivot两个模板，这些功能WPS是没有的，但是WPS有其他个性功能。如果是做数据专员，我建议一定要安装office。
Power query是office自带模块学习成本相对较低，动态刷新功能特别好用，建议用文件夹+表格/数据库的方式存放数据。
数据源怎么存放，移动到指定文件夹？
我按照公司规模：大公司、一般公司、小公司去做了存放形式分析，如下所示：
大公司一般是数据库存放形式，这是最好的，但是对个人技能要求很高，专人专岗，按照数据清洗、建模、可视化，三种方式去做配置人员（起码3人）。
一般公司一般是以文件夹+表格形式，专人专岗（1人独揽）去做。
小公司一般按照表格形式形式，数据人员往往身兼多职。
具体的数据源存放方式、数据源批量移动到指定文件夹，报名参加直播节观看视频。
点击图片报名参加
批量移动修改文件
数据从哪里获取，怎么获取？
我们基于影刀RPA去获取数据。我和影刀RPA之间还有一些故事，在影刀RPA没有商业化之前，我就在使用这款产品。
当时，我需要下载非常多的历史数据，如果一个点一个点去下载，有时候还需要花费很多时间去做按钮点击，这耗时耗力，我非常不愿意干这些工作。后来影刀RPA出现了，产品简单易上手，用它干了平时最累，我们最不愿意干的活，去完成那些重复性高的下载、等待、处理工作。
我为大家列出一组数据和图，你就能发现它能为我带来什么。
数据：4个店铺数据下载，需要3个小时；导入3分钟；刷新10分钟；输出20分钟。
渠道各端口数据，数据下载100张表
渠道各端口数据，数据整理输出27张报表
案例讲解
下面我会手把手带大家使用影刀RPA搭建一个案例，报名参加直播节观看视频。
视频截图之一
怎么搭建一个稳定的自动化流程？
01.以行业TOP品牌数据获取为例，先理清思路
02.思路1：模拟人工依次点击操作
缺点1：点击循环元素过多，容错流程复制
缺点2：整个循环中有不想要的类目，需要添加列表判断，难度系数增加
缺点3：日期类目切换，缓存没有加载出来， 数据错乱
03.思路2：构造类目链接直接下载
思路1的缺点都可以避免，数据准确，速度也不算很慢，这个思路可以同时运用到竞品流量结构，热销产品等取数渠道。
04.思路3：直接获取数据包，解密入库
优点：快准狠
缺点：学习成本很高
以下为类目&应用展示：
01.下载一个类目一天数据
能用键盘输出的，不用使用元素操作（网页更新插件更新都会影响元素的稳定性），多加随机延时，随机点击，不要怕慢（可有效避免网页加载不全，和官方的反扒监管）。建议能用键盘输出的，不用使用元素操作（网页更新插件更新都会影响元素的稳定性）。
02.下载多个类目一天数据
能用excel表格做网页获取的，不使用循环网页元素（更稳定，可随时调整）。
03.下载多类目多天数据
多日下载，处理休息天不上班的情况（建议在家没事打开影刀运营一遍，周一会很轻松）。
搭建行业数据流程踩过的坑
01.不要太快，不要太久，容易被警告（多加延时和随机点击）
02.表格下载，数据出错是缓存没有更新引起的（建议重新打开网页下载）
03.表格名字下载不全，一般是刷新后报错的（要在网页刷新后加等待）
触发器的使用
个人喜欢文件触发（不受时间的限制），触发文件的名称最好和流程名称一直，后期便于维护。
以上就是我对数据自动化的思考、经验，内容以干货实操为主。另外需要注意的是，数据自动化必然带来提效，节约工作时间，如果公司会以工作时间来衡量工作标准，希望大家能和公司沟通好。
感谢直播间的伙伴们，希望这次分享对大家有所帮助.
本文内容截取自直播眼直播节分享内容，不构成建议
报名参加观直播节，查看完整直播回放和PPT
本次直播节持续到6月18日，详情如下：
下期预告
浅谈数智创新，对90后客服团队的影响
点击图片报名参加「数智创新618直播节」
本次大会由影刀学院牵头，与影刀RPA、店小蜜、支付宝、聚水潭、乐言、筷子科技、百应、观远数据、宝尊、领猫、极睿科技、维格、融易算、直播眼、艾客（排名不分先后）等电商生态数智创新企业联合举办。
本次直播节将聚焦行业趋势、创新升级、数智电商、业务聚势4个核心关键词，并邀请了众多行业内大咖出席本次直播节，群策群智，与电商人共同探索电商数智化转型新思路。
本次直播嘉宾有：影刀CEO十布、支付宝运营专家达玲、店小蜜运营专家水禾、筷子科技CEO陈万锋、观远数据联合创始人兼副总裁鲁依莎、百应联合创始人抹茶、乐言流量运营负责人凌晨、聚水潭总经理向恩琦、艾客联合创始人兼CMO清微、极睿科技CEO武彬、维格渠道负责人林旭等数智化领域领先人物和TOP商家（排名不分先后）。
让我们与6万+品牌商家齐聚，共同探讨电商数智创新的可确定性。
关注公众号，领取电商干货包、免费电商数字化工具、视频教程、电商数字化经典案例。（持续更新）
影刀学院是影刀RPA旗下助力企业实现数智化转型，帮助各行业部门、员工提升个人核心竞争力的学习交流平台。影刀学院目前规模5000+，课程涵盖：行业大咖精品课程培训、技术大牛答疑、大厂应用场景拆解、TOP圈层沙龙等。
热门跟贴