您好,欢迎来到步遥情感网。
搜索
您的当前位置:首页load data inpath的实践

load data inpath的实践

来源:步遥情感网

有个需求,需要在hive表里面追加数据,数据是历史数据,是业务方给的一个csv文件,

思路,考虑使用load data inpath,把历史数据导入到hive表里面

步骤:

2、创建一个表,表里面的字段名称和字段顺序,跟csv文件保持一致,例如这个表名叫 infor.load_data_test;

3、load data inpath 'hdfs://xxxxxx/user/hive/warehouse/export/xxx.csv' overwrite into table infor.load_data_test;
其中'hdfs://xxxxxx/user/hive/warehouse/export/xxx.csv',是文件上传后,存放的位置

4、把临时表的数据写入到正式的hive表中

INSERT into infor.formal_data_table
select field1,field2, 1597456800000 as create_time from infor.load_data_test;

加一个时间戳,标识这批数据是什么时候写入的

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- obuygou.com 版权所有 赣ICP备2024042798号-5

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务