• 四川破获一起盗用“老板”微信骗财务转账案 2019-06-21
  • 李正印出席“传承红色基因,争做时代新人”主题教育活动启动仪式 2019-06-15
  • 颜值100分还超好吃的夏日冰棍,今年就来DIY! 2019-06-11
  • 游走休闲马德里,做一个阳光收割机 2019-06-02
  • 从房价多年以来的变化,是说明了这个问题的!…… 2019-06-01
  • 黔江:1000余亩蓝莓成熟 市民乐享“莓”好时光 2019-05-22
  • 【周展安】重新认识《在延安文艺座谈会上的讲话》的现实意义 2019-05-22
  • 十九大代表卢丽安利用周末与在沪台胞分享她参会心得  2019-05-19
  • (两会受权发布)最高人民法院院长简历 2019-05-14
  • 巫山县大峡村:深度贫困村的脱贫之变 2019-05-12
  • “关注泌尿健康”三金片媒体沙龙北京站 2019-05-09
  • 人民网评:教师欠薪为何又成新闻了? 2019-05-07
  • 涪陵:全国人大代表刘家奇院坝讲“两会” 乡亲点赞“六子致富经” 2019-05-07
  • 海南将与香港携手开拓国际客源市场--旅游频道 2019-05-01
  • 赵孟頫:书法大师是怎么炼成的? 2019-04-28
  • 今天看啥
      热点:

        新疆35选7的开奖号 www.ts3ne.com

        Sqoop将数据从oracle导入到hive时,数据错位的问题解决,sqoophive


        在使用sqoop将数据从oracle导入hive时,对数据进行验证,发现hive中的数据比oracle的多,然后发现多出来的数据严重错位,大量字段为null

        怀疑是某些字段含有了hive默认的分隔符,如“\n”,“\r”,“\01”

        解决办法是增加参数--hive-drop-import-delims来解决

        Hive will have problems using Sqoop-imported data if your database’s rows contain string fields that have Hive’s default row delimiters (\nand\rcharacters) or column delimiters (\01characters) present in them. You can use the--hive-drop-import-delimsoption to drop those characters on import to give Hive-compatible text data. Alternatively, you can use the--hive-delims-replacementoption to replace those characters with a user-defined string on import to give Hive-compatible text data. These options should only be used if you use Hive’s default delimiters and should not be used if different delimiters are specified.

        可以从中看出,“\n”、“\r”是hive默认的行分隔符,而“\01”则是hive默认的列分隔符,如果数据中含有这些分隔符,在不处理的情况下,hive就会对数据进行错误的分割,造成数据错位以及数据增多的问题,解决办法就是

        第一种,使用--hive-drop-import-delims 来去除这些字符

        第二种,使用--hive-delims-replacement来替换这些字符

        新疆35选7的开奖号 www.ts3ne.comtrue//www.ts3ne.com/oracle/1316317.htmlTechArticleSqoop将数据从oracle导入到hive时,数据错位的问题解决,sqoophive 在使用sqoop将数据从oracle导入hive时,对数据进行验证,发现hive中的数据比o...

        相关文章

        相关搜索: 数据 问题 Sqoop oracle hive

        帮客评论

        视觉看点
      • 四川破获一起盗用“老板”微信骗财务转账案 2019-06-21
      • 李正印出席“传承红色基因,争做时代新人”主题教育活动启动仪式 2019-06-15
      • 颜值100分还超好吃的夏日冰棍,今年就来DIY! 2019-06-11
      • 游走休闲马德里,做一个阳光收割机 2019-06-02
      • 从房价多年以来的变化,是说明了这个问题的!…… 2019-06-01
      • 黔江:1000余亩蓝莓成熟 市民乐享“莓”好时光 2019-05-22
      • 【周展安】重新认识《在延安文艺座谈会上的讲话》的现实意义 2019-05-22
      • 十九大代表卢丽安利用周末与在沪台胞分享她参会心得  2019-05-19
      • (两会受权发布)最高人民法院院长简历 2019-05-14
      • 巫山县大峡村:深度贫困村的脱贫之变 2019-05-12
      • “关注泌尿健康”三金片媒体沙龙北京站 2019-05-09
      • 人民网评:教师欠薪为何又成新闻了? 2019-05-07
      • 涪陵:全国人大代表刘家奇院坝讲“两会” 乡亲点赞“六子致富经” 2019-05-07
      • 海南将与香港携手开拓国际客源市场--旅游频道 2019-05-01
      • 赵孟頫:书法大师是怎么炼成的? 2019-04-28
      • 今天篮彩预测推荐 久久天天发3d心水论坛 足彩6场半全场 七星彩走势图网易 胜平负概率33 超级大乐透中奖规则 广东快乐10分钟交流群 白小姐六肖中特准 甘肃快3官方 大无限娱乐平台登录 黑龙江快乐十分教学 河北快3遗漏一定牛 四川金7乐基本走势图 天津时时彩开奖查询 北京快三预测号