sqoop抽取mysql的mediumtext字段类型,被转成ASCII

article/2025/10/2 10:32:33

在使用sqoop抽取mysql中到hive时,其中两个字段数据发生了如下变化:

 

明显该字段被转成了ascii类型,查看Mysql中数据库表字段是mediumtext类型。

估计是不识别这种类型,找了一下资料,发现可以对字段进行转义:

--map-column-java xxx=String

如果是有多个字段需要转义的话,如下所示:

--map-column-java 字段1=String,字段2=String,字段3=String,字段4=String

其中有两个小细节,字段名必须小写,字段类型转换应该用String(首字母大写)

附源码如下:

sqoop import \
--connect jdbc:mysql://127.0.0.1:3306/dayu_call_center \
--username user\
--password password \
--query "SELECT * FROM dayu_call_center.CALL_ORDER_PROPERTY_SPLIT WHERE \$CONDITIONS "  \
--map-column-java parameter_value_replace=String,parameter_value=String \
--hive-database ods \
--split-by ID \
--hive-table dycc_call_order_property_split_int \
--target-dir /inceptor1/user/hive/warehouse/ods.db/hbxyoper/dycc_call_order_property_split_int \
--delete-target-dir \
--fields-terminated-by '\001' \
--hive-drop-import-delims \
-m 1 \
--null-string '\\N' \
--null-non-string '\\N' \
--compression-codec org.apache.hadoop.io.compress.BZip2Codec

参考文档:Sqoop import with multiple columns for --map-column-hive - Apache Sqoop - itversity


http://chatgpt.dhexx.cn/article/fHq0VYqM.shtml

相关文章

mysql 的text、mediumtext、longtext类型

如果我们的字段保存的是很长一段字符串的话,我们的text类型保存的长度有限,只有65535个字符,超过的话,会被截取,我们保存的内容如果超过了这个长度,我们可以使用mediumtext,或者用longtext&…

mysql的mediumtext类型字段在java如何获取

数据库: PO:重点是autoResultMap true和TableField(typeHandler FastjsonTypeHandler.class) Data EqualsAndHashCode(callSuper false) TableName(value "xxx", autoResultMap true) ApiModel("一分钱充值用户配置表") publi…

mysql hibernate mediumtext_mysql中的text,mediumtext,longtext在Hibernate中的类型映射

(摘自http://congpeixue.iteye.com/blog/283402) 在Hibernate的配置中,我目前是采用Annotation的方式,不过原理应该都一样。 对于如下的属性: Java代码 privateString dtaContent; Lob(type LobType.CLOB, fetch FetchType.LAZY) Column …

mediumtext mysql_mysql中text,longtext,mediumtext字段类型及区别 | 学步园

在Hibernate的配置中,我目前是采用Annotation的方式,不过原理应该都一样。 对于如下的属性: Java代码 private String dtaContent; Lob (type LobType.CLOB, fetch FetchType.LAZY) Column public String getDtaContent() { return dtaCon…

详解MySQL数据类型

varchar和text两种数据类型,使用建议是能用varchar就用varchar而不用text(存储效率高),varchar(M)的M有长度限制,之前说过,如果大于限制,可以使用mediumtext(16M)或者lon…

【mysql系列】mysql中text,longtext,mediumtext区别

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 非常期待和您一起在这个小…

第三方支付系统架构

工作已四年,接触了银行和第三方支付行业,根据现公司的情况梳理了一下我自己认为的关于第三方支付系统的架构。如下图 关于第三方支付系统,涉及到的系统大概有以下几部分: 1、接入;无论web、sms、api还是APP接入,都应…

第三方支付业务综述

第三方支付业务 支付牌照的业务类型包含银行卡收单、预付卡发行与受理、网络支付(具体为互联网支付、移动支付、电视支付、固定电话支付)。   按业务经营收益来讲,支付宝、财付通依托互联网支付牌照经营的互联网支付业务是其主要营收业务构…

第三方支付问题小结

概述 记得2019年,微信支付出过一个故障,用户发起支付给了钱后,微信一直不回调,导致使用了微信支付的商家的订单都成了未支付状态了,如果业务系统设计的不好,那瞬间就会有大量的客诉出现。 像下面的对话场景…

android 支付宝第三方支付

支付宝集成文档 一、申请移动支付权限 首先登录【支付宝开放平台】http://open.alipay.com/platform/home.htm,添加应用,申请移动支付权限。申请开通支付,是需要公司文件的,个人是不允许开始支付的。 二、阿里支付DEMO 自己去下载 2、配置几…

第三方支付系统如何测试?案例分析

一、背景 近年来,随着互联网应用服务的发展、尤其是电子商务的勃兴,我国的第三方支付产业进入了爆炸式增长时期。目前,第三方支付企业的年交易总额已突破万亿元,在人民银行备案的第三方支付企业数量已达260多家。第三方支付以其方…

第三方支付接口设计

你是个干大事的人 前言安全性稳定性事务一致性可维护性 前言 阅读本文大概需要6分钟 ​最近在项目中对接了第三方支付,对于第三方支付来说,比较复杂功能的就是支付、退款、对账。 本篇文章我们只介绍支付相关的接口设计。 一笔支付流水可能涉及到的节点…

第三方支付接口怎么测试

现在有不少测试朋友做的项目中,可能也会涉及到支付相关的功能。比如:做商城的,做游戏的以及其他在线交易的网站、APP等。如果支付出了问题,或者用户拿少的钱通过篡改请求数据购买大金额的商品,如果是实物的话&#xff…

java支付系统,三方支付系统,四方支付系统

背景介绍 之前使用的是外面的四方系统,不方便服务商批量提供和管理收款账号;所以想着自己写一套,技术使用的都是新技术 前后分离,前端使用vue,后端使用springcloud-alibabaspringboot微服务架构。现在系统可以投入使用…

php第三方支付系统--支付流程--及代码

目前来说,越来越多的行业互联网化,也掀起了互联网金融的浪潮,第三方支付的开发也越来越广泛,一般大型的第三方支付系统包括,前置系统,支付系统,渠道系统,账务系统,清结算系统,运营与维护管理平台。下面我们来了解一下常见的一些支付流程,让大家了解了解 快捷支付流…

涉及第三方支付接口,怎么测?

大家好啊,我是大田。 像一些做金融项目、电商项目等有支付功能的系统,基本都会调用第三方支付接口,那我们应该如何测试?这里谈谈大田的思路,仅供参考: 1、根据流程图,深刻理解我司与第三方系统都…

第三方支付流程

目前来说,越来越多的行业互联网化,也掀起了互联网金融的浪潮,第三方支付的开发也越来越广泛,一般大型的第三方支付系统包括,前置系统,支付系统,渠道系统,账务系统,清结算…

第三方支付原理

1.什么是第三方支付 所谓第三方支付,就是一些和各大银行签约、并具备一定实力和信誉保障的第三方独立机构提供的交易支持平台。在通过第三方支付平台的交易中,买方选购商品后,使用第三方平台提供的账户进行货款支付,由第三方通知卖…

支付宝第三方登录

支付宝登录 最近做了第三方登录,看了官方文档,加上各种百度,依然踩过不少坑,今天和大家分享一下。 我是做的pc端的,贴张图。 首先: 有支付宝的实名账号,没有实名实名一下。然后选择合作伙伴角色…

第三方支付简要原理解释说明

第三方支付,就是一些具备实力和信誉保障的第三方独立机构提供的交易支付平台。买方选购了商品后,使用第三方平台进行付款,由第三方通知卖家货款到达。 目前市面上支持第三方支付的平台有很多,商家通过和第三方签署协议&#xff0…