本文转载自爱可生开源社区

本文作者简介：杨文，DBA，负责客户项目的需求与维护，会点数据库，不限于MySQL、Redis、Cassandra、GreenPlum、ClickHouse、Elastic、TDSQL等等。

一、问题描述

在进行数据向 OceanBase 的导入导出操作时，我们往往需要根据业务需求对数据进行特定的处理。为满足这些需求，可以通过控制文件协同导数工具，从而实现对不同业务场景下数据需求的支持。

二、控制文件模板

lang=java(
 列名 字节偏移位置(可选) "预处理函数" 映射定义(可选),
 列名 字节偏移位置(可选) "预处理函数" 映射定义(可选),
 列名 字节偏移位置(可选) "预处理函数" 映射定义(可选)
);

简单示例：

lang=java
server=mysql/oracle
(
 c1 "nvl(c1,'not null')" map(field_position),
 c2 "none" map(field_position)
);

参数说明：

• field_position 为导入的数据文件中预处理数据的列位置。
• 控制文件的命名规范：table_name.ctl ，大小写与数据库中保持一致。
• 控制文件的内容要求列名的顺序与表中定义的列顺序保持一致，且列名大小写与表中的列名大小写保持一致。

三、使用案例

3.1、测试数据：

cat /data/test/TABLE/test.dat
1@##oceanbase@##2023-01-12 15:00:00.0@##1@##ob@##1@##ob
2@##oceanbase@##2023-01-12 15:00:00.0@##2@##ob@##2@##ob
3@##oceanbase@##2023-01-12 15:00:00.0@##3@##ob@##3@##ob

create table test01 (
id int(10) not null primary key,
name varchar(10),
time timestamp not null default '1971-01-01 01:01:01',
blank varchar(255) null
);

create table test02 (
id int(10) not null primary key,
name varchar(10) not null,
time timestamp not null,
bar varchar(255) default null,
blank varchar(255) default null,
line varchar(255) default null,
mark varchar(255) default null,
test varchar(255) not null
);

3.2、案例1：

表列少于文本列：表全列导入。

控制文件：

vi /data/test01.ctl
lang=java(
id "none" map(1),
name "none" map(2),
time "none" map(3),
blank "none" map(5)
);

导入语句：

./obloader -h 10.186.60.94 -P 2883 -u root -p rootroot \
-c ywob -t mysql_yw_tent -D ywdb --table test01 --cut \
-f /data/test/TABLE/test.dat --log-path /data/ --external-data \
--replace-data --column-splitter '@##' --ctl-path /data/test01.ctl

输出结果：

All Dump Tasks Finished:---------------------------------------------------------------------------------------------------         No.#      |        Type       |        Name       |       Count       |       Status---------------------------------------------------------------------------------------------------          1        |       TABLE       |      test01       |         3         |      SUCCESS---------------------------------------------------------------------------------------------------

可以看到是成功的。此时，我们进库再进行select查询数据进行验证，可以看到的确是成功的。

3.3、案例2：

表列少于文本列：表部分列导入。

控制文件：

vi /data/test01.ctl
lang=java(
id "none" map(1)
);

导入数据，可以看到报错信息：

Error:"Field 'id' doesn't have a default value"

修改控制文件：

vi /data/test01.ctl
lang=java(
id "none" map(1),
name "none" map(2)
);

此时再导入是成功的。

说明：

• 插入部分列时，需要为插入的每列，在参数文件中指定对应的文本列。
• not null 列必须有对应的插入数据，或者是有缺省值。

3.4、案例3：

表列多于文本列：全列导入。

控制文件：

vi /data/test02.ctl
lang=java(
id "none" map(1),
name "none" map(2),
time "none" map(3),
bar "none" map(4),
blank "none" map(5),
line "none" map(6),
mark "none" map(7)
);

导入语句：

./obloader -h 10.186.60.94 -P 2883 -u root -p rootroot \
-c ywce -t mysql_yw_tent -D ywdb --table test02 --cut \
-f /data/test/TABLE/test.dat --log-path /data/ --external-data \
--replace-data --column-splitter '@##' --ctl-path /data/test02.ctl

输出结果：

All Dump Tasks Finished:
----------------------------------------------------------------------------------------------------
 No.# | Type | Name | Count | Status
----------------------------------------------------------------------------------------------------
 1 | TABLE | test02 | 3 | SUCCESS
----------------------------------------------------------------------------------------------------

可以看到是成功的。但是今天在另一个同版本的 OB 环境下意外的发现了一个怪事，竟然报错了：

Error: Column count doesn't match value count at row 1

报错信息：列数不匹配。

根据这种情况进行分析：发现 JDK 版本不一致。并且可以看到导入的数据文件比表结构少一列，数据文件以“@##”作为列分隔符，并且最后一列结尾没有分隔符。

解决：

方式1：修改控制文件：

vi /data/test02.ctl
lang=java(
id "none" map(1),
name "none" map(2),
time "none" map(3),
bar "none" map(4),
blank "none" map(5),
line "none" map(6),
mark "none" map(7),
test "none" map(1)
);

方式2：修改表结构，最后一个字段可以为null。

方式3：修改数据文件，在最后面添加‘@##’后缀。

3.5、在使用“obdumper+控制文件”导出数据时，也有可能会出现该报错信息：

Error: Column count doesn't match value count at row 1

可能的原因：数据库名大小写敏感，即数据库中的库名是小写，但是导出命令中写成了大写，导致控制文件中的配置内容不生效。

补充：

其实，还可以使用 SUBSTR(char,position[,length ]) 进行截取处理数据；

示例：

SUBSTR('abc',0,3)

小建议：

数据导入后进行简单查看每个字段导入的数据是否是对应的。可能存在某些情况下数据导入了，但实际数据和字段并没有对齐，可能只是恰巧数据能存入对应字段。以及查看中文是否正常显示。